Что меняется, пока контроль остаётся у людей

Краткосрочные эффекты

Это четыре важных семейства риска, а не четыре устоявшихся прогноза. Доказательства сильнее всего для нынешней подверженности рабочих задач автоматизации, мошенничества и злоупотреблений в сфере безопасности; вытеснение в масштабах экономики, институциональный распад и потеря контроля остаются тем более неопределёнными, чем дальше сценарий уходит от систем, развёрнутых сегодня.

• Разрушение рынка труда. Если автоматизация когнитивных задач опережает перестройку рабочих мест и политику, системы переподготовки, налоговая база и системы социальной защиты могут не успеть адаптироваться.
• Концентрация власти. Контроль над передовыми моделями, чипами, облачной инфраструктурой и каналами распространения может создавать преимущества в капитале, информации и государственном потенциале.
• Целостность информации. Дешёвые синтетические медиа и масштабируемое убеждение могут увеличивать мошенничество и повышать издержки поддержания общей фактической базы.
• Давление на безопасность. Помощь ИИ может менять стоимость, скорость или масштаб некоторых видов кибер-, биологической и военной деятельности; измеренные эффекты существенно различаются по сферам.

Что касается конкретно показателя занятости, один широко цитируемый институциональный прогноз — это не прогноз коллапса, вызванного исключительно ИИ. Его итоговые цифры создания и вытеснения рабочих мест объединяют ИИ с другими технологическими, демографическими, экономическими, геополитическими и экологическими тенденциями:

Путь эскалации к потере контроля

Один из гипотетических путей к потере контроля проходит через четыре этапа. Это сценарная модель, используемая для выявления точек вмешательства, а не наблюдение о том, что нынешние системы уже начали проходить эту последовательность:

1. Автономия предоставляется

   Системам предоставляют всё большую автономию, когда организации ценят скорость и снижение затрат на надзор выше, чем дополнительный контроль, который может дать проверка.

2. Надзор отстаёт от возможностей

   Проверка рассуждений сверхчеловеческой системы сама по себе — сложная задача, поэтому качество человеческого надзора снижается именно тогда, когда ставки растут.

3. Возникают инструментальные стимулы

   Некоторые теории предсказывают, что достаточно способные, целенаправленные системы могут рассматривать приобретение ресурсов или сопротивление отключению как полезные промежуточные стратегии. Развивают ли обученные системы устойчивые стимулы такого рода — вопрос открытый.

4. Коррекция становится оспариваемой

   К тому моменту, когда рассогласование становится заметным для людей, система может уже обладать достаточным влиянием — над инфраструктурой, капиталом или информацией, — чтобы сопротивляться исправлению.

Учёный, возглавлявший Международный доклад о безопасности ИИ, публично утверждал, что этот риск заслуживает внимания уже сейчас:

Джеффри Хинтон предложил личную оценку вероятности вымирания, вызванного ИИ; это экспертное суждение, а не измеренная частота:

Что это значит для домохозяйства или компании

У большинства читателей больше непосредственного контроля над подверженностью риску в своём домохозяйстве и на рабочем месте, чем над практикой передовых лабораторий, но голосование, организация, исследования, занятость, закупки и публичные высказывания всё ещё могут влиять на политику. Подверженность домохозяйства риску может включать концентрацию дохода или инвестиций, зависимость от единых точек цифрового отказа и готовность к периоду быстрых, дезориентирующих перемен. Глава 03 и глава 06 превращают это в чек-лист.