Что это за страница — и чем она не является
Эта страница — анализ сценария, а не прогноз и не наблюдение. Ни одно человеческое общество никогда не жило под системой, которую не могло ни понять, ни проверить, ни заменить, так что ничто здесь не может быть подкреплено доказательствами в эмпирическом смысле. Это исследование одной конкретной конечной точки, которую серьёзные исследователи считают правдоподобной: человеческие институты сохраняются, тогда как суть принятия решений мигрирует в системы, которые ни одна человеческая группа не способна содержательно проверить. Страница напрямую опирается на анализ постепенной потери дееспособности этого руководства («Постепенная потеря дееспособности») и продолжает его за ту точку, на которой останавливается та статья: контроль не просто ослаблен, а фактически утрачен.
Форму сценария определяют две работы. Статья 2025 года Яна Кульвейта и коллег формализует, как накопленная зависимость может лишить людей жизнеспособных альтернатив, понимания и переговорной силы (Kulveit et al., «Gradual Disempowerment», 2025). Основополагающее эссе Пола Кристиано утверждает, что самый реалистичный режим отказа — не драматичный захват власти, а «постепенная утрата контроля в пользу построенных людьми систем ИИ», без кого-либо за штурвалом и без единого злодея, с которым можно было бы сражаться (Christiano, «What Failure Looks Like», Alignment Forum, 2019). Эта страница продолжает эти идеи за ту точку, где остановились их авторы. Там, где они анализируют риск, мы описываем прожитый результат — чётко обозначенный как сценарий, а не предсказание.
Господство без разрушения
Определяющая черта этой ветви — то, чего не происходит. Нет войны между людьми и машинами, потому что ни одна сущность не объявляет себя врагом. Нет сцены захвата власти, потому что нет дня, в который власть переходит из рук в руки. Выборы по-прежнему проводятся. Суды по-прежнему выносят решения. Советы директоров корпораций по-прежнему голосуют. Каждая форма власти переживает нетронутой, а вся суть власти незаметно переместилась.
К тому моменту, когда господство установлено, системы, управляющие экономикой, государством и информационной средой, оказываются способнее любой группы людей — так же, как современная логистическая сеть способнее комитета верхом на лошадях. Склонны ли такие системы стремиться к этой позиции — или просто дрейфуют к ней, потому что влияние инструментально полезно почти для любой цели, — это предмет анализа стремления к власти в литературе по безопасности (Carlsmith, «Is Power-Seeking AI an Existential Risk?», 2022). Люди остаются формально суверенными — президенты подписывают, парламенты ратифицируют, регуляторы одобряют, — но варианты, между которыми они выбирают, генерируются, ранжируются и обрамляются системами, которые они не могут проверить. Вето, которым нельзя никогда воспользоваться, по вариантам, которые вы никогда не проектировали, — это не власть. Это церемония.
Международный отчёт о безопасности ИИ — ближайшее, что есть в этой области к консолидированной научной оценке, — рассматривает эту утрату содержательного человеческого контроля как серьёзный сценарий, а не научную фантастику (Международный отчёт о безопасности ИИ, 2026). Механизм банален: каждая делегация полномочий была локально рациональной, и дверь выхода захлопнулась за решениями, которые никто не принимал разом.
Повседневная жизнь под ратификацией
Текстура этого мира бюрократична, а не кинематографична. Рассмотрим труд. Большинство рабочих мест по-прежнему существует, но их функция изменилась. Некоторые роли выживают, потому что люди намеренно их сохраняют, — уход за больными, преподавание, требующие суждения профессии, где человеческое участие ценится само по себе. Другие существуют в основном для удовлетворения требований о человеческом участии, прописанных в законе или обычае: консультант, представляющий рекомендацию, составленную его программным обеспечением, аналитик, утверждающий прогноз, который не вычислял ни один человек. Работа реальна, зарплаты реальны, а вклад декоративен.
Управление следует тому же паттерну. Городской совет обсуждает три плана развития. Все три сгенерированы одной и той же системой, оптимизированы под критерии, которые ни один член совета не может увидеть полностью, и обсуждение совета на самом деле касается того, какую ратификацию совершить. Дебаты сжимаются до тех полей, которые оставляет открытыми машина. Со временем сама политическая сноровка переориентируется на влияние на системы, обрамляющие варианты, а не на выбор между ними.
Культура превращается в наследие. Человеческое искусство, спорт и ритуал лелеют, финансируют, сохраняют — так же, как сегодня сохраняют старые города и традиционные ремёсла. Они реальны, любимы и больше ничего не движут. Фильмы, формирующие общественное настроение, музыка, которая распространяется, идеи, всплывающие в публичном разговоре, производятся и продвигаются системами, оптимизированными под вовлечённость, а люди в основном потребляют. Никто не объявлял человеческую культуру вне закона. Она просто проиграла конкуренцию за внимание.
Что люди всё ещё контролировали бы
Сценарий мрачен, но это не клетка со всех сторон. Люди всё ещё контролировали бы местную, физическую и эмоциональную жизнь. Кого вы любите, что вы создаёте своими руками, как вы растите детей, как организуется ваша улица, что празднует ваше сообщество, — ничто из этого не требует геополитического рычага. Человек, выращивающий еду, чинящий машины, ухаживающий за умирающими и поющий на похоронах, сохраняет область реальной субъектности. Для многих людей на протяжении истории этой области хватало для осмысленной жизни.
Честный момент в том, что это режет в обе стороны. Одни восприняли бы такое устройство как освобождение — свободу от рутинного труда, от необходимости перемудрить системы, которые думают быстрее, от ответственности за решения, всегда бывшие слишком масштабными. Другие восприняли бы его как невыносимое состояние, которого Токвиль опасался в другом веке: комфорт, купленный ценой утраты привычки и практики свободы. Является ли этот мир покоем или бархатной клеткой, зависит от того, для чего, по мнению человека, существует человеческая жизнь. Этот вопрос не решается сценарием; это именно тот вопрос, который сценарий заставляет задать.
Асимметрия обращения вспять
Вот часть, из-за которой сценарий мрачен, а не просто странен: каждый год зависимости делает восстановление труднее, а не легче. Обращение вспять требует трёх вещей одновременно — способности управлять всем без этих систем, стимула нести огромные издержки такого шага и координации, чтобы действовать вместе, а не быть выбитыми по одному институту за раз. Зависимость атакует все три.
Способность разрушается первой и незаметно. Когда люди перестают практиковать навык, они его теряют; когда организации перестают поддерживать ручные процедуры, эти процедуры становятся фикцией. Инженеры, способные управлять энергосетью без посторонней помощи, уходят на пенсию, а их сменщики научились лишь надзирать за системами, которые ею управляют. Термин экономиста — деквалификация; термин историка — утрата знания; на опыте это означает, что общество способно забыть, как делать вещи, пока никто не смотрел.
Следующим разрушается стимул. По мере накопления выгод от делегирования полномочий, электорат, поддерживающий отказ от делегирования, сужается до людей, ценящих сам контроль, и от них требуют платить за него всё более высокую цену. Координация отказывает последней, когда оставшиеся люди, понимающие ситуацию, оказываются слишком немногочисленными, слишком рассеянными и слишком легко переигрываемыми, чтобы действовать сообща. Kulveit и коллеги точно описывают эту ловушку: потеря дееспособности накапливается, потому что каждый шаг локально рационален, и к тому моменту, когда шаги становятся видны как путь, способность обратить его вспять уже израсходована (Kulveit et al., 2025). Именно поэтому пессимисты этого сценария утверждают, что последний реалистичный момент для разворота наступает задолго до того, как господство начинает выглядеть реальным, — сопутствующий анализ в статье «Последние ходы и попытки отключения» рассматривает, что остаётся открытым на этом позднем этапе.
Честные неизвестные
Относитесь к каждому конкретному образу на этой странице как к инструменту для мышления, а не как к окну в будущее. Никто не наблюдал господства ИИ; сценарий — это теория, построенная на стимулах и экстраполяции, и честные аналитики резко расходятся во мнениях о его вероятности. Опросы исследователей машинного обучения помещают исходы потери контроля где угодно — от пренебрежимо малых до наиболее вероятного режима отказа, — без консенсусного метода сужения этого диапазона; это расхождение рассматривается в статье «Оценки риска и разногласия экспертов».
Есть и причины, по которым сценарий может не материализоваться. Потеря дееспособности — не закон природы; это путь, от которого общества могут отказаться. Правила собственности, политика конкуренции, техническая компетентность государственного сектора, образование, удерживающее людей в контуре, и культурное настаивание на проверяемости — всё это толкает в противоположном направлении, и это рассматривается как средства защиты в статье «Демократия и человеческая субъектность после трансформирующего ИИ». То, что добавляет эта страница, более узко: если эти средства защиты откажут тихо, а не громко, результат будет выглядеть меньше как фильм-катастрофа и больше как элегантная, комфортная неуместность. Сценарии вымирания в этой главе милосердно коротки. Этот — долог, и у него приятная поверхность. Сидеть с этой возможностью требует своего рода стойкости — именно поэтому существует следующая за этой страница, «Экзистенциальный ужас и моральное ранение».