Формальная власть может пережить утрату практического контроля
Парламент может оставаться избранным, полагаясь при этом на системы, которые законодатели не способны оценить. Министр может оставаться юридически ответственным, получая рекомендации, которые ни один государственный служащий не способен воспроизвести. Гражданин может сохранять формальное право на обжалование, сталкиваясь с автоматизированным решением, чьи данные, модель, договор с поставщиком и логика рассуждений недоступны. Ничто в этой картине не требует переворота или осознающего себя машинного правителя. Власть становится церемониальной, потому что практическая способность выбрать иначе оказалась подорвана.
Это риск управления ещё до того, как это риск AGI. Правительства уже используют алгоритмы в социальных пособиях, налогообложении, полицейской деятельности, миграции, образовании, здравоохранении и государственном управлении. Более способные системы могли бы повысить согласованность, переводить услуги, находить мошенничество, обобщать доказательства и делать экспертизу доступной для небольших ведомств. Они также могли бы углубить зависимость и затруднить оспаривание государственных решений.
Существующие международные документы дают исходный словарь, но их юридическая сила различается. Рамочная конвенция Совета Европы об искусственном интеллекте задумана как обязывающий договор для сторон и ставит в центр права человека, демократию и верховенство права. Её официальная страница статуса по состоянию на 11 сентября 2026 года не указывала дату вступления в силу, поэтому подписание не следует описывать так, будто государство уже юридически связано этим договором (статус CETS № 225). Рекомендация ЮНЕСКО по этике искусственного интеллекта — это необязывающая рекомендация, посвящённая надзору, прозрачности, подотчётности, а также экологическим и социальным последствиям. Ни один из этих документов не решает проблему управления в мире после AGI. Оба показывают, что возможности и эффективность — не единственные общественные ценности, поставленные на карту.
Субъектность означает способность изменить результат
«Человеческий надзор» часто трактуют как штатную схему: поставь человека где-то после модели — и решение уже человеческое. Реальный надзор — это набор возможностей.
Проверяющему нужно достаточно времени и информации, чтобы понять случай. Ему нужна подготовка, позволяющая распознавать ограничения модели. Ему нужны юридические и организационные полномочия отклонить рекомендацию. Иное решение не должно влечь наказание лишь потому, что оно расходится с автоматизированной оценкой. Учреждение должно сохранять записи, поддерживающие аудит и обжалование.
Когда этих условий нет, человеческий клик — это ритуал. Высокая автоматизация может даже ухудшить проверку: по мере того как люди видят всё меньше нетипичных случаев и всё реже применяют независимое суждение, их экспертиза угасает. Когда система в конце концов даёт сбой за пределами своего обычного распределения, номинальный надзиратель может оказаться наименее подготовленным к вмешательству.
Практическая проверка контрфактуальна: способен ли квалифицированный человек прийти к иному решению, объяснить почему — и добиться того, чтобы это решение устояло?
Четыре вида зависимости, способные выхолостить государство
Зависимость от поставщика
Государственному ведомству может не хватать персонала, вычислительных мощностей, прав на данные или условий контракта, чтобы работать без конкретного поставщика. Смена поставщика может выглядеть возможной в закупочной документации, но потребует переобучения систем, миграции данных, переписывания рабочих процессов и долгого перерыва в обслуживании. Это даёт частному поставщику влияние даже без явной политической власти.
Поэтому контракты должны заранее — до того как система станет незаменимой — оговаривать переносимость, доступ для аудита, раскрытие инцидентов, субподрядчиков, хранение данных, безопасность, непрерывность обслуживания и помощь при выходе. Самое дешёвое первоначальное предложение может обойтись дорого, если оно покупает постоянную зависимость.
Эпистемическая зависимость
Учреждение может утратить способность понимать, хорош ли результат. Если ИИ выполняет большую часть анализа, составления документов, моделирования и проверки, человеческая организация может сохранить право окончательной подписи, утратив при этом независимые модели мира.
Избыточность необходима. Ведомствам нужна внутренняя экспертиза, конкурирующие анализы по вопросам с высокими последствиями, записи о неопределённости и защищённые каналы для несогласия. Некоторые функции следует периодически выполнять без основной системы — не потому, что ручной труд всегда лучше, а потому, что непроверенный резервный вариант не является резервным вариантом.
Инфраструктурная зависимость
Продвинутые сервисы зависят от электроснабжения, сетей, систем идентификации, облачной инфраструктуры и вышестоящих моделей. Отключение или коммерческий спор может одновременно распространиться на множество государственных функций. Концентрация нескольких ведомств на одной модели или облаке способна создать коррелированный сбой, скрытый за отдельными контрактами.
Карты зависимостей должны выявлять общих поставщиков и единые точки отказа во всём государстве, а не только внутри одного ведомства. Учения по восстановлению должны проверять работу в деградированном режиме, восстановление данных, ручную расстановку приоритетов и публичную коммуникацию.
Зависимость от легитимности
Люди принимают трудные решения отчасти потому, что понимают, кто обладает властью, какие правила действуют и как оспорить ошибки. Статистически точная, но непостижимая система всё равно способна подорвать легитимность, если граждане воспринимают её как произвольную.
Одного объяснения недостаточно. Сгенерированное объяснение может звучать правдоподобно, не раскрывая при этом истинного основания результата. Содержательная оспоримость требует релевантных доказательств, применимого правила, ответственного учреждения и доступного средства правовой защиты. Она также требует человеческого органа, способного изменить решение, а не просто объяснить, почему система пришла именно к нему.
Демократии нужна публичная техническая компетентность
Законодательным органам, судам, регуляторам, аудиторам, профсоюзам и гражданскому обществу нужна экспертиза в оценке, безопасности, закупках, управлении данными и доказательствах о моделях. Такую глубину способны обеспечить профессиональные штаты сотрудников, независимые лаборатории, генеральные инспекторы, органы по стандартизации и состязательные процедуры.
NIST AI Risk Management Framework предлагает добровольную структуру для управления, картирования, измерения и регулирования рисков ИИ. Его ценность процедурна: организации обязаны определять контекст и затронутых людей, а не сводить всю оценку риска к точности на бенчмарках. Учреждению в мире после AGI потребовались бы более строгие, юридически обязательные версии этих практик в сочетании с демократической санкцией.
Выборы необходимы, но недостаточны
Трансформирующий ИИ может влиять на демократию через убеждение, синтетические медиа, слежку, анализ политики, кампании и контроль над информационной инфраструктурой. Фокус только на поддельных изображениях упускает более широкий вопрос: кто выбирает цели систем, опосредующих политическое внимание, и какие данные используются для оптимизации влияния?
Раскрытие информации может помочь, но маркировка контента как «созданного ИИ» не устанавливает, правдив он или манипулятивен. Происхождение файла может показать часть его истории, не доказывая при этом его утверждений. Политическая устойчивость нуждается также в защите приватности, независимой журналистике, прозрачности кампаний, подотчётности платформ, безопасном администрировании выборов и в гражданах, способных проверять важную информацию через доверенные каналы.
Государственное использование заслуживает особой сдержанности. Государство с мощными системами прогнозирования и убеждения могло бы полезно персонализировать публичную коммуникацию — или же облегчить выявление инакомыслия и формирование поведения. Правовые запреты, судебные ордера, минимизация данных, журналы аудита и независимый надзор становятся важнее по мере роста аналитических возможностей, а не менее важными.
Сохранение множественных источников власти
Ни одна отдельная компания не должна быть единственным источником публичного анализа, идентификации, коммуникации и административной инфраструктуры. Ни одно центральное правительство не должно быть единственным учреждением, способным использовать продвинутые возможности. Ни одна универсальная система скоринга не должна определять доступ к занятости, кредиту, пособиям, высказыванию и передвижению.
Плюрализм создаёт трение, а трение иногда защищает. Федеративные системы, местные органы власти, суды, независимые регуляторы, университеты, профсоюзы, профессиональные ассоциации, открытые технические сообщества и гражданское общество способны вскрывать сбои, которые единая центральная система подавила бы или пропустила. Конкурирующие институты также дают людям место, куда можно обратиться с апелляцией и где можно организоваться.
Плюрализм — не то же самое, что бесконтрольное распространение. Возможности высокого риска могут требовать ограничений доступа, при этом принятие решений остаётся институционально разнообразным. Задача проектирования — избежать одновременно и частной монополии, и тотальной государственной централизации.
Решения, которые должны оставаться политически оспоримыми
ИИ может информировать государственные решения, не определяя при этом общественную цель. Такие вопросы, как то, как распределять доход, какие риски приемлемы, чьи права имеют приоритет, применять ли силу, чему должны учиться дети и насколько допустима слежка, — это не задачи оптимизации с нейтральными целевыми функциями. Это политический выбор между ценностями и людьми.
Делегирование реализации может также переформировать саму цель. Система пособий, оптимизированная под сокращение времени обработки, может отпугивать заявителей со сложными случаями. Полицейская система, оптимизированная под прогнозируемые инциденты, может усиливать паттерны из исторической правоприменительной практики. Система здравоохранения, оптимизированная под измеримые издержки, может недооценивать результаты, которые трудно зафиксировать. Демократический контроль требует проверять, что система на самом деле вознаграждает, а не просто одобрять её заявленную цель.
Нормативное предложение: минимальная гарантия субъектности
Для значимых по последствиям государственных применений люди должны иметь возможность установить:
- что система ИИ существенно повлияла на решение;
- учреждение и должностное лицо, несущие юридическую ответственность;
- применяемое правило и использованные доказательства;
- важные ограничения, неопределённость и происхождение данных;
- своевременную человеческую апелляцию, обладающую полномочием изменить результат;
- доступный путь обращения в суд, к регулятору, омбудсмену или выборному органу;
- недигитальный путь для тех, кто не может безопасно пользоваться системой.
Эти гарантии не устранят ошибки или политические разногласия. Они сохраняют различие между управлением и господством: затронутый человек остаётся участником системы оснований и средств защиты, а не просто объектом классификации.
Конституционный вопрос после AGI
Самый глубокий вопрос — не в том, получит ли ИИ формальный государственный титул. Он в том, сохраняют ли люди и их институты компетентность, независимость и рычаги влияния, необходимые для пересмотра значимых систем. Если отключение одной модели остановило бы разом здравоохранение, финансы, коммуникации и государственное управление, юридический суверенитет даёт мало практического утешения.
Поэтому демократическое выживание после трансформирующего ИИ зависит от потенциала, выстроенного до того, как зависимость станет полной: публичной экспертизы, совместимой инфраструктуры, обеспеченных правовой защитой прав, множественных институтов, независимых доказательств, содержательных апелляций и проверенных способов работать, когда автоматизированные рекомендации недоступны или отвергнуты. Это не антитехнологические меры. Это механизм, позволяющий обществу использовать мощную технологию, не отказываясь от способности самому выбирать собственные цели.