Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI Брифинг о выживании человечества
RU

Постепенная потеря дееспособности

Теоретический путь, на котором накопленная зависимость от ИИ подрывает человеческий контроль без драматического захвата власти — в экономике, государстве и культуре.

Written by
Dwight Ringdahl
Status
Источники проверены
Revised
Sources
3 cited
Reading
6 min

Это теория, а не наблюдаемый результат

Постепенная потеря дееспособности — это предложенный путь катастрофического риска, при котором люди утрачивают содержательное влияние на экономические, политические и культурные системы через множество по отдельности разумных решений. Здесь нет единой взбунтовавшейся системы или момента захвата власти. Организации делегируют всё больше работы, потому что ИИ дешевле или эффективнее; зависимость накапливается; а практическая способность выбрать иной путь размывается.

Исследовательская статья 2025 года авторства Яна Кульвейта, Реймонда Дугласа, Дэвида Крюгера и других формализует версии этого аргумента применительно к экономике, государствам и культуре («Gradual Disempowerment»). На неё следует ссылаться как на теоретический анализ, а не как на доказательство того, что цивилизация уже проходит через весь этот процесс целиком. Нынешняя предвзятость в пользу автоматизации, концентрация и утрата навыков могут иллюстрировать отдельные компоненты, но не подтверждают катастрофическую конечную точку.

Формальные полномочия и фактический контроль могут расходиться

Человек может юридически сохранять право, утрачивая при этом практическую способность им воспользоваться. Акционеры могут формально управлять компанией, но быть неспособны оценить стратегию, реализуемую через посредничество ИИ. Избиратели могут сохранять бюллетени, пока политический выбор формируется информационными системами, которые не способен проверить ни один государственный институт. Чиновники могут оставаться ответственными за решения, которые не могут восстановить в деталях, потому что соответствующие модели, данные и системы поставщиков непрозрачны.

Это различие между полномочиями де-юре и властью де-факто — центральное. Нажатие человеком кнопки «одобрить» не обеспечивает содержательного контроля, если отклонение рекомендации невозможно, непомерно дорого или наказуемо на институциональном уровне. Не достаточно и наличия выключателя, если организация уже не помнит, как выполнять соответствующую функцию без этой системы.

Поэтому потеря дееспособности — не синоним автоматизации. Инструменты способны расширять субъектность, распределять экспертизу и делать институты более отзывчивыми. Опасение состоит в паттерне, при котором люди утрачивают жизнеспособные альтернативы, понимание происходящего, переговорную силу и способность координированно добиваться исправления ситуации.

Экономический путь

Представьте себе фирмы, постепенно автоматизирующие исследования, ценообразование, наём персонала, управление, переговоры и инвестиции. Каждая фирма внедряет эти системы, потому что так делают конкуренты. Владельцы и работники поначалу могут выигрывать. Со временем организации, делегирующие быстрее всех, могут обгонять те, что сохраняют более медленное человеческое обсуждение, даже если общество ценит именно это обсуждение.

Тогда несколько механизмов могут начать усиливать друг друга. Навыки атрофируются, когда люди перестают их практиковать. Богатство и вычислительные мощности концентрируются у владельцев самых производительных систем. Рынки оптимизируют измеримый спрос, тогда как сами предпочтения формируются рекламой и рекомендациями с посредничеством ИИ. Человеческий труд становится менее важным для производства, что потенциально ослабляет переговорную силу работников, если только институты не распределяют выгоды каким-то иным путём.

Это условный сценарий. Экономическая история также содержит новые профессии, регулирование, организацию труда, государственное обеспечение и технологии, которые усиливают работников, а не заменяют их. Снижает ли ИИ человеческую субъектность, зависит от структуры собственности, конкуренции, социального страхования, образования и взаимодополняемости людей и машин. Теория указывает на возможное равновесие, а не даёт экономический прогноз.

Государственный путь

Правительства могут использовать ИИ для обработки пособий, обнаружения мошенничества, распределения проверок, разработки политики, поддержки полицейской деятельности или анализа угроз безопасности. Правильно спроектированные системы могли бы сделать государственные услуги быстрее и доступнее. Плохо управляемая зависимость может затруднить оспаривание решений и передать государственные компетенции поставщикам.

Опасность растёт, когда скорость становится обязательной. Если государства-соперники используют ИИ для разведки и стратегии, чиновники могут почувствовать себя не вправе замедляться ради человеческого рассмотрения. Правительство могло бы формально сохранять конституционные процедуры, притом что информация и варианты, поступающие в эти процедуры, генерируются системами, которые понимают немногие из представителей власти. Чрезвычайные полномочия и секретность в вопросах национальной безопасности способны углублять эту асимметрию.

К защитным мерам относятся права на обжалование, экспертиза внутри государственного сектора, прозрачность закупок, поддающиеся аудиту записи, разнообразные информационные каналы и требование, чтобы чиновники были в состоянии объяснить и изменить значимые по последствиям процессы. Критически важные функции нуждаются в ручных или альтернативных режимах работы, которые реально практикуются, а не просто прописаны в плане обеспечения непрерывности деятельности.

Культурный путь

Системы ИИ всё активнее опосредуют то, что люди читают, смотрят, создают и обсуждают. Рекомендательные системы могут помогать людям находить сообщества и знания, но оптимизация под вовлечённость может отдавать предпочтение контенту, захватывающему внимание, а не поддерживающему осознанные предпочтения. Генеративные системы способны заполнять культурное пространство материалом, отобранным автоматизированными циклами обратной связи.

Теоретическое опасение по поводу потери дееспособности глубже, чем проблема дезинформации. Если модели формируют предпочтения, а затем оптимизируются под поведение, которое эти предпочтения порождают, человеческая культурная обратная связь может стать замкнутой в себе. Небольшое число платформ или целевых функций оптимизации способно оказывать непропорционально большое влияние даже без единого централизованного пропагандиста.

Нынешние доказательства подтверждают более скромные утверждения: автоматизированные ленты влияют на то, что попадается на глаза, люди могут чрезмерно полагаться на рекомендации, а ИИ способен убеждать в экспериментальных условиях. Международный отчёт по безопасности ИИ за 2026 год утверждает, что реальная злонамеренная манипуляция в массовом масштабе пока не получила широкого распространения, а доказательства масштабных эффектов остаются ограниченными (резюме отчёта за 2026 год). Эту границу стоит сохранять явной.

Почему локальные решения могут создавать коллективную ловушку

Этот сценарий напоминает другие проблемы координации. Компания может желать осторожности в масштабе всей отрасли, но опасаться проиграть более быстрому конкуренту. Государство может предпочитать человеческое обсуждение, но опасаться стратегического отставания. Отдельный человек может не любить навязчивую персонализацию, но не иметь практической альтернативы. Ни одно действующее лицо не намеревается получить совокупный результат, и ни одно не способно обратить его вспять в одиночку.

Эссе Пола Кристиано 2019 года «What Failure Looks Like» описывает родственный сценарий медленно разворачивающейся рассогласованности, при котором конкурентное давление благоприятствует системам, оптимизирующим несовершенные прокси-показатели, пока человеческое влияние не ослабнет (Christiano, 2019). Это влиятельный аргумент, а не эмпирическое исследование. Его ценность — в том, что он показывает, почему катастрофе не обязательно приходить в виде кинематографичного восстания машин.

Индикаторы, за которыми стоит следить

Поскольку конечная точка носит умозрительный характер, мониторинг должен сосредотачиваться на измеримых предвестниках:

  • концентрация вычислительных мощностей, доступа к моделям, богатства и инфраструктуры принятия решений;
  • утрата человеческой экспертизы в критически важных секторах;
  • невозможность проверять или обжаловать автоматизированные решения;
  • зависимость от одного поставщика или одного семейства моделей;
  • сокращающееся время и полномочия для содержательного человеческого рассмотрения;
  • системы, формирующие те самые предпочтения, которые используются для их же оценки;
  • неспособность институтов координироваться даже тогда, когда действующие лица осознают общий риск.

Ни один из этих признаков сам по себе не доказывает постепенную потерю дееспособности. Вместе они способны показать, ослабевают ли устойчивость и субъектность.

Сохранение содержательной человеческой субъектности

Ответ состоит не в запрете полезной автоматизации. Он состоит в том, чтобы сохранить человеческий выбор структурно реальным. Политика конкуренции и совместимость систем способны сохранять альтернативы. Широкое распределение собственности и выгод от роста производительности может не дать экономической власти следовать исключительно за владением вычислительными мощностями. Образование должно учить людей оспаривать решения систем, сохраняя при этом предметную экспертизу.

Государственным институтам нужна независимая техническая компетенция, а не полная зависимость от поставщиков. Решения с высокими последствиями нуждаются в записях, обжаловании и ответственных должностных лицах. Организациям следует определять, какие суждения обязаны оставаться человеческими, измерять предвзятость в пользу автоматизации, регулярно возвращать людей к ручной практике и проверять, действительно ли работают резервные процедуры.

Демократическое обсуждение также нуждается в защищённом времени. Конкуренция на машинной скорости не должна определять каждое общественное решение. Международные нормы, общая отчётность и совместные механизмы паузы способны снижать цену, которую приходится платить за осторожность.

Взвешенный вывод

Постепенная потеря дееспособности — это связное теоретическое предупреждение об обратной связи, зависимости и коллективном действии. Это не документированное описание нынешнего общества, и его не следует представлять как неизбежное следствие внедрения ИИ. Человеческие институты способны адаптироваться, а ИИ способен усиливать субъектность.

Практический вклад этой теории — более удачный вопрос, чем «кто контролирует модель?». Нам также стоит спрашивать, сохраняют ли люди и институты навыки, альтернативы, информацию, переговорную силу и способность к координации, необходимые для осуществления контроля. Если эти основания исчезнут, формальные полномочия способны давать намного меньше защиты, чем кажется на первый взгляд.

References

Summarized position

Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, and David Duvenaud argues humans could lose control of civilization's key systems through accumulated, individually rational decisions rather than a takeover.

Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, and David Duvenaud, Authors, "Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development"
arXiv, Primary source
Summarized position

Paul Christiano presents a gradual-failure scenario involving many systems optimizing measurable proxies and developing influence-seeking tendencies.

Paul Christiano, AI alignment researcher; former OpenAI
"What Failure Looks Like" (AI Alignment Forum), Primary source
  1. резюме отчёта за 2026 год internationalaisafetyreport.org

Type to search the manual.

navigate open esc close