Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI Брифинг о выживании человечества
RU

Зима AGI и ложные рассветы

Контрсценарий: почему AGI может не появиться в срок, что означала бы зима ИИ для безопасности и кадров, и почему пауза — это не то же самое, что безопасность.

Written by
Dwight Ringdahl
Status
Источники проверены
Revised
Sources
5 cited
Reading
5 min

Сценарий, который это руководство обязано воспринимать всерьёз

Каждая страница этого раздела рассуждает о быстро развивающейся области, а страницы прогнозов и панели возможностей принимают продолжающийся быстрый прогресс как рабочую гипотезу. Эта страница — противовес: что, если AGI не появится в срок? Серьёзное руководство планирует исходя из распределения исходов, а не из самого вероятного заголовка, и это распределение включает застой. Здесь — анализ сценария на основе исторически задокументированного явления, а не утверждение, что прогресс остановился.

Как на самом деле выглядели две последние зимы

Область уже проходила через это, дважды.

Первая зима (примерно 1974–1980) последовала за прямым институциональным ударом. Доклад сэра Джеймса Лайтхилла 1973 года Artificial Intelligence: A General Survey, заказанный Советом по научным исследованиям Великобритании, пришёл к выводу, что грандиозные обещания исследований ИИ — машинный перевод, робототехника, решение общих задач — не были выполнены даже отдалённо в заявленном масштабе, и рекомендовал перенаправить финансирование на более узкие направления. В течение нескольких лет крупные государственные спонсоры по обе стороны Атлантики отступили, а аспирантские программы резко сократились.

Вторая зима (примерно 1987–1993) убила другую жертву: экспертные системы. Эти коммерческие продукты на основе правил поглотили огромные корпоративные и государственные инвестиции в 1980-х годах, а затем рухнули под тяжестью собственной хрупкости — системы, которые не умели обучаться, не справлялись с исключениями и были дороги в обслуживании. Обвал рынка утянул за собой финансирование всей символьной парадигмы ИИ. История федеральных исследований в области вычислительной техники Национальных академий, Funding a Revolution (1999), документирует, как отступление DARPA и исчезновение производителей Lisp-машин превратили провал одного поднаправления в засуху для всей дисциплины (National Academies Press). Более полные повествовательные истории — это AI: The Tumultuous History of the Search for Artificial Intelligence Кревье (1993) и The Quest for Artificial Intelligence Нильссона (2009) — обе стоит прочитать ради самой закономерности, а не только ради фактов.

Закономерность такова: каждая зима была не техническим тупиком, а коллапсом доверия и финансирования. Наука продолжала двигаться в тени; деньги, кадры и общественное терпение — нет. Зима заканчивалась, когда недорогая демонстрация — шахматы, затем ImageNet — почти в одночасье снова делала область привлекательной для инвестиций.

Аргументы в пользу ложного рассвета

У самой сильной версии тезиса о застое есть три опоры.

Пределы данных и алгоритмов. Анализ Epoch по тексту, созданному людьми, показал, что запас качественных публичных обучающих данных исчерпается примерно в течение десятилетия, если тогдашние тенденции сохранятся (Villalobos et al., 2022), что вынуждает полагаться на синтетические данные и другие обходные пути, долгосрочная ценность которых по-настоящему неопределённа. Отдельно область неоднократно принимала насыщение эталонных тестов за общую компетентность — предостережение, которое страницы этого руководства об эмерджентных возможностях и о тесте Тьюринга подробно разбирают. Эталонные тесты могут насыщаться, в то время как надёжность в реальном мире — то, за что на самом деле платят экономики, — серьёзно отстаёт.

Неровность возможностей может быть потолком, а не полом. Устойчивая находка о том, что модели сверхчеловечны в одних измерениях и необъяснимо слабы в соседних, допускает пессимистическое прочтение: масштабирование предсказателя следующего токена покупает широту, но не покупает тот вид устойчивого композиционного рассуждения, на который рассчитывают оптимисты законов масштабирования. Аргумент Шолле о том, что современные эталонные тесты завышают интеллект, поскольку допускают запоминание вместо требования приобретать навыки в условиях новизны, — каноническая формулировка этого скептицизма (Chollet, 2019).

Избыток возможностей режет в обе стороны. Даже если выигрыш реален, он может быть уже извлечён: аргумент о «навесе возможностей» подразумевает, что нынешние модели показывают результат хуже, чем позволяет их обучение, потому что продукты, оценки и организации не успели за ними угнаться. Если это так, дальнейшее масштабирование даёт убывающую видимую отдачу — которую рынки читают как плато, независимо от истинной причины. Существует даже задокументированное явление, идущее против масштаба: обратное масштабирование, при котором более крупные модели показывают худшие результаты в некоторых задачах, например в определённых видах правдивого или чувствительного рассуждения (McKenzie et al., 2023).

Аргументы против зимы

Сторонникам зимы приходится объяснять, почему этот цикл рифмуется с двумя предыдущими, а различия велики.

На этот раз деньги настоящие. Прежние зимы следовали за шумихой без выручки. У нынешнего цикла есть доход от внедрения, измеряемый десятками миллиардов долларов ежегодно, и частные инвестиции в генеративный ИИ, которые продолжают бить рекорды — Stanford AI Index 2025 сообщает о 33,9 миллиарда долларов частных инвестиций в генеративный ИИ только в 2024 году, что резко больше год к году. Финансирование такого масштаба не испаряется из-за того, что эталонные тесты разочаровывают; оно испаряется, когда рушатся балансовые отчёты.

Аппаратная база огромна. Прежние зимы могли обескровить область, урезав несколько грантов. Сегодня область опирается на капиталоёмкое расширение полупроводников, облачных мощностей и энергетики, инвесторы которого рассчитывают на десятилетия отдачи. Это пол под продолжающимся прогрессом — и, что мрачнее, круг заинтересованных сторон, который продолжит толкать вперёд, даже когда осторожность требует остановиться.

Повсеместное внедрение создаёт собственный спрос. Сотни миллионов людей и значительная доля компаний теперь зависят от систем ИИ в повседневной работе. Полезность, в отличие от новизны, не выходит из моды. Бремя доказательства лежит на тезисе о зиме: он должен показать не просто замедление прогресса, а то, что оно достаточно сильное и достаточно долгое, чтобы повторить коллапс финансирования при такой по размеру установленной базе.

Что означала бы зима

Предположим, застой наступает. То, что следует дальше, действительно неоднозначно.

Рассеивание кадров. Зима выталкивает исследователей переднего края в хедж-фонды, биотехнологии и в любую следующую модную область. Это плохо для безопасности в одном смысле — экспертиза по согласованию, которая и без того тонка и сосредоточена в горстке лабораторий, рассеивается, — и, возможно, хорошо в другом: работа над опасными возможностями замедляется, пока некоторые из тех же умов заняты более узкими, более проверяемыми проблемами. Итоговый эффект заранее непредсказуем, но рассеивание кадров, занимающихся согласованием, — реальные издержки, которые оптимисты зимы склонны обходить стороной.

Навес аппаратных мощностей. Приостановленный прогресс в программном обеспечении не расплавляет чипы. Мир, который завтра прекратил бы обучение передовых моделей, всё равно сохранил бы огромный запас развёрнутых возможностей, значительная часть которого не имеет достаточных стимулов поддерживать штат по безопасности. Зима истончает защиту вокруг существующих систем; она не истончает сами системы.

Риск неверного прочтения. Это худшая часть. Настоящее многолетнее плато будет политически прочитано как «риск миновал» — вывод, который был бы в корне ошибочным. Приостановленный прогресс — не опровергнутый прогресс. Лежащие в основе движущие силы (вычисления, алгоритмическая эффективность, коммерческий стимул) продолжали бы накапливаться в фоновом режиме, и перезапуск, когда он произойдёт, вероятно, будет быстрее и хуже контролируется, чем предыдущий разгон. Трактовка этим руководством выгод и издержек упущенных возможностей режет в том же направлении: даже застопорившийся переход даёт реальные выгоды, а мир, объявляющий победу раньше времени, теряет и выгоды, и бдительность.

Риск неверного прочтения заслуживает особого внимания: самая опасная зима — та, что убеждает публику, что опасность миновала. Исторические зимы заканчивались перезапусками. Ничто в застое не гарантирует, что работа по безопасности доживёт до следующей оттепели.

Планировать распределение, а не заголовок

Честная позиция для руководства та же, с которой началась эта страница: не ставить весь анализ на продолжающийся экспоненциальный прогресс, но и не ставить его на застой. Готовиться к тому, что возможности появятся в срок, появятся с опозданием, появятся неравномерно и появятся на фоне институциональных сбоев, описанных в других частях этого сайта, — потому что одни и те же меры подготовки (устойчивые институты, сохранённые знания, распределённая способность к реагированию) окупаются при любом варианте из этого распределения. Зима изменила бы сроки. Она не изменила бы того, как выглядит хорошо подготовленное общество.

References

  1. National Academies Press nap.nationalacademies.org
  2. Villalobos et al., 2022 arxiv.org
  3. Chollet, 2019 arxiv.org
  4. McKenzie et al., 2023 arxiv.org
  5. Stanford AI Index 2025 hai.stanford.edu

Type to search the manual.

navigate open esc close