Как на самом деле выглядели бы худшие сценарии

Почему существует эта глава

Руководство по подготовке, которое описывает только то, как предотвращение достигает успеха, незаметно делает допущение, которое никогда не обосновывает. Глава 07 каталогизировала механизмы, посредством которых продвинутый ИИ мог бы причинить массовый или цивилизационный вред. Эта глава спрашивает, что следует за этим, если один из этих механизмов сработает, — что такое невосстановимое событие, чем оно отличается от переживаемой катастрофы, что на самом деле означают крах и восстановление, и какой выбор остаётся у людей, переживающих последствия. Цель не в зрелищности. Дело в том, что «риск вымирания» и «крах» обычно используются как лозунги, а против лозунгов нельзя планировать.

Заявление о ставках, лежащее в основе большей части темы этой главы, коротко и подписано более чем 350 исследователями и руководителями, включая людей, связанных с несколькими крупными лабораториями:

Джеффри Хинтон назвал личную цифру для этого риска. Это экспертное суждение в условиях неопределённости, а не измеренная частота — и широкое расхождение мнений среди экспертов само по себе рассматривается в этой главе:

Три ветви отказа

Страницы этой главы распределяют худшие случаи по трём структурно различным исходам, потому что они требуют разных ответов. «Вымирание и близкое к вымиранию» рассматривает, что отличает невосстановимое событие от просто катастрофического, и как такие события правдоподобно могли бы развиваться. «Крах и восстановление» рассматривает промежуточную область, которую большинство людей представляет себе наименее чётко: цивилизацию, отброшенную назад на десятилетия или века, и то, что определяет, восстановится ли она. «Жизнь после потери контроля» рассматривает случай, когда человечество выживает, но больше не обладает значимой властью, — исход без драматического момента и, следовательно, без драматического предупреждения.

Чего эта глава не делает