Сконструированные пандемии и риск биологического оружия Что показывают исследования прироста биологических возможностей ИИ, а что нет, и как защитные меры связаны с биозащитой — на примере активации ASL-3 у Anthropic.
Источники проверены 6 min
07 Механизмы
Механизмы, стоящие за худшими сценариями
Глава 02 рассматривает общий механизм потери контроля. Эта глава — реестр конкретных, поимённо описанных путей, которые реально изучают исследователи, — потому что мера, предотвращающая один из них, не обязательно предотвращает другой.
Почему это не один сценарий
Фраза «ИИ может убить всех» сжимает несколько структурно различных сценариев отказа в один образ. Такое сжатие полезно для заголовка и бесполезно для предотвращения, потому что технические и политические меры, устраняющие один механизм, могут почти не помочь против другого — например, контроль над крупным прогоном обучения сам по себе не предотвращает злоупотребление уже развёрнутой моделью. Более 350 исследователей и руководителей, включая людей, связанных с несколькими крупными лабораториями, подписали в 2023 году заявление из одного предложения, призывающее политиков рассматривать риск вымирания как глобальный приоритет. Оно фиксирует позицию, которой придерживаются видные подписанты; оно не измеряет вероятность вреда:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Три широкие категории
Международный доклад о безопасности ИИ за 2026 год использует три широкие категории. Злонамеренное использование — это когда человек сознательно направляет возможности ИИ на причинение массового вреда: инженерные пандемии, атаки на инфраструктуру или автономное оружие. Сбои в работе включают отказы надёжности и предполагаемые сценарии потери контроля, при которых системы действуют вне чьего-либо контроля. Системные риски возникают через широкое развёртывание и институциональное взаимодействие, включая концентрацию, разрушение рынка труда и постепенное лишение человечества влияния. Категории могут пересекаться, а сила доказательств различается в зависимости от механизма. Председатель доклада публично подчёркивал важность потери контроля:
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
Джеффри Хинтон также предложил личную оценку вероятности. Это экспертное суждение в условиях неопределённости, а не измеренная частота:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Чего эта глава не делает
Редакционная граница
Каждая страница отличает документированные доказательства от прогнозов и теории, одновременно называя меры смягчения, предлагаемые исследователями. Ни одна из них не описывает детали синтеза, эксплойтов или атак — такая информация не сделала бы читателя безопаснее, а её публикация не является тем, чего требует осознанная подготовка. См. стандарт источников, чтобы узнать, как классифицируются и проверяются существенные утверждения.
В этой главе
Кибератаки на инфраструктуру с использованием ИИ Что ИИ меняет в кибероперациях, почему инфраструктура уязвима и почему баланс нападения и защиты неопределён — на примере отчёта о кибершпионаже 2025 года.
Источники проверены 5 min
Автономное оружие и военная эскалация Что значит автономность в оружии, что подтверждено в реальных конфликтах и как ИИ может менять эскалацию — на примере спорного случая с Kargu-2 в Ливии.
Источники проверены 6 min
Постепенная потеря дееспособности Теоретический путь, на котором накопленная зависимость от ИИ подрывает человеческий контроль без драматического захвата власти — в экономике, государстве и культуре.
Источники проверены 6 min
Взлом функции вознаграждения и манипуляция спецификацией Как оптимизаторы эксплуатируют несовершенные цели, что уже наблюдалось и почему нынешние примеры сами по себе не доказывают будущую потерю контроля.
Источники проверены 6 min
Массовое убеждение и эпистемическая манипуляция Что показывают эксперименты об убедительности ИИ, чего пока не подтверждают реальные доказательства и как масштаб меняет риск — по данным исследования 2026 года.
Источники проверены 5 min
Многополярная и мультиагентная катастрофическая динамика Как конкуренция между государствами, компаниями и агентами ИИ способна порождать катастрофические исходы, даже если каждый участник предпочёл бы избежать бедствия.
Источники проверены 6 min
Оценки риска ИИ и разногласия среди экспертов Как интерпретировать опросы, прогнозы и оценки вероятности, не создавая искусственный консенсус и не отбрасывая неопределённость — на основе опроса 2778 исследователей.
Источники проверены 6 min
ИИ, ядерное командование и устойчивость к кризисам Как поддержка решений на основе ИИ способна влиять на ядерные кризисы даже без права на пуск, и какие меры снижают риск эскалации.
Источники проверены 6 min
Обман, sandbagging, самовоспроизведение и эксфильтрация Что проверяют четыре вида оценки передовых моделей, что наблюдали лаборатории и почему ни одна не доказывает катастрофическую потерю контроля.
Источники проверены 7 min
Каскадные сбои продовольственной системы Почти каждый сценарий, граничащий с вымиранием, идёт через голод, а не насилие. Как продовольственная система рушится каскадом и что могло бы её сломать.
Источники проверены 6 min
Хрупкость инфраструктуры и единые точки отказа Насколько современная жизнь опирается на компоненты, замена которых занимает дни, месяцы или годы — и почему катастрофические сценарии бьют по этому субстрату.
Источники проверены 6 min