Процент — это суждение, а не измерение
Когда исследователь говорит, что вероятность вымирания человечества из-за продвинутого ИИ составляет 10%, это число не является частотой, измеренной по множеству повторяющихся исторических случаев. Это субъективная вероятность, суммирующая убеждения о возможностях, развёртывании, институтах, конфликтах и множестве неопределённых промежуточных шагов. Другой эксперт может использовать термин «экзистенциальный риск», включая в него постоянную потерю дееспособности человечества, тогда как заголовок сообщает только о вымирании.
Такие оценки способны информировать решения, особенно когда последствия огромны, но их не следует представлять как установленные научные константы. Кто именно говорит, дата, точная формулировка вопроса, временной горизонт, определение исхода, доказательства и неопределённость — всё это имеет значение. Личная оценка знаменитого учёного остаётся личной оценкой.
Определите исход прежде, чем сравнивать числа
Как минимум четыре исхода обычно смешивают друг с другом:
- тяжёлый вред: крупные жертвы, экономические потери или нарушения прав;
- глобальная катастрофа: вред, затрагивающий значительную часть человечества, или определённая доля смертей;
- вымирание человечества: отсутствие выжившей человеческой популяции;
- экзистенциальная катастрофа: вымирание или необратимое разрушение долгосрочного потенциала человечества, иногда включающее постоянную тяжёлую потерю дееспособности.
Прогнозы могут задаваться вопросом, вызывает ли ИИ этот исход, является ли необходимым фактором или просто фигурирует где-то в цепочке событий. Они могут охватывать десять лет, 2100 год или всё будущее время в целом. Оценку в один процент за десять лет нельзя напрямую сравнивать с оценкой в пять процентов за век.
Определения самой технологии также различаются: нынешний ИИ общего назначения, «машинный интеллект высокого уровня», AGI, сверхинтеллект или любой будущий ИИ. Всегда сохраняйте исходную формулировку.
Что показал крупный опрос исследователей
Опрос экспертов о прогрессе в ИИ 2023 года пригласил авторов из ведущих площадок по ИИ и получил ответы от 2778 исследователей. Опубликованный анализ обнаружил широкие разногласия относительно сроков и последствий. Большинство респондентов ожидали, что хорошие исходы сверхчеловеческого ИИ более вероятны, чем плохие, однако многие приписывали нетривиальную вероятность крайне плохим исходам. Статья также обнаружила, что ответы менялись в зависимости от формулировки вопроса (Grace и др., «Thousands of AI Authors on the Future of AI»).
Это не подтверждает тезис «эксперты по ИИ согласны, что вымирание вероятно». Это подтверждает более узкое утверждение: значительная часть опрошенных исследователей сочла экстремальные исходы достаточно правдоподобными, чтобы приписать им значимую вероятность, наряду с оптимизмом и широким разбросом мнений. Более подробно о том, почему именно оценки вероятности вымирания в этом и других опросах расходятся настолько сильно, см. почему оценки вымирания экспертами так сильно расходятся.
Ограничения опроса включают неполноту ответов, неравномерную экспертизу в анализе риска, нестабильные определения и трудность перевода интуитивной обеспокоенности в откалиброванные вероятности. Публикация на ведущей конференции по ИИ подтверждает техническую квалификацию, а не навык прогнозирования геополитики или социальных изменений в масштабе века. Медианные ответы также скрывают поляризацию мнений и корреляции между респондентами.
Турниры прогнозирования раскрывают ещё одно разногласие
Турнир по убеждению в отношении экзистенциального риска собрал 80 предметных экспертов и 89 суперпрогнозистов с подтверждённой историей успешного краткосрочного прогнозирования. Участники оценивали риски ИИ, ядерные, биологические и другие риски по общим определениям, обменивались аргументами и обновляли свои оценки (XPT Forecasting Research Institute).
Итоговый рецензируемый анализ обнаружил большие различия между предметными экспертами и суперпрогнозистами, особенно в отношении ИИ (Karger и др., International Journal of Forecasting). Это ценное доказательство против ложного консенсуса. Оно не доказывает правоту той или иной группы.
Суперпрогнозисты продемонстрировали калибровку на множестве разрешимых, краткосрочных вопросов. Вопросы о вымирании в масштабе века невозможно оценить в пределах карьеры участников, а редкие вероятности ниже одного процента особенно трудно проверить. Предметные эксперты могут лучше понимать механизмы, но могли попасть в эту область именно из-за обеспокоенности и могут не обладать навыком калибровки прогнозов. Обе группы привносят разные сильные стороны и разные предвзятости.
Почему эксперты расходятся во мнениях
Допущения о возможностях: приведут ли нынешние методы к устойчивой автономности, научным открытиям и стратегическому планированию, или надёжность и физическое воплощение останутся трудноразрешимыми задачами?
Допущения о сроках: риск накапливается по-разному в зависимости от того, наступят ли трансформирующие возможности через пять лет или через пятьдесят. При более медленном прогрессе у институтов больше времени на адаптацию, но доступ к технологии может получить больше действующих лиц.
Допущения о согласованности: исследователи расходятся во мнениях о том, разовьют ли продвинутые системы устойчивые цели, будет ли их контролировать нынешнее обучение и насколько сильно наблюдаемые предваряющие доказательства должны сдвигать прогнозы.
Допущения о власти и развёртывании: способная модель без инструментов или полномочий отличается от широко развёрнутого агента, контролирующего деньги, код, лаборатории или инфраструктуру.
Допущения об управлении: конкуренция, военный конфликт, концентрированная собственность, регулирование и международная координация способны доминировать над технической неопределённостью.
Моральные определения: постоянная утрата человеческого контроля может считаться экзистенциальным вредом для одного прогнозиста и не считаться таковым для другого.
Число в заголовке сжимает всю эту модель целиком. Хорошая журналистика раскрывает её заново.
Калибровка трудна, но не является опциональной
Откалиброванный прогнозист, приписывающий 20% множеству событий, должен оказываться прав примерно в одном случае из пяти. Калибровку можно измерить только на наборе сопоставимых, уже разрешившихся вопросов. Мы не можем прямо сейчас откалибровать один прогноз о вымирании к 2100 году.
Прогнозисты всё же способны повышать дисциплину, раскладывая путь на более близкие, наблюдаемые вопросы: автономность модели, автоматизация исследований, сбои защитных мер, масштаб развёртывания, частота инцидентов и внедрение мер управления. Такие прогнозы разрешаются раньше и показывают, какие допущения оказались неверными.
Используйте базовые частоты с осторожностью. У человечества нет исторической выборки переходов к AGI. Аналогии с ядерным оружием, пандемиями, кибербезопасностью, промышленными авариями или внедрением программного обеспечения дают частичные доказательства, а не прямой референтный класс. Механистические модели также рискуют перемножать умозрительные вероятности через цепочку зависимых шагов.
Научный синтез не назначает единую вероятность
Международный отчёт по безопасности ИИ за 2026 год, подготовленный через международный экспертный процесс, отделяет документированное злонамеренное использование и сбои надёжности от гипотетических сценариев потери контроля. В нём утверждается, что нынешним системам не хватает возможностей, необходимых для потери контроля, что соответствующие способности улучшаются и что эксперты существенно расходятся во мнениях относительно вероятности и тяжести последствий (Международный отчёт по безопасности ИИ, 2026).
Это не «консенсусная вероятность». Это консенсус в том, что доказательства содержат серьёзные риски и значительную неопределённость. Научная оценка способна выявлять механизмы, наблюдения, пробелы и защитные меры, не притворяясь, что знает единую вероятность катастрофы.
Как представлять публичную оценку
Ответственная запись должна выглядеть примерно так:
В [дата] [человек или группа] приписал(и) [вероятность или диапазон] [точному исходу] к [сроку], в рамках [определения технологии], основываясь на [основных причинах]. Это [личное суждение, агрегат опроса или структурированный прогноз], а не наблюдаемая частота.
По возможности указывайте распределение целиком. Сообщайте долю ответивших и способ отбора выборки для опросов. Различайте среднее и медиану, а также условную и безусловную вероятность. Сохраняйте историю пересмотров, чтобы прогнозы можно было оценивать, а не тихо переписывать заново.
Не усредняйте несовместимые вопросы. Объединение оценки «постоянной потери дееспособности» из одного опроса с оценкой «население ниже 1000 человек» из турнира прогнозирования создаёт число, лишённое связного смысла.
Принятие решений в условиях разногласий
Политика не требует определённости. Риски с низкой вероятностью, но высокими последствиями способны оправдывать исследования, мониторинг, устойчивость и обратимые защитные меры, когда эти меры полезны сразу при нескольких сценариях. Издержки и побочные эффекты самого вмешательства также имеют значение. Предосторожность, закрепляющая монополию, подавляющая легитимную науку или увеличивающая геополитическую нестабильность, способна повышать другие риски.
Устойчивые меры включают независимые оценки, отчётность об инцидентах, безопасность моделей, экстренное реагирование, биологическую защиту, кибербезопасность, человеческий контроль над применением ядерного оружия и чёткую подотчётность. Они остаются полезными в широком диапазоне вероятностей.
Разная терпимость к риску — легитимный политический вопрос. Эксперты могут информировать доказательную базу, но не могут в одиночку решать, как общество соотносит между собой инновации, свободу, распределение благ, безопасность и неопределённый будущий вред.
Обновление оценки вместо защиты своего лагеря
Прогнозы должны меняться при изменении доказательств. К значимым обновлениям относятся устойчивая автономность при выполнении длительных задач, подтверждённые исследовательские достижения, сгенерированные ИИ, реальные сбои защитных мер, успешный надзор, значимые законы или устойчивые плато в развитии возможностей. Прогнозист должен указывать, что именно сдвинуло бы его оценку вверх или вниз.
Интеллектуальное разнообразие улучшает качество оценки. Включайте технических скептиков, исследователей безопасности, социологов, прогнозистов, предметных экспертов, затронутые сообщества и лиц, определяющих политику. Разногласия следует картографировать по лежащим в их основе допущениям, а не сводить к ярлыкам «оптимисты» и «паникёры».
Практический вывод
Экспертные оценки показывают, что катастрофический риск ИИ воспринимается всерьёз многими квалифицированными людьми и ставится под сомнение другими. Они не устанавливают измеренную вероятность или единодушное научное мнение. Опросы раскрывают убеждения; турниры прогнозирования навязывают дисциплину; теория объясняет механизмы; оценки тестируют отдельные компоненты; развёртывание даёт доказательства из реального мира.
Самая честная публичная позиция — это структурированная неопределённость: определите исход, покажите диапазон, раскройте допущения, отслеживайте калибровку там, где это возможно, и выбирайте защитные меры, сохраняющие ценность при нескольких правдоподобных вариантах будущего.