設計されたパンデミックと生物兵器のリスク AIとバイオの底上げ研究が示すことと示さないこと、情報面の安全対策が現実の生物防衛とどう結びつくかを、Anthropicの2025年ASL-3発動とともに解説する。
出典確認済み 1 min
07 メカニズム
最悪の結末の背後にあるメカニズム
第02章では、制御喪失の一般的なメカニズムを扱った。本章は、研究者たちが実際に研究している、具体的で名前の付いた経路の一覧である——ある経路を防ぐ介入策が、別の経路も防ぐとは限らないからだ。
なぜこれは一つのシナリオではないのか
「AIが全人類を殺しうる」という言い方は、構造的にまったく異なる複数の 失敗モードを、一つのイメージに圧縮してしまっている。この圧縮は見出し としては有用だが、防止策としては役に立たない。なぜなら、ある一つの メカニズムに対処する技術的・政策的な介入策が、別のメカニズムには ほとんど効かないことがあるからだ——たとえば、大規模な学習実行に対する 統制は、それ単独では、すでに展開済みのモデルの悪用を防げない。複数の 主要ラボに関係する人々を含む350名を超える研究者や経営者が、2023年、 絶滅リスクを世界的な優先課題として扱うよう政策立案者に求める一文から なる声明に署名した。これは著名な署名者たちが持つ立場を記録したもので あり、被害の確率を測定したものではない。
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
3つの大きな系統
2026年版の国際AI安全性報告書は、3つの大きな系統を用いている。 悪用とは、人間が意図的にAIの能力を大規模な被害 ——人為的なパンデミック、インフラへの攻撃、自律型兵器など——に向ける ことである。誤作動には、信頼性の欠如や、システムが 誰の制御も及ばない状態で稼働するようになるという、将来起こりうる 制御喪失シナリオが含まれる。システミックリスクは、 広範な展開と制度間の相互作用を通じて生じ、権力の集中、労働の混乱、 そして人間の力の緩やかな喪失を含む。これらの区分は重なり合うことが あり、メカニズムごとに証拠の強さも異なる。同報告書の議長は、制御 喪失を公に強調している。
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
ジェフリー・ヒントンも、個人的な確率の見積もりを示している。これは 不確実性の下での専門家の判断であり、測定された頻度ではない。
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
本章が扱わないこと
編集上の境界線
各ページは、文書化された証拠を予測や理論と区別しながら、研究者が 提案する緩和策を明示する。いずれのページも、合成、攻撃手法、あるい は攻撃の詳細については記述しない——そうした情報は読者を安全にする ものではなく、それを公開することは、十分な情報に基づく備えが求める ものでもない。重大な主張がどのように分類・審査されているかについて は、出典の基準を参照して ほしい。
この章の内容
AIを活用したインフラへのサイバー攻撃 AIがサイバー作戦の何を変えつつあるか、なぜインフラが脆弱なのか、攻防バランスがなぜ不確かなのかを2025年のAIスパイ活動報告とともに解説する。
出典確認済み 1 min
自律兵器と軍事的エスカレーション 兵器における自律性とは何か、紛争で何が文書化されているか、AIがエスカレーションと説明責任をどう変えうるかをリビアのKargu-2係争事例とともに解説する。
出典確認済み 1 min
漸進的な無力化 AIへの累積的な依存が劇的な乗っ取りなしに人間の統制を蝕んでいく理論上の経路を、経済・国家・文化にわたって定式化する。
出典確認済み 1 min
報酬ハッキングと仕様のごまかし 最適化器が不完全な目的関数をどう悪用するか、何が観測されているか、現在の事例だけではなぜ将来の制御喪失を証明できないのかを解説する。
出典確認済み 1 min
大衆説得と認識論的操作 AI説得について実験が示すこと、実世界の証拠がまだ示していないこと、規模がリスクをどう変えうるかを76,977人対象の2026年研究とともに解説する。
出典確認済み 1 min
多極的・マルチエージェント的な破滅的力学 国家、企業、自律的AIエージェント間の競争が、全員が破局を避けたいと望んでいてもなお破滅的な結果を生みうる仕組みを解説する。
出典確認済み 1 min
AIリスク推定と専門家の意見対立 コンセンサスをでっち上げず不確実性も軽視せずに調査・予測・確率推定を解釈する方法を、2,778人対象の調査をもとに解説する。
出典確認済み 1 min
AI、核指揮統制、危機の安定性 発射権限を持たなくてもAIの意思決定支援が核危機にどう影響しうるか、エスカレーションを減らす対策を自動化バイアスとともに解説する。
出典確認済み 1 min
欺瞞、サンドバッギング、自己複製、そして持ち出し 最先端モデルの四つの評価がそれぞれ何を試験し、研究機関が何を観測し、なぜどれ一つとして破滅的な制御喪失を実証しないのかを解説する。
出典確認済み 1 min
食料システムの連鎖的崩壊 破滅的シナリオのほぼすべてが、直接的な暴力ではなく食料を経由する。食料システムが連鎖的にどう崩壊し、何がそれを断ち切るのかを検証する。
出典確認済み 1 min
インフラの脆弱性と単一障害点 現代生活のどれほどが交換に数日から数年かかる部品に支えられているか、あらゆる破滅的シナリオが同じ基盤に作用する理由を解説する。
出典確認済み 1 min