07 メカニズム
最悪の結末の背後にあるメカニズム
第02章では、制御喪失の一般的なメカニズムを扱った。本章は、研究者たちが実際に研究している、具体的で名前の付いた経路の一覧である——ある経路を防ぐ介入策が、別の経路も防ぐとは限らないからだ。
なぜこれは一つのシナリオではないのか
「AIが全人類を殺しうる」という言い方は、構造的にまったく異なる複数の 失敗モードを、一つのイメージに圧縮してしまっている。この圧縮は見出し としては有用だが、防止策としては役に立たない。なぜなら、ある一つの メカニズムに対処する技術的・政策的な介入策が、別のメカニズムには ほとんど効かないことがあるからだ——たとえば、大規模な学習実行に対する 統制は、それ単独では、すでに展開済みのモデルの悪用を防げない。複数の 主要ラボに関係する人々を含む350名を超える研究者や経営者が、2023年、 絶滅リスクを世界的な優先課題として扱うよう政策立案者に求める一文から なる声明に署名した。これは著名な署名者たちが持つ立場を記録したもので あり、被害の確率を測定したものではない。
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
3つの大きな系統
2026年版の国際AI安全性報告書は、3つの大きな系統を用いている。 悪用とは、人間が意図的にAIの能力を大規模な被害 ——人為的なパンデミック、インフラへの攻撃、自律型兵器など——に向ける ことである。誤作動には、信頼性の欠如や、システムが 誰の制御も及ばない状態で稼働するようになるという、将来起こりうる 制御喪失シナリオが含まれる。システミックリスクは、 広範な展開と制度間の相互作用を通じて生じ、権力の集中、労働の混乱、 そして人間の力の緩やかな喪失を含む。これらの区分は重なり合うことが あり、メカニズムごとに証拠の強さも異なる。同報告書の議長は、制御 喪失を公に強調している。
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
ジェフリー・ヒントンも、個人的な確率の見積もりを示している。これは 不確実性の下での専門家の判断であり、測定された頻度ではない。
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
本章が扱わないこと
各ページは、文書化された証拠を予測や理論と区別しながら、研究者が 提案する緩和策を明示する。いずれのページも、合成、攻撃手法、あるい は攻撃の詳細については記述しない——そうした情報は読者を安全にする ものではなく、それを公開することは、十分な情報に基づく備えが求める ものでもない。重大な主張がどのように分類・審査されているかについて は、出典の基準を参照して ほしい。