本ページが扱うもの、扱わないもの
本ページは、数字そのものではなく、その背後にある証拠についてのものである。あなたはすでに見出しを目にしたことがあるだろう。ある真剣な研究者はAI主導の人類絶滅の確率がおよそ20%だと言い、別の研究者は事実上ゼロだと言い、どちらも専門性を引き合いに出す。本ページは、それらの推計がどこから来るのか、なぜそれらが二桁もの幅に広がるのか、そして——最も有用なことに——誰にも測定できない量を、注意深い読者はどう扱うべきかを説明する。
ここで論じる調査結果とモデルは観測された公表物である。それらの不一致が何を意味するかについての解釈は分析である。これらの数字が根本的に異なる種類の結果を描写しているという姉妹的な論拠については、「絶滅か、大量死の出来事か」を参照のこと。本マニュアルによるこれらの推計のより広い扱いは「リスク推計と専門家の意見の相違」にある。
調査が実際に語っていること
最大級の関連調査は、主要なAI学会での発表者である何千人もの機械学習研究者に、先進的なAIの長期的な影響についての確率を尋ねた。2023年の回では、将来のAIの進歩によって引き起こされる人類の絶滅、あるいはそれに準じる恒久的で深刻な無力化についての推計の中央値はおよそ5%であり、平均値はおよそ16%、四分位範囲はおよそ0%から19%にわたっていた(Graceほか、2024年)。その分布を、中央値だけでなく読んでほしい。中央値の四倍の平均値は、長い右裾を意味する。かなりの少数派の専門家が20%を超え、一部は50%近くにあり、別のかなりの少数派は実質的にゼロにある。
同じ論文は、この数字が問いの言い回しとともに動くことを記録している。問いが、高度なAIを統制できないことによって引き起こされる絶滅を具体的に指定したとき、中央値は倍のおよそ10%になった。2022年の回で、一般的なAIによる絶滅について尋ねられたとき、中央値は5%であった。それより早いAI Impactsの調査の回でも、同じ枠組みへの感度が示されている(2022年 AIの進歩についての専門家調査)。問いを言い換えただけで倍になる量は、回答者の不確実性について、そして率直に言えば、測定されている概念そのものの緩さについて、何かを物語っている。これはいずれも、その調査を無価値にするものではない。それらを評決ではなく原材料にするだけである。
モデルに基づく推計と直感的な判断
第二の推計の系統は、誰の直感にも尋ねない。それは明示的な論証を組み立て、それぞれの段階に確率を割り当てる。最も厳密な例は、権力を追求するAIが実存的リスクをもたらすかどうかについてのジョセフ・カールスミスによる構造化された分析であり、その主張を六つの連言に分解する——システムははるかに能力が高くなる、それらは権力を追求する、人間はこれを訂正できない、等々——そしてそれぞれについて確率を擁護する。彼の結論は、今世紀のAIが引き起こす破局についておよそ10%に落ち着き、彼が慎重に示す広い誤差幅を伴っている(Carlsmith、2022年)。同じ伝統に立つ哲学者たちは、個々の連言に異議を唱えることで異なる数字にたどり着く。トビー・オードは『崖っぷち』(2020年)で、アラインメントされていないAIによる今世紀の全体的な実存的リスクをおよそ6分の1と論じており、それはアラインメント問題についてのより悲観的な読みに駆動されている。
これらのモデルは、調査には欠けている一つの美点を共有している。あらゆる段階が目に見え、異議を唱えられる、という点だ。それらは二つの欠点も共有している。あらゆる段階もまた異議を唱えられるため、理にかなった読者は個々の連言の符号を逆転させる。そして、それぞれの段階に付与される確率は、結局のところなお判断である。図を伴った直感的な判断も、なお直感的な判断である。10%の構造化されたモデルと0.1%の直感との不一致は、測定上の対立ではない。それは、どの参照クラスとどの失敗様式に重みを与えるべきかについての対立である。
なぜ参照クラスが異なる方向に引っ張るのか
あらゆる推計の下には一つの類推があり、それらの類推は本当に衝突している。
- **生物学的な絶滅。**種は絶えず絶滅している。近年の背景の割合は年間およそ1〜5種である。だがそれらは個体数が少なく分布域の狭い種である。人類に最も近い類推であるトバ超巨大噴火のボトルネックは論争の的であり、文明よりも完全に前に位置する。この基礎率は「絶滅は通常の結果だ」という方向に引っ張る一方で、世界規模の技術的な種についてはほとんど何も語っていない。
- **核による間一髪の回避。**キューバ・ミサイル危機、1983年のスタニスラフ・ペトロフの事件、1995年のノルウェーのロケット事件は、最大限の緊張のもとにあるシステムが間一髪の失敗を生み出しては、それでも失敗しなかったことを示している。楽観論者は、幸運によって救われた出来事の長い連なりとして読み、悲観論者は同じ連なりを、その幸運がいずれ尽きることの証拠として読む。
- **技術の事故。**旅客機、原子炉、宇宙船は測定可能な割合で失敗し、その後、苦労して学ばれた再設計を通じてより安全になる。楽観論者はその再設計を外挿し、悲観論者は、航空が一度だけ成功すればよかったわけではないと指摘する。
それぞれの類推は誠実である。それぞれが、事実ではなく事前確率を符号化している。推計が食い違うのは、事前確率が食い違うからであり、事前確率が食い違うのは、そのいずれかを規律づけるための直接的な証拠——完了した実験の一回分——が存在しないからである。
その不一致そのものが語ること
ほとんどの報道が見逃している分析上の論点はここにある。分散こそが発見なのだ。もし絶滅確率が推計しやすいものであれば、何千人もの情報に通じた専門家たちが、ほぼゼロからほぼコイン投げに近い確率まで、これほど幅のある推計を生み出すことはないだろう。この広がりは知識の状態についての証拠であり、それはちょうど、大きく食い違う天気予報のモデルが、平均的な予報が正しいに違いないという証拠ではなく、その嵐が本当に予測不能であることの証拠であるのと同じである。専門家たちを整然とした中間の数字——例えば5%——に平均化することは、その情報を何一つ受け継がないまま、精密さの感覚だけを作り出す。これまでで最も包括的な統合の試みである2026年の国際AI安全性報告書は、深刻なリスクについての証拠が薄く、論争的であり、一握りの研究所に集中していることを率直に認めている(国際AI安全性報告書2026)。
その分布が符号化しているもう一つの事実がある。不一致はランダムではない。調査の中で、より速い能力の進歩を予想する研究者は、より高い破局的リスクの確率を割り当て、最先端の研究所に所属する研究者は、独立した学者よりも低い確率を割り当てる。その一部は、誰が何を見ているかについての証拠である。その一部はインセンティブである。読者はその両方の説明を保持すべきである。
これらの数字を実際にどう使うか
実務上の結論は、これらの数字が無価値だということではない。それらは正しい道具とともに使われなければならない、ということである。期待値の帳簿づけ——精密な確率にペイオフを掛け合わせて結果を順位づけること——はここでは失敗する。なぜなら、入力は二桁の幅を持つ判断であり、入力の小さな誤差が、静かに出力を支配してしまうからである。深い不確実性のもとでの意思決定は異なる形で機能する。あなたは、もっともらしい範囲全体にわたってどの行動が依然として取る価値があるかを問い、最適な行動ではなく頑健な行動を選ぶ。
AIの絶滅リスクに適用すると、その論理は物事を明確にする。防止のための作業——能力の評価、展開時の安全策、計算資源の統治——は、20%でも、5%でも、1%でも、価値があるように見える。なぜなら、その作業のコストは控えめであり、それが守る結果は、通常の政策で値付けされるいかなるものとも根本的に異なるからである。却下という立場は、ゼロに近い場合にのみ擁護可能に見える。だから、その緩さにもかかわらず、これらの調査は本物の仕事をしている。それらは、ほぼゼロという立場が合意ではなく論争の的であることを教えてくれる。根底にある到来時期の予想がこの不一致をどう駆動しているかについては、「到来時期の予測」を参照のこと。あなたは、消火器を買うことを正当化するために、火事の確率を知る必要はない。あなたが知る必要があるのは、真剣な人々が、同じ証拠を見ながら、なおも煙の匂いを嗅ぎ続けているということである。