パーセンテージは測定値ではなく判断である
ある研究者が、高度なAIが人類を絶滅させる確率は10パーセントだと言うとき、その数字は、繰り返された歴史にわたって測定された頻度ではない。それは、能力、展開、制度、紛争、そして多くの不確実な段階についての信念を要約した主観的な確率である。別の専門家は、「実存的リスク」という言葉に永続的な人間の無力化を含めるかもしれないが、見出しは絶滅だけを報じるかもしれない。
こうした推定は、特に結果が甚大である場合、意思決定の材料になりうるが、確立された科学的定数として提示されるべきではない。発言者、日付、正確な問い、時間軸、結果の定義、証拠、不確実性のすべてが重要である。ある著名な科学者の個人的な推定は、あくまで個人的な推定にとどまる。
数字を比較する前に結果を定義する
少なくとも四つの結果が、しばしば混同されている。
- 深刻な被害: 大規模な死傷者、経済的損失、あるいは権利の侵害。
- 世界的な破局: 人類の大部分、あるいは死者数の特定の割合に及ぶ被害。
- 人類の絶滅: 生存する人間の集団が存在しなくなること。
- 実存的な破局: 絶滅、あるいは人類の長期的な潜在能力の不可逆的な破壊。永続的な深刻な無力化を含めることもある。
予測は、AIがその結果を引き起こすか、必要な寄与要因であるか、あるいは単にその連鎖のどこかに現れるにすぎないかを問うことがある。それらは10年間、2100年、あるいはすべての将来の時間を対象にすることがある。10年間についての1パーセントの推定は、1世紀についての5パーセントの推定と直接比較することはできない。
技術の定義もまた様々である。現行の汎用AI、「高水準の機械知能」、AGI、超知能、あるいはあらゆる将来のAIである。常に元の文言を保持すべきである。
大規模な研究者調査が発見したこと
2023年のAIの進歩に関する専門家調査は、主要なAI関連の学会の著者を招待し、2,778人の研究者から回答を得た。その公表された分析は、タイムラインと影響について広範な不一致を発見した。ほとんどの回答者は、超人的なAIから良い結果が生まれる可能性の方が悪い結果よりも高いと予想していたが、多くが極めて悪い結果にも無視できない確率を割り当てていた。この論文はまた、回答が問いの立て方によって変化することも発見した(Graceら、「AIの未来についての数千人の著者」)。
これは「AI専門家は絶滅が起きる可能性が高いことに合意している」を裏づけるものではない。それが裏づけるのは、より狭い主張である。すなわち、調査対象となった研究者のかなりの部分が、楽観論や広い分散とともに、極端な結果を意味のある確率を割り当てるほどもっともらしいと考えていた、ということである。この調査やその他の調査における絶滅に特化した回答が、なぜこれほど大きく食い違うのかについての詳しい検討は、「専門家の絶滅推定がなぜこれほど広く食い違うのか」を参照のこと。
調査の限界には、無回答、リスク分析における専門性の違い、不安定な定義、そして直感的な懸念を較正された確率に変換することの難しさが含まれる。トップクラスのAI学会での発表は、技術的な経験を立証するものであって、地政学や世紀規模の社会変化についての予測技能を立証するものではない。中央値の回答もまた、分極化や回答者間の相関を隠してしまう。
予測トーナメントは別の不一致を明らかにする
実存的リスク説得トーナメントは、80人の分野専門家と、より短期的な予測についての実績を持つ89人のスーパーフォーキャスターを集めた。参加者は、共通の定義のもとでAI、核、生物学、その他のリスクを推定し、論拠を交換し、更新した(予測研究所XPT)。
その結果として得られた査読済みの分析は、特にAIについて、分野専門家とスーパーフォーキャスターの間に大きな違いを見出した(Kargerら、『International Journal of Forecasting』)。これは、誤ったコンセンサスに対する貴重な反証である。それは、低い方あるいは高い方の集団が正しいことを証明するものではない。
スーパーフォーキャスターは、多くの解決可能な短期的な問いにおいて較正を実証してきた。世紀規模の絶滅に関する問いは、参加者の生涯の中では採点できず、1パーセント未満のまれな確率は特に検証が難しい。分野専門家は機構をよりよく理解しているかもしれないが、懸念を理由にその分野に選ばれている可能性があり、予測の較正を欠いているかもしれない。両集団は異なる強みと偏りをもたらす。
なぜ専門家は意見が一致しないのか
能力についての前提: 現行の手法は、頑健な自律性、科学的発見、戦略的計画をもたらすのか、それとも信頼性と身体性は依然として難しいままなのか。
タイムラインについての前提: 変革的な能力が5年後に到来するか50年後に到来するかによって、リスクの蓄積は異なる。制度は、より遅い進歩のもとではより多くの適応時間を持つが、より多くの行為者がアクセスを得るかもしれない。
アラインメントについての前提: 研究者は、先進的なシステムが持続的な目標を発展させるかどうか、現行の訓練がそれらを統制できるかどうか、そしてどれほどの観測可能な前兆となる証拠が予測を動かすべきかについて意見が分かれている。
権力と展開についての前提: ツールや権限を持たない有能なモデルは、金銭、コード、実験室、インフラを統制する広く展開されたエージェントとは異なる。
ガバナンスについての前提: 競争、軍事紛争、集中した所有権、規制、国際協調は、技術的な不確実性を圧倒するかもしれない。
道徳的な定義: 人間の統制の永続的な喪失は、ある予測者にとっては実存的な害と数えられ、別の予測者にとってはそうではないかもしれない。
見出しの数字は、このモデル全体を圧縮する。優れた報道はそれを再び展開する。
較正は難しいが省略できない
多くの出来事に20パーセントを割り当てる較正された予測者は、その5分の1について正しいはずである。較正は、比較可能で解決済みの一連の問いにわたってのみ測定できる。私たちは、2100年までの絶滅についての一つの予測を、今日直接較正することはできない。
予測者はそれでも、その経路を、より近い、観測可能な問い——モデルの自律性、研究の自動化、セーフガードの失敗、展開の規模、インシデント発生率、ガバナンスの採用——に分解することで、規律を改善できる。こうした予測はより早く解決し、どの前提が誤っていたかを明らかにする。
基準率は慎重に使うべきである。人類にはAGIへの移行についての歴史的なサンプルがない。核兵器、パンデミック、サイバーセキュリティ、産業事故、あるいはソフトウェアの採用への類推は、部分的な証拠を提供するが、直接の参照クラスではない。機構的なモデルもまた、依存する段階にわたって投機的な確率を掛け合わせることで誤りを複合させるリスクがある。
科学的総合は単一の確率を割り当てない
国際的な専門家プロセスを通じて書かれた2026年の国際AI安全報告書は、文書化された悪意ある利用と信頼性の失敗を、仮説的な制御喪失シナリオから分離している。同報告書は、現行のシステムは制御喪失に必要な能力を欠いていること、関連する能力は向上していること、そして専門家の間で可能性と深刻さについて大きな意見の相違があることを述べている(国際AI安全報告書2026)。
これは「コンセンサス確率」ではない。それは、証拠が深刻なリスクと大きな不確実性を含んでいるというコンセンサスである。科学的評価は、単一の破局の確率を知っているふりをすることなく、機構、観測、空白、セーフガードを特定できる。
公的な推定の提示方法
責任ある記述は以下のようになるはずである。
[日付]に、[人物または集団]は、[技術の定義]のもとで、[主な理由]に基づき、[時期]までに[正確な結果]について[確率または範囲]を割り当てた。これは[個人的な判断、調査の集計、あるいは構造化された予測]であって、観測された頻度ではない。
可能な場合は分布を含めよ。調査については回答率と標本の選定を報告せよ。平均値と中央値、条件付きと無条件の確率を区別せよ。予測が静かに上書きされるのではなく評価できるよう、改訂を保存せよ。
矛盾する問いを平均してはならない。ある調査の「永続的な無力化」推定と、あるトーナメントの「人口1,000人未満」推定を組み合わせることは、一貫した意味を持たない数字を作り出す。
意見対立のもとでの意思決定
政策には確実性は必要ない。低確率・高帰結のリスクは、そうした対策があらゆるシナリオにわたって利益をもたらす場合、研究、監視、レジリエンス、可逆的なセーフガードを正当化しうる。介入のコストと副作用も重要である。独占を固定化したり、正当な科学を抑圧したり、地政学的な不安定性を高めたりする予防策は、別のリスクを高めるかもしれない。
頑健な対策には、独立した評価、インシデント報告、モデルのセキュリティ、緊急対応、生物学的防御、サイバーセキュリティ、核使用に対する人間の統制、明確な説明責任が含まれる。これらは幅広い確率の範囲にわたって有用であり続ける。
異なるリスク許容度は、正当な政治的な問いである。専門家は証拠を提供できるが、社会がイノベーション、自由、分配、安全保障、不確実な将来の被害をどう天秤にかけるかを単独で決めることはできない。
部族を守るのではなく更新する
予測は、証拠が変わったときに変わるべきである。関連する更新には、持続的な長期タスクの自律性、検証されたAI生成の研究成果、実世界でのセーフガードの失敗、成功した監督、主要な法律、あるいは持続的な能力の頭打ちが含まれる。予測者は、何が推定を上げ下げするのかを明示すべきである。
知的な多様性は評価を改善する。技術的な懐疑論者、安全性研究者、社会科学者、予測者、分野専門家、影響を受けるコミュニティ、政策立案者を含めるべきである。意見の相違は、「楽観主義者」と「悲観論者」に単純化するのではなく、前提によってマッピングされるべきである。
結論
専門家の推定は、破滅的なAIリスクが多くの有資格者によって真剣に受け止められ、他の者によって疑われていることを示している。それらは、測定された確率や全会一致の科学的見解を確立するものではない。調査は信念を明らかにし、トーナメントは予測の規律を課し、理論は経路を説明し、評価は構成要素を試験し、展開は実世界の証拠を提供する。
最も誠実な公的立場は、構造化された不確実性である。結果を定義し、範囲を示し、前提を明らかにし、可能な限り較正を追跡し、いくつかのもっともらしい将来にわたって価値を持ち続けるセーフガードを選ぶことである。