Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI 人類存続のためのブリーフィング
JA

絶滅はより大きな災害ではない

人類の絶滅が、ほとんどの人を殺すいかなる災害とも根本的に異なる結果である理由、そして防止だけが唯一有効な介入である理由。

Written by
Dwight Ringdahl
Status
出典確認済み
Revised
Sources
3 cited
Reading
1 min

本ページが扱うもの、扱わないもの

本ページは予測ではなく、カテゴリーの区別を論じる。人類の絶滅が起こると予測するものではなく、その確率を知っていると主張するものでもない。本ページが論じるのは、より狭く、計画立案の目的にとってはより重要なことである。もし絶滅が起きるならば、それは私たちが以前に生き延びた災害の、非常に大きな版ではないということである。それは異なる論理を持つ、異なる種類の出来事であり、異なる対応を要求する。絶滅という結果がどれほど悪いものであるかについてのすべて、そしてそれについて何ができるかについてのすべては、その区別から導かれる。

ここでの事実に基づく主張——調査が何を示しているか、閾値がどこにあるか、どのような機関が存在するか——は観測されたものである。本章のシナリオは分析として明記されている。区別そのものはまったく思弁的なものではない。

定義の問題:99%の死亡率は絶滅ではない

人類の99%を殺す破局を想像してみてほしい。それがどれほど悪いことか、誇張することはほとんど不可能である。80億人の死、粉々になったあらゆる家族、破壊されたあらゆる経済である。それでも生存者は残る。死亡率99%の出来事は、およそ8,000万人を残す——それは今日のあらゆる大国の人口を上回る。その生存者たちは、死者にはできない三つのことができる。

彼らは再構成できる。地球上に散らばった8,000万人は、農業、送電網、政府を再建するのに十分な技能、機械、種苗、そして書かれた知識を運んでいる。人類はこれまでにも崩壊から再建してきた。青銅器時代の社会は倒れ、疫病はヨーロッパの3分の1を奪ったが、それでも回復は——緩慢で、醜く、不完全ながらも——訪れた。

彼らは学ぶことができる。生存者を残すあらゆる破局は証言を残す。次の世代は、物理的な残骸と、何が起きたかという物語の両方を継承する。だからこそハリケーンの堤防はより頑丈に再建され、天然痘の実験室にはドアに鍵がかけられている。苦痛を伴う知識も、なお知識である。

彼らは再び結びつくことができる。分断された人口は再統合し、通婚し、交易し、再び遺伝子プールを共有できる。

絶滅はこの三つすべてを封じる。再構成する者が誰もいないため、再構成は存在しない。学ぶ者が誰もいないため、学習は存在しない。だからこそ、2023年のAIリスクについての声明の署名者たち——主要な最先端研究所のCEOを含む、数百人の研究者と経営者たち——は、この言葉を意図的に選んだ。「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争といった他の社会規模のリスクと並んで、世界的な優先事項であるべきだ」(Center for AI Safetyの声明)。彼らは、AIがパンデミックと同じくらいあなたを殺す可能性が高いと言っていたのではない。彼らは、議論されている終着状態が、より大きなパンデミックではないと言っていたのである。

生存可能と回復不能を分ける閾値

一部の破局は自己限定的であり、他はそうではない。その違いは、ごく少数のシステムを貫いている。その境界線がどこにあるかの分析は正真正銘不確かだが、候補となる閾値は具体的である。

  • **食料連鎖の健全性。**カロリーを生産し分配するシステムが、世界規模で十分に長く機能を失えば、生存者は2年目に再建するのではなく、2年目に飢える。深刻な飢饉と人類の絶滅との違いは、どこかで誰かが依然として種をまき、収穫し、貯蔵できるかどうかである。
  • **国家の能力。**複雑な社会は国家を通じて調整される。あらゆる国家が秩序を保ち、インフラを維持し、共有資源を管理する能力を失えば、回復は緩慢な確実性ではなく未解決の問いになる。
  • **存続可能な最小個体数。**血縁関係のない生存者がある数を下回ると、ある種は近親交配による衰弱と、技術文明を動かし続けるために必要な専門知識の喪失に直面する。人類についてのその数を確信を持って知る者はいない。純粋に遺伝的な存続可能性についての保全生物学における推計は数百から数千に及び、技術的な存続可能性はおそらくはるかに多くを要求する。
  • **不可逆的な生態学的損傷。**一部の害は最初の出来事の後に複利的に増大する——制御不能な気候の混乱、崩壊した海洋の食物網である。もし環境が何世紀にもわたって農業を支えなくなれば、回復への猶予は尽きる。

これらの閾値のいずれも、破局の内側からは見えない。人口の95%を失った社会は、食料システム、国家、そして遺伝子プールがすべて静かに一斉に機能を失うまさにその瞬間まで、自分が回復しつつあると信じているかもしれない。

なぜ回復の非対称性が計画を変えるのか

生存可能なあらゆる破局はリハーサルである。パンデミックを生き延びた社会はサーベイランスを改善する。洪水に見舞われた都市は堤防を改善する。文明は、それを終わらせる出来事を除くあらゆることについて、ラチェット(逆戻りしない歯車)を持っている。それは苦しみを制度に変換する。

これは、計画立案者たちが回復の非対称性と呼ぶ、深い非対称性を生み出す。そしてそれは、絶滅がどれほどありそうかについてのいかなる推計よりも重要である。絶滅の一線を下回れば、時間は人類の味方である。生存者とともに過ぎるあらゆる年は、再建の一年である。その一線を超えれば、時間は無意味になる。同じ出来事が、生き延びた世界に二度加えられれば、二度の回復を生む。その閾値を超えて一度加えられれば、それは化石記録を生む。

AI研究者を対象とした最大規模の関連調査は、この論理が専門家自身の言葉に反映されていることを見出した。絶滅、あるいはそれに準じる恒久的で深刻な無力化について広く尋ねられたとき、回答者の中央値はおよそ5%であった——しかし、高度なAIを人類が統制できないことによって引き起こされる絶滅と問いが具体化されると、中央値はおよそ10%に上昇した(Graceほか、2024年。詳細な内訳については「なぜ専門家の絶滅推計はこれほど大きく異なるのか」を参照)。どちらの問い方も、未来を双方向に大きく開かれたものとして描いていた。その開かれ具合は両方向に効く。まさに結果が回避可能であるからこそ、絶滅を——死者数の遠い果てとしてではなく——それ自体一つのカテゴリーとして扱うことには、努力するだけの価値がある。

居心地の悪い含意

ここに、備えについてのほとんどの思考が口に出すのを避けている部分がある。**その一線を超えたところで有効な介入は防止だけである。**備蓄、避難壕、冗長な通信手段、地域社会のネットワーク——サバイバル準備の道具箱にあるあらゆる道具は、生存者を前提としている。それらは一線を下回る破局に対しては優れた道具であり、本マニュアルはそれらを詳しく扱っている。だが「誰が備えるのか」という問いの答えが「誰もいない」であるシナリオに対しては、それらは何も貢献しない。

これは運命論ではない。トリアージである。AI安全性の証拠を統合する任務を負った国際機関は、その最新の報告書の中で、もっともらしい深刻な経路——統制の喪失、大規模な混乱、意図的な悪用——は、証拠の基盤がいかに薄いままであるかを指摘しつつも、今すぐ緩和の取り組みを正当化するのに十分なほど現実的だと結論づけた(国際AI安全性報告書2026)。防止のための作業——評価、封じ込め、計算資源の統治、条約の設計——は、最悪の事態にそもそも関与できる唯一の作業のカテゴリーである。

絶滅の閾値を下回れば、あらゆる破局はリハーサルである。それを超えれば、リハーサルは存在しない。その非対称性こそが、いかなる死者数でもなく、絶滅を本章の組織原理たるカテゴリーにしているのである。

二つの真実を同時に保つ方法

読者は「崩壊に備える」と「防止に取り組む」のどちらかを選ぶ必要はない。合理的な立場は逐次的なものである。一線を下回れば、備えと継続性のための取り組みは、家族や共同体が取り組みうる最も価値の高い活動の一つである——部分的な崩壊がどのようなものかについては「文明崩壊のシナリオ」を、最悪の事態についての段階ごとの分析については「絶滅の出来事は実際にどう展開するか」を、そしてどちらの結果を通じても持ち運ぶ価値のあるものについては「目標としての価値観の継続性」を参照してほしい。一線を超えれば、重要なのは防止だけであり、そうでないふりをすることは慎重さではない。それは計画を装ったカテゴリーの誤りである。

絶滅はより大きな災害ではない。それは、生き延びることも、そこから学ぶことも、その後に再建することもできない唯一の災害である。地図の両方の領域に備え、その道具を混同しないでほしい。

References

Summarized position

Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.

Signatories to the Statement on AI Risk, Researchers, executives, and other public figures; statement hosted by the Center for AI Safety
safe.ai, Signed statement
Summarized position

International AI Safety Report found that severe AI risk pathways — including loss of control, large-scale disruption, and deliberate misuse — are plausible enough to warrant mitigation work now, despite a still-thin evidence base.

International AI Safety Report, 2026 edition, chaired by Yoshua Bengio
internationalaisafetyreport.org, Research/report
  1. Graceほか、2024年 arxiv.org

Type to search the manual.

↑↓ navigate ↵ open esc close