09 余波
最悪の結末は実際にはどのようなものになるか
第04章から第08章までは、防止が成功し、継続性が保たれることを前提としてきた。本章は、もう一方の分岐を正直に扱う——絶滅レベルの事態、文明の崩壊、そしてAIの支配下での生活を、破局を描くフィクションとしてではなく、帰結のレベルで描く。
本章が存在する理由
防止がどのように成功するかしか描かない備えのマニュアルは、論証もせ ずにある前提を静かに置いていることになる。第07章では、先進的な AIが大量死傷または文明規模の被害を引き起こしうるメカニズムを一覧 にした。本章は、そのうちの一つが実際に成功したらどうなるのかを 問う——回復不能な事態とは何か、それは生き延びられる規模の破局と どう違うのか、崩壊と復興が実際には何を伴うのか、そしてその余波の 中を生きる人々にどのような選択肢が残されているのか。狙いは見世物 ではない。「絶滅リスク」や「崩壊」は、たいていスローガンとして呼び 出されるが、スローガンに対して備えることはできない、という点に ある。
本章が扱う主題の多くの背後にある、賭けられているものについての 声明は短く、複数の主要ラボに関係する人々を含む350名を超える研究者 や経営者が署名している。
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
ジェフリー・ヒントンは、このリスクに個人的な数字を当てはめている。 これは不確実性の下での専門家の判断であり、測定された頻度ではない ——そして専門家の間での意見の大きな隔たりそのものも、本章で検討 する。
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
失敗の3つの分岐
本章の各ページは、最悪のケースを、構造的に異なる3つの結末に分類 する。それぞれが異なる対応を要求するからだ。絶滅とほぼ 絶滅は、回復不能な事態と単に破局的なだけの事態とを分ける ものは何か、そしてそのような事態がどのように起こりうるかを扱う。 崩壊と復興は、ほとんどの人が最もイメージしにくい 中間地帯——数十年、数百年単位で後退した文明と、それが回復するか どうかを左右するもの——を扱う。制御喪失下の生活 は、人類は生き延びるものの、もはや意味のある力を持たなくなると いう事態を扱う——劇的な瞬間がなく、したがって劇的な警告もない 結末である。