最悪の結末は実際にはどのようなものになるか

本章が存在する理由

防止がどのように成功するかしか描かない備えのマニュアルは、論証もせ ずにある前提を静かに置いていることになる。第07章では、先進的な AIが大量死傷または文明規模の被害を引き起こしうるメカニズムを一覧 にした。本章は、そのうちの一つが実際に成功したらどうなるのかを 問う——回復不能な事態とは何か、それは生き延びられる規模の破局と どう違うのか、崩壊と復興が実際には何を伴うのか、そしてその余波の 中を生きる人々にどのような選択肢が残されているのか。狙いは見世物 ではない。「絶滅リスク」や「崩壊」は、たいていスローガンとして呼び 出されるが、スローガンに対して備えることはできない、という点に ある。

本章が扱う主題の多くの背後にある、賭けられているものについての 声明は短く、複数の主要ラボに関係する人々を含む350名を超える研究者 や経営者が署名している。

ジェフリー・ヒントンは、このリスクに個人的な数字を当てはめている。 これは不確実性の下での専門家の判断であり、測定された頻度ではない ——そして専門家の間での意見の大きな隔たりそのものも、本章で検討 する。

失敗の3つの分岐

本章の各ページは、最悪のケースを、構造的に異なる3つの結末に分類 する。それぞれが異なる対応を要求するからだ。絶滅とほぼ 絶滅は、回復不能な事態と単に破局的なだけの事態とを分ける ものは何か、そしてそのような事態がどのように起こりうるかを扱う。 崩壊と復興は、ほとんどの人が最もイメージしにくい 中間地帯——数十年、数百年単位で後退した文明と、それが回復するか どうかを左右するもの——を扱う。制御喪失下の生活 は、人類は生き延びるものの、もはや意味のある力を持たなくなると いう事態を扱う——劇的な瞬間がなく、したがって劇的な警告もない 結末である。

本章が扱わないこと