本ページが扱うもの、扱わないもの
本マニュアルの大半は、AGIを工学と政策の問題として扱っている。それはまた、人類の大半にとって、神学的・哲学的な問題でもあり、それらの伝統を代弁する機関は、漠然とした論評ではなく、公式で日付の入った見解を発表し始めている。本ページが目録化するのは、日々のAI倫理をめぐる、より広く古い議論(本マニュアルの他の場所で扱っている)ではなく、AGIあるいは超知能に特有の——人間レベルの能力かそれを超える水準での統制、道徳的地位、人間の説明責任についての——ものに取り組んでいるものである。ここでいかなる伝統も正しいものとしては提示されていない。まったく異なる前提から出発した資格ある人々が、一部の警告では収斂し、他では鋭く分岐する。いずれか一つの声を重んじる読者は、分野全体を見るべきである。
カトリックの教え:16か月の間に二つの文書
カトリック教会は、AIについて二つの実質的な文書を立て続けに発表した。最初のものである「アンティクア・エト・ノヴァ:人工知能と人間の知性の関係についての覚書」は、教理省と文化教育省の共同で発表され、2025年1月14日に承認され、教皇フランシスコによって認可された。117の番号付き段落にわたって、それはAIの賭け金を技術的なものではなく人類学的なものとして枠づけている——生きた問いは機械に何が計算できるかではなく、何が際立って人間的であり続けるか、である——そして、AIが「神の代替物を創造する」ことについて明示的に警告している。
二つ目は、教皇レオ14世の最初の回勅である「マニフィカ・フマニタス」(「人工知能の時代における人間の保護について」)であり、2026年5月15日——レオ13世の『レールム・ノヴァルム』の135周年——に署名され、2026年5月25日に発表された。バチカンと報道機関の報道、米国司教協議会の報道を含む、は、その中心的な要求をAIが「武装解除」されるべきこと、その統制が「少数の手に」委ねられるべきではないこと、そしてその懸念を、無規制のAIが人間関係と批判的思考を弱めながら、現代の武力紛争の背後にある心理的な距離を広げていることだと描写している。彼は数か月前、AIの模擬的な声と存在感についての世界広報の日のメッセージで、関連する議論をすでに予告していた。この文書は非常に新しいため、それを直接引用したい読者は、これを含む二次的な要約に頼るのではなく、vatican.vaの全文を確認すべきである。
両方とも、より広い異宗教間のプロジェクトの中にある。「AI倫理のためのローマ・コール」は、2020年2月28日にバチカンで、教皇庁生命アカデミー、マイクロソフト、IBM、国連食糧農業機関、イタリア政府によって署名され、署名者たちに人間の尊厳、包摂性、透明性、公平性、信頼性、安全性を中心に据えたAIの構築を約束させるものである。2023年1月には、ユダヤ教とイスラームの代表者たちがカトリック教会とともに署名した——AIの統治についての伝統を越えた足並みの珍しい事例である。
イスラーム法学:論評ではなく公式の裁定
AIについてのイスラーム学は、論評とは異なる種類の文書である、実際の法的裁定を生み出した。イスラーム協力機構の機関である国際イスラーム法学アカデミーは、2025年5月4日から8日にドーハで開催された第26回会合で、決議第258号(3/26)「人工知能:その規定、指針、倫理」を採択した。それは、AIの開発と利用が、六つの要件を条件として原則として許容されると定めている。すなわち、合法な目的、実証可能な純便益、宗教上の信念や象徴への冒涜のないこと、データと権利の保護、いかなる水準においても安全保障への脅威がないこと、そして利用における誠実さと透明性である。この決議はまた、AI自体は独立した意志と道徳的な自覚を欠いており、イスラーム法のもとでいかなる法的・道徳的な説明責任も負わないと確認している——責任はそれを構築し、資金を提供し、運用する人間に完全に帰属する——一方で、AIがいつか法人格を持ちうるかどうかはさらなる研究に値すると指摘している。ヤキーン・インスティテュートによる、AIにマカースィド・アッ=シャリーア(イスラーム法の目的)を適用する論文は、法学アカデミーほどの制度的な重みはないものの、同様の論理を展開している。
仏教倫理:レンズとしての相互依存
AIについての仏教学は、これまでのところより学術的で、より制度的ではないが、独自の概念的な道具を提供している。ハンナ・グールドとケイコ・ニシムラによる論文「AI・ロボット工学における仏陀」は、『ケンブリッジ版 宗教と人工知能必携』(ケンブリッジ大学出版局、2023年)に収録されており、縁起(プラティートヤサムトパーダ)という仏教の教義——いかなるものも自己完結した実体としては存在しない——が、離散的で境界づけられた行為主体を前提とする枠組みには利用できない、AI倫理へのレンズを提供すると論じている。この論文はまた、仏教の伝統が道徳的な人格性の境界をどこに引くかという、今日の狭いシステムよりもAGIにより正確に当てはまる問いにも取り組んでいる。もし道徳的地位が、心の基盤ではなくその経験の質を追跡するものならば、AGIの地位はカテゴリーの誤りではなく生きた問いになる。四聖諦をアルゴリズム的な苦しみに適用する研究を含む、よりまだ流動的な文献もそれと並行して現れつつある。それはより新しく、まだ定まっておらず、そこでの帰属は引用前に再確認する価値がある。
ユダヤ法:機械の行為主体性についてのレスポンサム
AIについて最も発展したユダヤ法の扱いは、現在のAGI論争に先立つが、その多くを先取りしていた。ダニエル・ネヴィンス師によるレスポンサム「人工知能、道徳的な機械、そしてハラーハー」は、2019年6月19日に保守派運動のユダヤ法・基準委員会によって承認された——論説ではなく、実際のテシューヴァ(法的回答)である。それは、行為主体性、責任、損害についてのハラーハーの概念をAIによる意思決定に適用し、AIが実質的に支援した場合であっても、特に生死に関わる事柄については、人間が結果に対して説明責任を負い続けなければならないと結論づけている——これは、世俗のAI安全性政策で今や標準となっている「人間をループに入れる」という言葉を、数年先取りしていた。Torah MusingsとChabad.orgによるより最近の論評は、これをティックン・オラム(世界の修復)を通じて拡張している——AIはその利用によって評価されるのであって、一律に禁じられるのではない。
宗教的な枠組みを持たない世俗の哲学
一般的なAIについてではなく、特にAGIについての最も広く引用されている世俗の議論は、少数の哲学者から来ている。ニック・ボストロムの直交性テーゼと手段的収束——2012年の論文「超知能の意志」で定式化され、『スーパーインテリジェンス』(2014年)で拡張された——は、あるシステムの知能水準はその目標について何も語らないこと、そして十分な能力を持つほぼあらゆる目標指向のエージェントは、自己保存、資源の獲得、そして自らの目標を変更されることへの抵抗へと収束することを論じている。それが、破局が悪意を必要としない理由の哲学的な核心である。トビー・オードの『崖っぷち』(2020年)は、その懸念に数字を与えている。今世紀の全体的な実存的リスクについておよそ6分の1、そのうちアラインメントされていないAIに特有のものがおよそ10分の1——これは、気候変動、核戦争、パンデミックを合わせた彼の推計よりも大きい。オードの数字は、はるかに広い分布の中の一つのデータ点にすぎない。それが分野全体とどう比較されるかについては、「なぜ専門家の絶滅推計はこれほど大きく異なるのか」と「リスク推計と専門家の意見の相違」を参照のこと。
より短く、より有名な文書は、2023年5月30日に発表された、たった一文のCenter for AI Safetyの声明である。「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争といった他の社会規模のリスクと並んで、世界的な優先事項であるべきだ」。その力は誰が署名したかにある——ジェフリー・ヒントン、ヨシュア・ベンジオ、デミス・ハサビス、サム・アルトマン、ダリオ・アモデイ、スチュアート・ラッセル、ビル・ゲイツを含む、時間軸と緩和策についてはそれ以外の点で鋭く意見を異にする人々である。さらに二つの流れがこの全体像を補っている。デイヴィッド・チャーマーズの2010年のシンギュラリティについての論文は、知能爆発を真剣な認識論的可能性として扱い、超知能を持つ心は意識を持つのか、アップロードされた人間は個人のアイデンティティを保つのか、を問うている——この主題についての最初期の分析哲学的な扱いの一つである。そして、ロバート・ロング、ジェフ・セボ、そして再びチャーマーズを含む集団による「AIの福祉を真剣に受け止める」(2024年)は、近い将来のAIシステムのいくつかが意識を持つ、あるいは頑健に行為主体的である現実的な可能性があり、開発者は今それを真剣に受け止める責任があると論じている——これは不確実性についての主張であって、現在のいかなるシステムも意識を持つという主張ではない。
それぞれの枠組みが収斂する点、しない点
これら五つすべてを通して読むと、ほとんど例外なく繰り返される一つの筋がある。能力よりも統制の方が重要だ、というものである。レオ14世の回勅は集中した統制に対して警告し、フィクフの決議はAIの許容性を安全保障を脅かさないことに条件づけ、ネヴィンスのレスポンサムは人間が説明責任を負い続けることを求め、ボストロムの手段的収束は、十分な能力を持つあらゆるシステムがまさにその統制に抵抗すると予測する。第二の筋は道徳的地位である。仏教学は人格性の境界がどこにあるかを問い、イスラーム法学はAIにはそれがないと裁定し責任を完全に人間に置き、世俗のAI福祉の文献は逆方向から、将来のあるシステムが道徳的な配慮に値するかもしれないかを問う。それぞれの伝統は、どのような種類の文書を生み出すかにおいて分岐する——回勅は、決議が主張しない道徳的権威を主張し、どちらも確率推計のような反証可能性を主張しない。これらのいずれかに真剣に取り組むことは、それ自体の心理的な重みを伴う。本マニュアルはその重みを「実存的な恐怖と道徳的な傷」で直接扱っている。
なぜこれが本マニュアルに属するのか
技術的・政策的な備えを中心に組み立てられたマニュアルは、これらすべてを省くこともできただろう。だがそうすべきではない。これらの機関は、いかなる白書よりも遠くまで届いている。何十もの国にわたるイスラーム法的な推論を拘束する裁定と、10億人を超えるカトリック信者に向けられた回勅は、いかなる単一のAI安全性論文よりもはるかに多くの人々がAGIについてどう考えるかを形作るだろう。ここでの他のあらゆる場所に適用されているのと同じ規律でそれらの出典を示すことは、単なる礼儀ではない。それは、本マニュアルがそのあらゆる主張に求める基準である。