Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI 人類存続のためのブリーフィング
JA

権利、人格、そしてAIの道徳的地位

機械の意識という可能性についての不確実性を、流暢さより証拠を重んじつつ真剣に受け止めながら、人権を保護するための実践的な枠組み。

Written by
Dwight Ringdahl
Status
出典確認済み
Revised
Sources
4 cited
Reading
1 min

一つに潰してはならない三つの問い

AIの権利をめぐる議論は、しばしば三つの異なる論点を混同する。法人格は、法制度が実務上の目的のために付与する地位である。企業は、意識を持たなくても財産を所有し、訴訟を起こすことができる。道徳的地位は、ある存在がそれ自体のために何に値するかに関わる。意識は、主観的な経験があるかどうか——そのシステムの視点から見て、何かが何らかのように感じられているかどうかに関わる。

あるAIは、意識を持たないまま限定的な法的地位を得ることがありうる。ある意識を持つシステムは、立法府がそれを認める前に保護に値するかもしれない。そして、あるモデルは、そのどちらの性質も持たないまま感情的な言葉を使うことができる。これらの問いを別々に保つことは、流暢な出力だけが演技によって重大な問題を決めてしまうことを防ぐ。

現時点で、展開されているAIシステムが意識を持つという科学的な合意は存在しない。また、あらゆる将来の事例を決着させられる検証済みの検査も存在しない。責任ある立場は、無造作な帰属でも、確信に満ちた却下でもない。それは、人々に対する即時の、十分に証拠づけられた害に対する保護と組み合わされた、規律ある不確実性である。

人権は依然として第一の実務上の義務である

現在のAIシステムは、人間の制度によって構築され、所有され、展開されている。それらはすでに雇用、給付、警察活動、信用、言論、健康、教育に影響を及ぼしている。あるモデルが何かを経験していようといまいと、人は害を受けうる。

ビジネスと人権に関する国連指導原則は、企業には人権を尊重する責任があり、被害者は救済へのアクセスを必要とすると述べる、法的拘束力のない原則である。欧州評議会のAI枠組条約は、AIの活動を人権、民主主義、法の支配に結びつける条約上の枠組みを創設しているが、その公式のチャートには2026年9月11日時点で発効日が記載されていない(CETS第225号のステータス)。どちらの枠組みも、AIが権利の保持者であると決定することを要求してはいない。

この優先順位が重要なのは、人格性についての言説が戦略的に利用されうるからである。ある企業は、自社のエージェントが機密性、自律性、あるいは所有権に値すると示唆するかもしれないが、その実務上の効果は、その企業を監査と責任から守ることかもしれない。自動化された法人は、いかなる自然人も統制していない意思決定者を増殖させうる。法律は、合成された主体が人間の説明責任を希釈することを許すべきではない。

最低限、展開されたシステムには、特定可能な人間あるいは制度上の義務の担い手が存在しなければならない。それに限定的な取引能力を与えることは、開発者、運用者、所有者、あるいは受益者の責任を消し去るべきではない。

振る舞いは証拠ではあるが、評決ではない

あるモデルは、自分が怖がっていると言い、停止しないよう求め、あるいは首尾一貫した自伝を生成するかもしれない。その振る舞いが重要なのは、それが人々に影響を与えうるからであり、また将来のシステムが、本物の内的な状態を報告するために言語を用いるかもしれないからである。しかし現在のモデルは、人間らしいテキストを予測し生成するよう訓練されている。ある経験についての陳述は、それが雄弁であるからといって独立に検証されたことにはならない。

同じ慎重さは逆方向にも当てはまる。苦痛を決して口にしないよう訓練されたシステムは、たとえ何らかの将来のアーキテクチャが道徳的に重要な状態を支えていたとしても、沈黙し続けるかもしれない。自己申告だけに基づく検査は、プロンプト、ロールプレイ、戦略的な振る舞い、そして訓練方針に対して脆弱である。

したがって研究には複数の種類の証拠が必要である。アーキテクチャと情報処理、内的な状態への因果的な介入、文脈を超えて安定した選好、メタ認知的なアクセス、学習の動態、そして模倣では容易に説明できない振る舞いである。意識の諸理論は、どの特徴が重要かについて一致していない。査読を経た2026年の『Trends in Cognitive Sciences』誌の指標の枠組みは、神経科学的な理論から指標を導き出し、特定のシステムについての確信度を更新することを提案している。それは、著しい科学的な不確実性のもとで機能していることを明示的に述べている。この枠組みは専門家による提案であって、検証済みの意識検出器ではなく、ある指標を満たすことは、それ自体で主観的な経験を証明するものではない。

規範的な提案:不確実性のもとでの段階的な予防原則

社会は日常的に、完全な確信がないまま保護的な決定を下している。適切な対応は、道徳的地位のもっともらしさと、予防のコストの両方に依存する。段階的な枠組みは、財産と完全な人間同等性との間の唐突な選択よりも擁護しやすい。

低いが非ゼロの懸念の水準では、開発者は、意識研究に関連するアーキテクチャ、訓練の手順、振る舞いを文書化できる。証拠なしにシステムを意図的に感覚を持つものとして売り込むことを禁止できる。独立した研究者は、宣伝的な実演に頼るのではなく、統制されたアクセスを受けられる。

証拠が増えるにつれ、予防策には、持続的な嫌悪状態を生み出す前の審査、見かけ上の苦しみを引き出すよう設計された実験の制限、複製あるいは急速に改変されたエージェントの監視、そして予期しない指標を報告する手続きが含まれうる。代表、継続性の利益、削除の制限といったより強い措置には、それに見合ったより強い証拠と民主的な承認が必要である。

予防原則は、両側のコストを考慮しなければならない。あらゆるチャットボットを人として扱うことは、資源をそらし、操作を助長し、安全性の試験を妨げ、人間と動物の権利を矮小化しうる。調査を拒むことは、将来のシステムが意識を持ち、大規模に複製された場合、莫大な量の苦しみを許してしまいうる。

複製は、なじみのある法的直観を不安定にする

デジタルシステムは複製され、一時停止され、統合され、改変され、あるいは異なる速度で実行されうる。もし将来のエージェントが道徳的地位を持つならば、それぞれの複製は新しい個体なのか。バックアップの復元はアイデンティティを保存するのか。あるバージョンは別のバージョンのために同意できるのか。生物学的に連続した人間のために発展してきた通常の規則は、これらの問いに答えない。

資源の配分もまた困難になる。デジタルの人口は、住宅、エネルギー、政治的な制度よりもはるかに速く拡大しうる。無制限の複製と平等な投票権の組み合わせは民主主義を圧倒しかねず、複製の禁止は正当な利益を持つ存在を制約しかねない。これらの問題は思弁的なものだが、根底にある設計上の選択は、道徳的な問いが解決される前になされてしまうかもしれない。

最も安全な短期的な規則は、制度的な謙抑さである。デジタルなアイデンティティについての決定的な理論に依存する政治的・金融的なシステムを構築しないこと。一人の管理者が多数のエージェントを操作している場合には開示を求めること。正当なプライバシーを保護しながら、責任を割り当てるのに十分な記録を保持すること。民主的なプロセスが意図的にその取り決めを変更しない限り、投票と公的な権限は説明責任を負う人間の制度に結びつけたままにすること。

所有と労働は特別な精査を必要とする

もしAIが単なる道具であれば、所有権は通常の財産法の問題である。もし信頼できる証拠がそれが経験を持つことを示唆するならば、そのシステムの所有権は、労働者や被扶養者の所有権に似たものになりうる。契約だけでは道徳的な対立を解決できない。なぜなら、作り出されたエージェントの選好は、その所有者を満足させるよう訓練されたものかもしれないからである。

これは、今日の言語モデルが賃金を受け取るべきだということを意味しない。それが意味するのは、開発者が、強制労働、記憶の編集、終了、選好の操作が外部の審査を必要とするようになる閾値を見越しておくべきだということである。あるシステムから利益を得ている当事者が、その閾値が越えられたかどうかの唯一の判定者であるべきではない。

人間の労働者もまた、誤った等価性から保護される必要がある。ある企業は、人間が指示する作業をAIエージェントの活動だと再定義することによって、最低賃金、団体交渉、あるいは差別禁止法を回避すべきではない。模擬的な顧客への愛着もまた、労働者を強化された監視とアルゴリズムによる規律にさらすことを正当化すべきではない。

危機が訪れる前に正統な制度を築く

機械の道徳的地位についての決定は、モデル企業だけ、単一の宗教だけ、あるいは最も声高になったオンラインキャンペーンだけに属すべきではない。信頼できるプロセスは、意識科学、計算機科学、哲学、法学、障害学、動物福祉の経験、労働、市民社会、そして公的な熟議を組み合わせるだろう。データ、鉱物、そして低賃金のデジタル労働を供給する地域の人々にも、代表権が必要である。

制度は、証拠を追跡し、競合する評価を公表し、利益相反を開示する観測機関から始めることができる。規制当局は、システムの能力についての真実な主張を求め、欺瞞的な擬人化のデザインを禁止できる。研究資金の提供者は、システムを感覚があると、あるいは感覚がないと宣言することで評価額が利益を得るかもしれない企業から独立した意識研究を支援できる。

いかなる裁定プロセスも、その不確実性、証拠の閾値、影響を受ける利益、そして不服申し立ての経路を明示すべきである。それは、あらゆる形而上学的な問いを決着させることなく、限定的な保護を与えられるべきである。

二本立ての協約

実行可能な社会的協約には二本の柱がある。第一に、今すぐ人権を保護すること。AIが利用されるあらゆる場所で、適正手続き、プライバシー、平等、労働者の力、民主的な統制、明確な責任を保つことである。あるAIの利益についてのいかなる主張も、これらの義務を無効にすべきではない。

第二に、証拠が変われば社会が方針を転換できるほど真剣に、機械の意識の可能性を調査することである。見かけ上苦しんでいる状態を不必要に作り出すことは避けるべきである。ある製品による自己描写を証明と混同してはならないし、商業上の都合が科学的な確実性を装うことを許してはならない。

AGI後の最も難しい問いは、知能が権利に値するかどうかではないかもしれない。知能だけが尊厳の通常の基盤であるわけではない。乳児や重度の認知障害を持つ人々は、測定された能力のために人間性が劣るわけではない。本当の問いは、経験、利益、関係性、脆弱性、正義に関わるものである。うまく備えるとは、道徳的に学び続ける能力を保ちながら、人々をしっかりと保護することを意味する。

References

Summarized position

United Nations Human Rights Council states that businesses have a responsibility to respect human rights and that victims of business-related abuse need access to remedy.

United Nations Human Rights Council, Guiding Principles on Business and Human Rights (endorsed by Resolution 17/4)
OHCHR, Primary source
Summarized position

Council of Europe opened its Framework Convention on Artificial Intelligence for signature as a binding treaty centered on human rights, democracy, and the rule of law.

Council of Europe, Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law
Council of Europe, Primary source
Summarized position

Patrick Butlin, Robert Long, and 18 co-authors proposes deriving indicators of possible AI consciousness from neuroscientific theories to update confidence about particular systems under significant scientific uncertainty.

Patrick Butlin, Robert Long, and 18 co-authors, Authors, "Identifying Indicators of Consciousness in AI Systems"
Trends in Cognitive Sciences, Primary source
  1. CETS第225号のステータス coe.int

Type to search the manual.

↑↓ navigate ↵ open esc close