自動化は公民権法を停止させない
雇用主、家主、貸し手、学校、保険会社、警察、あるいは給付機関は、アルゴリズムを用いても、その意思決定を規律する義務から逃れられない。米国では、公民権法第7編、障害を持つアメリカ人法(ADA)、公正住宅法、機会均等信用法、そして憲法上の適正手続き保護が、行為者と文脈に応じて適用されうる。適用範囲、法的基準、そして救済手段は異なる。このページは法的助言ではない。
今日の懸念は、統計モデル、ランキングシステム、生体認証、そして生成AIから生じている。AGIが普遍的な監視を生み出す、あるいは行動を完璧に予測するという主張は、観測された能力ではなく条件付きの予測である。
差別はあらゆる段階で入り込みうる
過去のデータは、以前の排除を符号化しているかもしれない。ラベルは、違反行為ではなく逮捕を、必要性ではなく医療支出を、あるいは業績ではなく管理職の評価を反映しているかもしれない。人種を除外した特徴でも、地理、学校、言語、障害、あるいはネットワークを通じて保護対象の属性の代理変数となりうる。
設計上の選択が、誰が代表され、何の結果が最適化され、どの誤りが重要視されるかを決定する。展開はさらなる問題を生む:職員がスコアを過度に信頼したり、応募者が記録を訂正できなかったり、全国的にテストされたツールが局地的な集団において機能不全に陥ったりすることがある。業者による全体としての正確性は、ある部分集団についての高い偽陰性率や偽陽性率を覆い隠しうる。
公平性の指標は互いに矛盾しうる。ある誤り率を均等化することは、特に基礎となる測定された率が異なる場合、別の誤り率を悪化させうる。数学は、どちらのトレードオフが合法的または正当かを決定できない。諸機関は、指標を権利、目的、そして結果に結びつけなければならない。
雇用は共有された責任を例証する
雇用主はソフトウェアを用いて履歴書を選別し、試験を採点し、動画を分析し、シフトを組み、生産性をモニタリングし、昇進や解雇を勧告する。米国雇用機会均等委員会(EEOC)と司法省は、アルゴリズムによるツールが障害を持つ人々を違法に排除しうること、そして雇用主は合理的配慮を提供する必要があるかもしれないことを警告している(EEOCと司法省、2022年5月)。
ツールを購入することは、すべての責任を業者に移転するわけではない。雇用主は、それを職務と対象集団について検証し、応募者に通知し、アクセス可能な代替手段を提供し、結果をモニタリングし、より差別性の低い方法を調査すべきである。応募者は、誤ったデータに異議を唱え、不利な決定が最終的なものになる前に人間による審査を受ける方法を必要とする。
音声、視線、表情、あるいは性格の推測には、特に懐疑的であるべきである。ある信号は、業務遂行能力を信頼できる形で測定することなく、訓練サンプルの中で相関することがあり、障害や文化的な違いはそれを変化させうる。AIが感情を読み取るという主張は、実際の利用に対する独立した妥当性の証拠に裏づけられているべきである。
住宅、信用、そして必須サービス
賃借人審査システムは、不完全であったり不一致であったりしうる信用、立ち退き、犯罪、そして本人確認の記録を組み合わせる。HUD(住宅都市開発省)の2024年ガイダンスは、公正住宅法が機械学習を用いた賃借人審査に適用されること、そして住宅提供者と審査業者の両方が、公正で正確、透明な意思決定を確保する役割を負っていることを述べている(HUDガイダンスアーカイブ、2024年4月)。
自動化された広告はまた、住宅や求人の機会を選択的に配信することで、人々が応募する前に排除することもある。融資においては、代替データは信用情報の薄い人々のアクセスを拡大するかもしれないし、あるいは地域や所得の格差を再生産するかもしれない。正しい比較は、アルゴリズム対完璧な人間ではなく、テストされたプロセス対現実の代替案であり、いずれにおいても権利は保たれるべきである。
給付、医療、そして保険は特に高い利害を伴う。トリアージは職員が案件に優先順位をつける助けとなりうるが、不透明なスコアが異議申し立てのできない拒否になってはならない。行政機関には、通知、理由、証拠へのアクセス、時宜を得た人間による審査、そして誤りが解決されるまでの継続性が必要である。
生成AIは表象と推論の害を加える
生成システムは、ステレオタイプを生み出し、申し立てを捏造し、記憶された個人データを漏らし、あるいは通常の情報から機微な特性を推測しうる。NISTの任意のジェネレーティブAIプロファイルは、有害なバイアス、均質化、プライバシー、そして作話を、部門横断的なリスクとして特定している(NIST AI 600-1、2024年7月)。
NISTのガイダンスは拘束力のある法律ではない。それはリスク管理の語彙を提供する。コンプライアンスの主張は、組織が単に「NISTの枠組みを使っている」と述べるだけでなく、実際に何をテストし、何を変更したのかを具体的に示すべきである。
監視は正確であっても権力を変える
AIは、カメラ、音声、位置情報、購買、通信、そして職場での活動を検索するコストを下げることができる。害は誤認識だけに限られない。正確な監視でも、抗議、結社、宗教的な実践、医療、あるいは労働組織化を萎縮させうる。観察が持続的で意思決定が不透明であるという理由だけで、人は合法的な行動を変えるかもしれない。
生体認証は、行方不明者の発見やデバイスのロック解除に役立ちうる。それはまた、人口規模での追跡を可能にすることもある。比例性は、目的、令状または権限、保持期間、監視リストの質、人間による審査、誤り、そしてより侵襲性の低い手段が存在するかどうかに左右される。
目的の潜行(ファンクション・クリープ)は予測可能である:安全保障のために収集されたデータは、後にマーケティング、移民管理、生産性スコアリング、あるいは法執行に用いられるかもしれない。目的の限定、短い保持期間、アクセスログ、そして削除は、実体的な統制策である。
監査には実効性が必要である
監査は、データ、部分集団ごとの性能、セキュリティ、ガバナンス、そして法令遵守を検証できる。厳選されたデータセットでの業者選定によるテストは、実運用へのアクセスを伴う独立した評価よりも弱い。監査担当者には、報復からの保護、重大な限界を公表する自由、そして所見を再現するのに十分な情報が必要である。
影響評価は、調達前とその後の展開後の両方で行われるべきである。それは、影響を受ける集団、代替案、データの出所、誤りの結果、異議申し立て、そして停止基準を特定すべきである。展開前のテストはあらゆる局所的な条件を予見できないため、集計された結果のモニタリングが必要である。
透明性は利用可能なものでなければならない。技術論文を公表することは、応募者に拒否された理由を伝えない。個人への通知には決定的な要因と訂正の手段が必要であり、公的な透明性には性能、契約、インシデント、そして機関の権限が必要である。
参加と救済
あるシステムの対象とされる人々は、成功と許容できない害とは何かを定義する助けをすべきである。障害者団体はアクセスできない試験を特定できる。賃借人は記録の誤りを説明できる。労働者は監視が行動をどう変えるかを明らかにできる。契約が締結された後の協議には、ほとんど交渉力がない。
救済には、訂正、再考、可能な場合の失われた機会の回復、害に対する補償、そして組織的な変革が含まれるべきである。人間による審査は、スコアの単なる追認ではなく、独立した権限を持つものでなければならない。
AGIのシナリオ
より有能なエージェントは、データベースを統合し、親密な特性を推測し、操作を個別化し、そして監視の意思決定を自動化しうる。それらはまた、差別を明らかにし、苦情を翻訳し、法的支援をよりアクセスしやすくする助けにもなりうる。どちらの結果も、知能だけからは導かれない。法律、アクセス統制、制度上のインセンティブ、そして所有権が利用のあり方を決定する。
実践的な基準は明快である:合法的な目的、有効性の証拠、部分集団テスト、データの最小化、アクセス可能な通知、意味のある人間による異議申し立て、独立した監督、そして救済がなければ、権利に関わるシステムを展開してはならない。正確性は多くの場面で必要だが、公民権は、正確であっても諸機関が何をしてよいかについての限界を要求する。