ラベルではなく機能から始める
自律兵器とは、一般に、一度起動されると、個々の攻撃ごとに人間の承認を得ることなく標的を選択し交戦できるシステムと理解されている。自律性は単一のスイッチではないため、定義は依然として議論の的である。人間が任務領域と標的の種類を選ぶ一方で、ソフトウェアがナビゲーションを行い、物体を識別し、行動を推奨し、あるいは発砲の正確な瞬間を決定することがある。
この幅には、防御用の迎撃システムのような長年存在するシステムに加え、より新しい滞空型弾薬、ドローン群、AI支援の標的設定ツール、そして武装した地上ロボット——本マニュアルの「軍事用ヒューマノイドと地上ロボット」のページで取り上げている、車輪式、履帯式、脚式のプラットフォーム——が含まれる。リスクは、環境、標的、時間的プレッシャー、予測可能性、通信、そして誤りの帰結に依存する。飛来する弾薬を迎撃するよう厳密に限定されたシステムは、都市の中で人間を探索するシステムとは異なる。
AI支援の意思決定支援もまた、形式的には人間が引き金を引く場合であっても、精査に値する。ある運用者が、過酷な時間的プレッシャーのもとで、機械が生成した何百もの標的を受け取るならば、承認は形式的な追認になりかねない。「人間がループの中にいる」という言葉は、その人間が、システムに異議を唱えるための情報、権限、時間、訓練を持っていない限り、ほとんど意味を持たない。
文書化されていること、そして依然として係争中であること
2021年の国連リビア専門家パネル報告書は、Kargu-2滞空型弾薬やその他のシステムが撤退する部隊に対して使用され、運用者と弾薬の間にデータ接続を必要とせずに標的を攻撃するようプログラムされていたと述べている(国連リビア報告書、63項)。この一節は、人間に対する初の自律ドローン攻撃としてしばしば言及される。しかし、この公開報告書は、Kargu-2が独立して人間を選択し殺害したことを決定的には立証していない。専門家の間では、運用モードと結果について意見が分かれている。それは関連する文脈における展開の証拠であって、確認された自律的な殺害の証明ではない。
より最近の紛争では、広範なドローンの使用、コンピュータビジョン、自動化された情報処理、AIによる標的推奨が特徴となっている。公開報道はしばしば、どのモデルがどの機能を果たしたのか、あるいは運用者がどれだけの統制を保持していたのかを判断するのに十分な技術的アクセスを欠いている。軍の主張、ベンダーの説明、報道記事は、一つの確実性に統合するのではなく、それぞれラベル付けされるべきである。
それでも開発の方向性は明らかである。軍は、通信が妨害されているときにも運用でき、センサーデータを迅速に処理し、多数の安価なプラットフォームを協調させられるシステムに投資している。継続的な遠隔操作リンクは脆弱であるため、より大きな自律性は戦術的に魅力的かもしれない。それがより安全な精密性を生むのか、それともより速く、より説明責任の低い暴力を生むのかは、設計と教義に依存する。
三つの異なるエスカレーション経路
速度のエスカレーションは、自動化された警戒、標的設定、あるいは対応が意思決定の時間を圧縮するときに生じる。危機の中で、指導者は、待つことが機械速度で動く相手のシステムに優位を与えると恐れるかもしれない。それは行動の事前承認への圧力を生みうる。誤ったセンサー読み取り、モデルの誤り、あるいは曖昧な機動が、人々がそれを理解する前に伝播するかもしれない。
規模のエスカレーションは、自律性が多数のシステムを協調させたり標的を生成したりすることを安価にするときに生じる。数十件の決定を慎重にレビューできた人間の組織も、数千件を意味のある形でレビューできないかもしれない。より大きな量は、たとえ個々のシステムがより正確であっても、偶発的な遭遇、民間人への被害、報復の要求を増大させうる。
認識のエスカレーションは、国家が相手のシステム、教義、あるいは統制の水準を誤って読み取るときに生じる。秘密主義は、ある兵器が防御的なものか、ある行動が意図的だったのか、あるいは人間がそれを止められるのかを知ることを難しくする。AIが生成した推奨は、一方には客観的に見えても、もう一方には攻撃的に見えるかもしれない。
これらはもっともらしい機構であって、AIが不可避的に戦争を始めるという証拠ではない。自動化はまた、警戒を改善し、運用者の負荷を減らし、脅威を迎撃し、緊張緩和を支援しうる。結果は、試験、通信、教義、共有された制約に依存する。
核システムはより高い基準に値する
AIを核指揮・統制・通信、あるいは早期警戒に接続することは、例外的な賭け金を生む。機械学習は大規模なセンサーストリームの分析を助けうるが、不透明な誤り、敵対的な操作、分布シフトは、誤った確信が破滅的でありうる場面において危険である。リスクは、必ずしもAIが独立して「核を発射する」ことではない。それには、指導者が数分のうちに、圧縮され十分に較正されていない助言を受け取ることも含まれる。
したがって、核使用の決定に対する人間の責任を維持することは、象徴以上のものである。システムは、不確実性と由来を提供し、独立した経路を保持し、なりすましに抵抗し、指導者が検証する時間を持てるようにすべきである。単一のモデル出力が決定的な指標になるべきではない。演習には、機器の故障だけでなく、AIの失敗と意図的な操作も含めるべきである。
説明責任はアルゴリズムで終わってはならない
国際人道法は、使用される技術にかかわらず適用される。識別、比例性、攻撃における予防措置は、依然として人間と国家の義務である。しかし自律性は調査を複雑にする。有害な結果には、訓練データ、センサーの限界、指揮官の設定パラメータ、ソフトウェアの更新、あるいは運用者の誤用が関わっているかもしれない。
その複雑さは、説明責任の欠落の言い訳にはならない。国家は、追跡可能なログ、法的レビュー、監査可能な試験、明確な指揮責任、システムが運用しうる環境の制限を要求できる。開発企業と指揮官は、予見可能な失敗モードと停止条件を定義すべきである。責任が分散しているという理由だけで、レビューするには予測不能すぎるシステムを展開すべきではない。
バイアスと文脈も重要である。整った画像で試験された視覚システムは、悪天候、瓦礫、迷彩、あるいは見慣れない人々の集団の中で失敗するかもしれない。敵は意図的にセンサーを欺くことができる。テストセット全体で平均化された精度は、そのシステムが特定の標的種別と環境について信頼できるかどうかに答えるものではない。
国際的な政策の状況
各国は、特定通常兵器使用禁止制限条約の枠組みの中で、拘束力ある文書に合意することなく、何年も致死性自律兵器について議論してきた。米国は2023年、責任ある軍事利用のための拘束力のない政治宣言を発表し、上級レベルの監督、厳格な試験、予期せぬ振る舞いを示すシステムを解除する能力を含む原則を、賛同国に約束させた(米国国務省宣言)。
この宣言は規範と実務上の協力を築きうるが、賛同は執行ではない。市民社会と国家の提案は、人による意味のある統制なしに人を標的とするシステムの禁止から、特定の機能の規制と積極的な義務の要求まで多岐にわたる。定義、検証、軍事的優位をめぐる不一致は根強い。
有用な短期的措置は、包括的な条約を待つ必要はない。各国は、インシデント情報を交換し、自律的な核発射の決定を禁止し、兵器レビューを要求し、試験基準を設定し、人を標的とすることに対する人間の統制を保護し、AI関連の事故のための通信経路を確立できる。
人間による意味のある統制に必要なもの
この言葉は運用可能でなければならない。人間には、理解可能な目標と標的の境界、システムの確信度と限界についての信頼できる情報、介入するための十分な時間、使用可能な停止機構、そして拒否する法的権限が必要である。インターフェースは、迅速な確認を促すのではなく、自動化バイアスに抵抗すべきである。行動後、記録は調査と救済を支えなければならない。本マニュアルの姉妹編である「地上ロボット、ヒューマノイド、そして戦争法」は、この人間による統制の要件が、実戦配備された武装地上ロボットにおいて実際にどう実施されているか——あるいはされていないか——を検証している。
統制は交戦の前から始まる。政治指導者が調達と教義を決定し、指揮官がパラメータを設定し、エンジニアがデータと試験を選ぶ。最終的なボタン押下だけに注目することは、こうした重大な選択を見落とすことになる。
慎重な結論
兵器における自律性は、すでに政策上・戦場上の現実であるが、特定の交戦についての公開の証拠はしばしば不完全である。Kargu-2の報告は、証明された自律的な殺害へと誇張されるべきではなく、監督下にある標的設定を、完全に独立した戦争と誤ってラベル付けすべきでもない。
破滅的な懸念は、信頼できる経路に基づいている。より速い決定、大量の協調、脆弱な人間によるレビュー、そして戦略的警戒システムとの相互作用である。そのいずれもエスカレーションを不可避にするものではない。強い人間の権限、監査可能な設計、法的説明責任、共有された規範、そして核と人を標的とする機能をめぐる明確な制限は、証拠が発展し続ける中でリスクを減らすことができる。