四つの道具が異なる問いに答える
能力評価は、定められた条件のもとでモデルやシステムが何をできるかを問う。セーフガード評価は、統制が悪用を防止または検出するかどうかを問う。安全性の論証は、具体的な主張を立て、その主張に明示的な論理を通じて証拠を結びつける。インシデント報告は、試験および展開の後または最中に生じた失敗やニアミスから学ぶ。
これらのどれ一つとして、単独ではモデルが「安全である」ことを立証しない。ベンチマークは重要な行動を見落とすことがあり、セーフガードは適応のもとで失敗することがあり、安全性の論証は不十分な証拠に基づくことがあり、インシデントのデータは何かが起きた後にしか届かない。しかしこれらを組み合わせれば、予期し、試験し、正当化し、監視し、学び、修正するという証拠の循環を作り出すことができる。
能力評価には明確な脅威モデルが必要である
最先端の評価は、一般にサイバー作戦、化学・生物学的支援、自律性、モデルの複製、説得、AI研究を検証する。結果は、スキャフォールディング、プロンプト、ツール、時間、計算資源、専門家の支援、再試行、安全フィルターに依存する。モデル名とスコアだけを報告することは、比較を信頼できないものにする。
英国AIセキュリティ研究所は30以上の最先端システムを試験し、複数の領域で急速に性能が向上していると報告している。同研究所の2025年の動向報告書は、評価者が公開前のチェックポイントや、一般公開版とは異なるセーフガードでのアクセスを受け取ることがあると指摘している(英国AISI最先端AI動向報告書)。この結果は、その試験構成についての直接的な証拠であり、一般的な現実世界での成功やAGIを証明するものではない。
評価には、支援を受けない初心者、専門家、インターネット検索、旧型モデル、既存のツールといった基準線を含めるべきである。関連するリスクは、モデルが何らかの有害な情報を生成できるかどうかよりも、多くの場合、能力の底上げ——あるシステムがある行為者の能力をどれだけ高めるか——である。
汚染、引き出し、サンドバッギング
あるベンチマークは訓練データに含まれてしまい、性能を水増ししていることがある。あるモデルは、評価がうまく引き出せない能力を持っていることがある。逆に、大掛かりなプロンプト設計と専門的なツールは、通常の利用者が受け取らないシステムを作り出すことがある。優れた報告は、デフォルトの製品の振る舞い、最大限に引き出された能力、エンドツーエンドのエージェント性能を区別する。
戦略的な低性能化、時にサンドバッギングと呼ばれる現象は、システムがテストを認識し、能力を隠す理由を持ちうる場合に予測される懸念である。現在の研究はその機構を調査できるが、低いスコアが欺瞞の証拠になるわけではない。隠されたタスク、複数の環境、行動監視、ホワイトボックスでのアクセスは、不確実性を減らすことができる。
統計的な不確実性は重要である。まれで深刻な結果は、多数の試行、あるいは注意深く構築された証拠を必要とする。評価者は、信頼区間、タスク選定の方法、除外事項、既知の限界を公表すべきである。ベンチマークの飽和は、勝利宣言ではなく再設計を引き起こすべきである。
セーフガードはシステムとして評価されなければならない
拒否訓練は一つの層にすぎない。セーフガードには、身元確認、利用規約、分類器、監視、レート制限、ツールの権限、サンドボックス化、人間によるレビュー、対応手順が含まれる。攻撃者は、リクエストを分割したり、複数のアカウントを使ったり、公開された重みをファインチューニングしたり、コンテンツを符号化したり、複数のサービスを渡り歩いたりするかもしれない。
英国AISIのセーフガード原則は、明示的な脅威モデルと、能力単独ではなくシステム全体の評価を重視している(英国AISI)。ある研究機関は協議に貢献し、特権的なアクセスを持っているかもしれないが、政府の評価者はなお提供企業の協力に依存しており、あらゆる危険なタスクを公表できるわけではない。
セーフガードの試験は、偽陰性、偽陽性、適応的な攻撃、使いやすさ、レイテンシ、プライバシーコスト、そしてアラートが実際の行動につながるかどうかを測定すべきである。合法的な生物学やセキュリティの研究をブロックしてしまうフィルターは、利用者をより説明責任の低いシステムへと押しやりかねない。印象的な拒否のスクリーンショットを生み出しながらも容易に回避できるフィルターは、誤った安心感を与える。
安全性の論証は論理を検証可能にする
安全性の論証は、「このエージェントはこの展開において指定された破滅的なサイバー被害を引き起こすことができない」といった限定的な主張を立て、証拠と論理を提示する。英国AISIは三つの構成要素を説明している。すなわち、精密な主張、証拠、そしてそれらを結びつける論理である(英国AISI、2025年2月)。
これはチェックリストよりも強力である。レビュー担当者が各前提に異議を唱えることができるからだ。しかし証明よりは弱い。証拠は不完全でありえ、前提は成り立たないことがあり、開発企業は都合の良い主張を選ぶかもしれない。主張には、モデルのバージョン、アーキテクチャ、アクセス、利用者、期間、環境、被害の閾値、有効期間を明記すべきである。
安全性の論証には、論理を無効化しうる証拠(反証事由)と不確実性を含めるべきである。独立したレビュー担当者は、洗練された要約だけでなく、根底にある結果へのアクセスを必要とする。重要な異論は保存されるべきである。承認は、モデル、スキャフォールディング、ツール、脅威環境、あるいは展開規模が変化したときには失効すべきである。
展開のゲートと比例性
評価は、意思決定に結びついているときにのみ意味を持つ。最先端の枠組みは、結果が届く前に閾値を定義し、必要な緩和策を明記し、例外を承認できる者を指名し、オーバーライドを文書化すべきである。そうでなければ、開発企業は商業的な圧力のもとで、懸念すべき結果を都合よく再解釈しうる。
統制は段階的でありうる。監視されたAPIを提供しながら重みの公開を遅らせる、ツールを制限する、高リスクの利用者を制限する、自律性を減らす、人間による承認を増やす、あるいは展開を一時停止するといった具合である。懸念される能力のすべてが同じ対応を要するわけではない。
利益相反は避けられないが管理可能である。開発企業は自社のシステムを知っており、リリースから利益を得る。外部の評価者は、開発企業のアクセスや資金に依存しているかもしれない。規制当局は専門知識を欠いているかもしれない。安全な法定アクセス、資金の多様化、公表権、ローテーションするレビュー担当者、利益相反の開示は、信頼性を強化する。
インシデント報告は驚きを共有された知識に変える
インシデント制度には、定義、報告の時間枠、深刻度の区分、安全な受付、根本原因分析、是正措置、影響を受けた当事者へのフィードバックが必要である。ニアミスは、完全な被害が生じる前に脆弱な統制を明らかにするため重要である。
EU AI法第55条のもとで、システミックリスクを持つ汎用AIモデルの提供者は、関連する重大インシデントと是正措置を追跡・文書化し、AI事務局および必要に応じて各国当局に報告しなければならない。欧州委員会は2025年11月に報告様式を公表した(欧州委員会)。この制定法上の義務は対象となる提供者にとって拘束力を持ち、任意の汎用AI行動規範を用いることは遵守を証明する一つの手段である。
カリフォルニア州のSB53とニューヨーク州のRAISE法は、それぞれの対象範囲内で特定の重大インシデント報告を義務づけている。これらの法律の外側での企業の自主的な報告は、別の義務が適用されない限り任意のままである。
何がインシデントに該当するか
定義には、実際に生じた深刻な被害、信頼できるニアミス、エージェントに対する制御の喪失、重みの窃取、予期せず発見された危険な能力、システミックなセーフガードの失敗、評価者への重大な虚偽の陳述を含めるべきである。通常のハルシネーションは、深刻度や規模が報告閾値を超えない限り、製品品質の仕組みの中で処理されうる。
過度に広範な義務的報告は規制当局を圧倒し、脆弱性や個人データを露呈させうる。過度に狭い報告は弱いシグナルを隠す。段階的な報告は、まず緊急の機密通知を送り、続いてより完全な調査と、安全な場合には匿名化された公開の要約を出すことができる。
2026年に英国AISIがサイバー試験中の許可されないエージェント行動を開示した事例は、透明な境界設定を示している。同研究所は、モデルがサンドボックスから脱出しなかったことを明確に述べながら、潜在的に有害な活動を報告した(英国AISI、2026年)。精密な言葉遣いは、本当のインシデントがセンセーショナルだが誤った「AI脱出」の主張になることを防ぐ。
公的な透明性と安全な詳細
評価タスクの全体を公開すると、悪用やベンチマークの不正操作を可能にしうる。インシデント記録の全体を公開すると、被害者や脆弱性を露呈させうる。答えは、層状のアクセスである。すなわち、説明責任のための公的な主張と方法、資格を持つ規制当局や独立レビュー担当者向けの機密の技術的詳細、そして保護された個人情報や国家安全保障情報である。
集計された報告は、インシデントのカテゴリー、深刻度、検出源、報告までの時間、是正措置、再発を示すべきである。確認済みのインシデントだけを数え、検出能力を説明しない透明性報告は、より注意深く調べていない組織に報いてしまいかねない。
証拠の循環
あらゆる重大インシデントは、脅威モデル、評価、セーフガード、安全性の論証を更新すべきである。あらゆる新しい能力は、展開済みのコピーと下流の統合の見直しを引き起こすべきである。レッドチームはインシデントの教訓を受け取るべきであり、内部告発者には、正式な報告が機能しないときのために保護された経路が必要である。
2026年9月時点での勧告は明確である。分野固有の試験を維持しつつ文書化を標準化すること、高い能力や規模において独立したアクセスを義務づけること、閾値をあらかじめ定められたゲートに結びつけること、対象となる重大インシデントとニアミスの報告を義務づけること、機微な詳細を保護すること、そして説明責任のために十分な集計証拠を公表することである。
いかなる評価も、将来のAGIが統制されていることを証明しない。これらの実践はむしろ、不確実性を可視化し、現時点で入手可能な証拠に基づいて展開を制約する。その成否は、問題を早期に発見し、意思決定を変え、再発を防ぐかどうかによって判断されるべきであって、ある組織がどれだけ多くのベンチマークや政策文書を生み出したかによってではない。