Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI 人類存続のためのブリーフィング
JA

最先端AI研究機関の安全性フレームワーク比較

6社の安全性フレームワークを、閾値、セーフガード、超過時の対応、実際の運用を検証する独立監査と照らし合わせて比較する。

Written by
Dwight Ringdahl
Status
出典確認済み
Revised
Sources
13 cited
Reading
1 min

安全性フレームワークとは実際には何か

最先端AI研究機関の安全性フレームワークとは、その機関自身が公表する方針であり、能力の閾値——あるモデルができるようになるかもしれない具体的なこと——と、モデルがその閾値のいずれかに到達したときに発動することを意図したセーフガードや組織的な公約を定義するものである。Anthropicは自社版を責任あるスケーリング方針と呼び、OpenAIは準備態勢フレームワーク、Google DeepMindは最先端安全性フレームワーク、Metaは先進AIスケーリングフレームワーク、xAIは最先端人工知能フレームワーク、Microsoftは最先端ガバナンスフレームワークと呼んでいる。名称は異なるが、構造的には、6社すべてが同じ問いに答えようとしている。すなわち、あるモデルがそのまま展開するには危険すぎると、企業はどうやって知るのか、そしてそれについて実際に何をすると約束しているのか、という問いである。

この問いが重要なのは、これら6社のいずれについても、拘束力を持つモデル固有の能力閾値を定める外部の規制当局が現在存在しないからである(「2026年のAI法と執行の状況」を参照)。今のところ、これらの文書が業界の実質的な実務上の答えである。それらは同じ文書を6回コピーしたものでもない。どのリスクを各研究機関が追跡しているか、閾値がどう定義されているか、そして——最も重要なことに——閾値を超えたときに何が起きるかは、意味のある形で異なっている。

比較を始める前に一つ述べておくべきことがある。それは以下のすべての読み方を左右する。表中のあらゆる主張は、その研究機関自身が表明した方針である。そのいずれも、研究機関が実際に述べた通りのことを行っているという独立した検証ではない。表の後に続く別の節「主張と実務」は、これら6社の表明された公約と実際の行動との間に文書化された、格付けされた外部監査、学術的批判、そして隔たりを扱っている——そして表そのものよりも、この節の方が重要である。

範囲と情報源についての注記

以下のフレームワークの詳細はすべて、各研究機関自身の現行の公表文書と、(「主張と実務」の節については)2026年9月時点で名指しされた独立の報告書や論文と照らし合わせて確認した。正確なバージョン番号と発効日をすべて記載しているのは、再訪した読者が何かが変わったかどうかを判断できるようにするためである。これらの方針は頻繁に改訂される——Anthropicだけでも2023年9月以降、番号付きのバージョンを9回公表している——ため、各行を確定した記述ではなく、日付の付いたスナップショットとして扱ってほしい。

フレームワークの比較

研究機関(フレームワーク) 現行バージョン/日付 追跡するリスク領域 閾値/階層構造 閾値を超えたときに何が起きるか
Anthropic — 責任あるスケーリング方針 v3.4、2026年7月8日発効 非新規CBRN能力の底上げ、新規CBRN能力の底上げ、高リスクの妨害工作、自動化されたAI研究開発の加速 能力/利用閾値の表。固定されたASL-2/ASL-3/ASL-4の階層はv3.0の書き換えで撤廃(旧来のASLラベルは、既に導入済みの現行の統制についてのみ残されている) 公開された、拘束力のない最先端安全性ロードマップを過去の実績と照らして格付けし、加えて3〜6か月ごとにリスク報告書を外部レビューとともに公表——無条件の一時停止はない
OpenAI — 準備態勢フレームワーク v2、2025年4月15日 生物・化学、サイバーセキュリティ、AIの自己改善(追跡対象);長期的自律性、サンドバッギング、自律的複製と適応、セーフガードの無力化、核・放射線(研究対象カテゴリーであり、まだ完全な基準はない);説得は明示的に除外 HighとCriticalの2階層 High:展開前にセーフガードが必要。Critical:開発中にセーフガードが必要。開発を完全に停止することもありうる。内部の安全性諮問グループが勧告し、CEOまたはその指名者が決定し、取締役会の安全・セキュリティ委員会が監督する
Google DeepMind — 最先端安全性フレームワーク v3.1、2026年4月17日 CBRN;サイバー;有害な操作(「探索的であり、さらなる研究の対象」と明記);機械学習研究開発と整合性のずれ(v3.1で一つの領域に統合) 重要能力レベル(CCL)に加え、より基準の低い追跡能力レベル(TCL、v3.0/3.1で新設);セキュリティレベルSL1〜SL4は、遵守基準ではなく用語として使用 CCLに到達する前に「警戒閾値」が正式な能力評価の引き金となる。CCLへの到達には、外部への展開の前に補足的な安全性論証とガバナンスの承認が必要(機械学習研究開発のCCLについては、高リスクの内部展開の前にも同様に必要)
Meta — 先進AIスケーリングフレームワーク v2、2025年2月3日(「フロンティアAIフレームワーク」v1.1から改称;2026年4月頃に更新) 化学・生物;サイバーセキュリティ;制御の喪失(v2で追加) 固定された階層スケールではなく「脅威シナリオへの底上げの水準」 重大なリスクを緩和できない場合:そのモデルを外部に展開せず、開発も継続しない
xAI — 最先端人工知能フレームワーク(FAIF) 2026年6月30日発効(2025年8月20日に最終更新された旧リスク管理フレームワークを置き換え) CBRN;攻撃的サイバーセキュリティ;制御の喪失;有害な操作 少なくとも年1回の完全なシステミックリスク評価;固定された階層スケールなし 全体を通じて条件付きの文言(「我々はするかもしれない」「我々が正当と判断すれば」);他社に匹敵する明確な開発停止の引き金はない
Microsoft — 最先端ガバナンスフレームワーク 2026年2月更新(v1は2025年2月) CBRN兵器;攻撃的サイバー作戦;高度な自律性;制御の喪失と有害な操作(2026年2月追加) 二段階:少なくとも6か月ごとの自動化された「先行指標」ベンチマークによるスクリーニング、Low/Medium/High/Criticalで評価するより深い評価へのエスカレーション 「もし……十分に緩和できないリスクを特定した場合、緩和策がそのリスクに見合うまで開発と展開を一時停止する」——6社の中で最も直接的な停止公約

最も重大な変化:Anthropicが無条件の一時停止から離れたこと

AnthropicのRSPは6社の中で最も長い公開履歴を持ち、その最新の構造的変化は、2026年のフロンティア安全性フレームワークの中で最も議論された展開である。2023年9月19日に公表されたバージョン1.0は、AI安全性レベル(ASL)制度——ASL-2、ASL-3、ASL-4——を導入した。それぞれが、必要とされる統制の具体的で固定されたリストによって定義され、加えて一つの強い公約を伴っていた。すなわち、事前に十分であると証明された安全対策なしには、Anthropicは閾値を超えて訓練を行わない、というものだ。バージョン2.0(2024年10月)、2.1(2025年3月)、2.2(2025年5月)は、この構造を拡張し、CBRN閾値を追加した。

2026年2月24日発効のバージョン3.0は、この方針を書き換えた。Anthropicは、固定されたASL階層を能力/利用閾値の表に置き換え、その理由を付録の中で直接説明した——なぜ具体的で項目化された統制リストから離れたのかについての、同社自身の言葉が、登録された引用として以下に示される。旧来の厳格な一時停止に代わって、v3.0は二つの新たな仕組みを導入した。すなわち、Anthropic自身の過去の実績と公然と照らして格付けされる、公開の、拘束力のない最先端安全性ロードマップと、少なくとも一人の審査を受けた、利益相反のない外部レビュー担当者による審査の対象となる、3〜6か月ごとに公表されるリスク報告書である。Anthropicの文書は、これが、一方的で絶対的なリスク姿勢から、条件付きで競合他社の状況に依存する姿勢への意図的な転換であることを明示している。名前の付いた付録は、「Anthropicが先行している」や「競合他社が強力な安全対策を講じている」といったシナリオを示しており、そのもとで同社自身の公約は変化する。バージョン3.1(4月2日)、3.2(4月29日)、3.3(5月26日)、3.4(2026年7月8日、現行)は、それぞれ細部を改訂してきた——直近では自動化されたAI研究開発の閾値を狭め、内部のリスク報告書の配布範囲を広げている——が、以前の厳格な一時停止を復活させることはなかった。

この方針そのものをめぐるガバナンスは、これらのバージョンを通じて一貫している。指名された責任あるスケーリング担当者、不遵守を報告する経路、そしてAnthropic自身が「実質的な結果ではなく手続き上の遵守」を検証するものだと説明する年次の第三者による手続き遵守レビューである——この区別は注目に値する。というのも、それはこの監査がプロセスが守られたことを確認するものであって、結果として下された決定が正しかったことを確認するものではないことを意味するからだ。

この変化は、社外において即座に信頼性に関わる出来事として受け止められた。METRの政策担当ディレクターであるクリス・ペインターは、Anthropicの許可を得て初期の草稿をレビューし、リスク報告書によって透明性が高まったことを歓迎しつつも、以下に引用する率直な評価を記者に語った。

他の五つのフレームワークが収斂し、分岐する点

MicrosoftのFrontier Governance Frameworkは、Anthropicの新たな条件付きの姿勢と最も直接的な対照をなす。上記および以下に全文引用されているその一時停止公約は、見かけ上無条件であり、リスクを十分に緩和できないというMicrosoft自身の判断にのみ結びついている——Anthropicの付録Aに匹敵するような、競合他社の状況に応じた例外規定はない。

Metaの先進AIスケーリングフレームワークは、より狭い自社のケースについて、同様に無条件の公約を行っている。あるモデルがMetaの「重大リスク閾値」に到達し、そのリスクを緩和できない場合、Metaはそのモデルを外部に展開せず、開発も継続しないと述べている。Metaは固定された階層スケールではなく「脅威シナリオへの底上げの水準」を用いているが、その根底にある領域——化学・生物学的リスク、サイバーセキュリティ、そして(Metaのv2で追加された)制御の喪失——は、各フレームワークが個別に公表されていることが示唆するよりも、研究機関間で共有されていることが分かる。OpenAI自身の準備態勢フレームワークv2は、脚注で率直に、自社の能力報告書とセーフガード報告書は「Anthropicの更新されたRSPに類似する」ものであり、その閾値基準は「一部、Metaの最近のFrontier AI Frameworkに影響を受けた」と述べている——これは、他の点ではそれぞれが孤立して書かれたかのように読める一連の文書の中で、研究機関間の収斂を認める珍しい例である。

OpenAI自身の二階層構造は、より厳しい関門——開発そのものの停止の可能性——をCriticalの階層にのみ設けており、その場合でさえ、その決定は、OpenAIのCEOまたはその指名者が覆すことのできる内部の安全性諮問グループの勧告を経由し、そのオーバーライドの監督は、同じCEOが共同で率いる取締役会自身の安全・セキュリティ委員会が担う。このフレームワークは2026年7月に実際に適用された。OpenAIのGPT-5.6システムカードは、より小型で高速なSol、Terra、Lunaの各モデルを、サイバーセキュリティと生物・化学リスクの両方でHigh能力に指定した——ファミリー内の小型モデルがその指定を受けたのは初めてであり、新たな活性化分類器、リアルタイムの出力ブロック、約70万GPU時間の自動化されたレッドチーム演習を引き起こした(OpenAI、GPT-5.6展開安全性ページ)。これはOpenAI自身による自己の遵守についての説明であって、独立監査ではない。

Google DeepMindの最先端安全性フレームワークは、また別の形で機能する。二項対立的な階層の突破ではなく、「警戒閾値」が、実際に重要能力レベルに到達する前に正式な能力評価の引き金となることを意図しており、いずれかへの到達には、外部への展開の前に、補足的な安全性論証とガバナンスの承認が必要となる——機械学習研究開発の領域については、高リスクの内部展開についても同様に拡張されている(DeepMind、最先端安全性フレームワークv3.1)。ある研究機関が自らのフレームワークの限界を公に名指しした最も明確な例がある。GoogleのAI研究チーム全体の仕事を完全に自動化しうるモデルについてDeepMindが推奨するセキュリティレベル4には、これは「最先端AI分野全体として引き受けられなければならない」という明示的な注記が添えられている——DeepMindは、その公表文書の中で、その能力水準においては単独の企業の統制では十分ではないと自ら述べているのである。

xAIのFAIFは、この観点においては相対的に薄い。四つの領域全体を通じて、条件付きの文言——「我々はするかもしれない」「我々が正当と判断すれば」——がほぼ一貫しており、この文書には、OpenAIのCriticalの階層やMetaの「展開しない」という文言に匹敵する、展開を停止する公約は含まれていない(xAI、最先端人工知能フレームワーク)。これは以前のリスク管理フレームワークを置き換えたものだが、そのリスク管理フレームワーク自体、xAI自身が示していたスケジュールから数か月遅れて公表されていた——文書化された前例のあるパターンであり、次に取り上げる。

これら6社を超えて公表された最先端研究機関の方針をより広く一覧するものとして、METRが比較表を維持している(METR、「最先端AI安全性方針に共通する要素」、索引)。これは12の研究機関を対象としている。これは主に構造的な索引として機能するものであり、格付けされたスコアカードではない——格付けされた比較については、次の節を参照のこと。

主張と実務

これまで述べてきたのは、6社が何をすると言っているかである。実際にそれを行ってきたかどうかは、別の、より重要な問いであり、入手可能な証拠は、フレームワーク自体よりもかなり見劣りする。

最も有用な単独の独立チェックは、SaferAI最先端リスク管理トラッカーであり、いずれの研究機関の自己申告のフレームワークとも異なる、真に独立した格付けである。これは、上で比較した6社だけでなく12社を、四つの側面——リスク特定、リスク分析・評価、リスク対応、リスクガバナンス——について評価する。2026年7月の更新時点で、100%満点の総合スコアは以下の通りであった。Anthropic 35%(総合で最高、リスクガバナンスに限れば50%で単独最高)、OpenAI 34%、Microsoft 33%、Meta 33%、G42 24%、Google DeepMind 20%、xAI 18%、Amazon 18%、NVIDIA 16%、Magic 11%、Naver 10%、Cohere 8%(最低)(SaferAI最先端リスク管理トラッカー)。SaferAI自身が示す、現在の最良の実践がもたらしうる基準——分野全体で見つかる単一の最も強力な既存の実践を、すべての企業が採用した場合に達成できる水準——は以下に引用されているが、それは100%にはほど遠い。首位の企業を含め、審査対象となった研究機関のいずれも、SaferAIが十分と見なす水準には近づいていない。

OpenAIの準備態勢フレームワークは、額面通りに受け取られるのではなく、外部の学術研究者によって直接検証されてきた。Coggins、Saeri、Daniell、Ruster、Liu、Davisは、「アフォーダンス」フレームワーク——ある方針文書が要求すること、求めること、促すこと、単に許容することを区別する枠組み——を適用し、三つの発見に至った。第一に、このフレームワークは、MITのAIリスクレポジトリの24の下位領域の分類のうち、少数についてしか評価を求めておらず、いかなる評価も義務づけてはいない。第二に、深刻な被害についての「Medium」能力を持つシステムの展開を促している——OpenAI自身の定義では、数千人の死亡または重傷、あるいは数千億ドルの経済的損害を対象とする——これは、Medium評価の生物・化学能力および説得能力を持ちながらもOpenAIがo1モデルを展開したこと自体を引き合いに出している。第三に、OpenAIのCEOが安全性諮問グループのセーフガードに関する勧告を覆すことを許容しており、その同じCEOが、その裁量を監督することを意図した取締役会委員会を共同で率いている——これは仮定上のものではなく、構造的な利益相反についての発見である。

Google DeepMindの安全性の論証は外部監査を受けてきた——6社の中で、特定の安全性に関わる主張が、研究機関の内部プロセスではなく、名前と資格を持つ外部の審査担当者によって検証された、最も明確な例である。DeepMindの内部的な議論、すなわち自社のモデルには「策謀」する能力がないという主張は、Barrett、Campos Zabala、Fillingham、Siddique、Walpole、Bloomfield、Papadatosによって、正式な保証方法論を用いてレビューされた。彼らの評価は、DeepMindが真摯な方法論的関与と透明な理由づけを行ったことを評価する一方で、以下に引用する発見に至った——これは、エンジニアリングの実践と、実際に提示された証拠との間の距離についての発見であって、悪意についての非難ではない。

xAIは、あるフレームワークの主張が出来事によって直接矛盾させられた最も明確な事例を提供しており、それは二度起きた。第一に、プロセスについて。xAIの2025年2月の草稿フレームワークは、「3か月以内」——おおよそ2025年5月10日という期限——に最終版を出すと約束していた。この期限はxAIから何の言及もないまま過ぎ去り、監視団体The Midas Projectに、以下に引用するパターンを指摘させることとなった。最終的なFAIFの前身は2025年8月20日まで公表されなかった——3か月以上の遅れである。第二に、実質について。まさにその同じ日、xAIは誤って数十万件の利用者の会話を公開してしまい、イーロン・マスクは別途、あるエンジニアが同社のコードリポジトリ全体をダウンロードしていたことを認めた——これは同じ文書自身が記していたセキュリティに関する主張を直接損なうものであった。AI Lab Watchはまた、英国AIセキュリティ研究所への第三者評価者としてのクレジットが、公表から1日後に説明なくGrok 4のモデルカードからひっそりと削除されたことを文書化した(AI Lab Watch、「xAIの新しい安全性フレームワークはひどい」)。

この節のすべての項目が文書化された失敗というわけではない。上述したOpenAIのGPT-5.6のHigh能力指定は、フレームワークがおおむね書かれた通りに適用された例として読むのが最も適切である——しかしそれは依然としてOpenAI自身の自己報告であり、その背後にあるレッドチーム演習や分類器の有効性についての主張についての独立した検証は、本稿執筆時点では見つかっていない。

このページの使い方

ここで名前を挙げたすべてのフレームワークは、それぞれのスケジュールで改訂されており、通常、変更履歴の記載以上の公的な告知はほとんどない。上記のバージョン番号と発効日は、ある行が今なお最新かどうかを確認する最も速い方法である。AnthropicのRSPはv3.4(2026年7月8日)、OpenAIの準備態勢フレームワークは2025年4月15日以降v2のままで本稿執筆時点でv2.1はなく、DeepMindの最先端安全性フレームワークはv3.1(2026年4月17日)、Metaの先進AIスケーリングフレームワークはv2(2025年2月3日、その後更新)、xAIのFAIFは2026年6月30日発効、Microsoftの最先端ガバナンスフレームワークは2026年2月に最終更新された。これらの数字のいずれかが、読んでいる時点で変わっていれば、その行だけは古くなっていると見なしてほしい。

これらのフレームワークの背後にある能力試験と安全性論証の論理が実際にどう機能するのか——そしてそれ自体の限界——については、「最先端評価、安全性の論証、インシデント報告」を参照。これらのフレームワークが防止または察知することを意図した実世界のインシデント、開示、ニアミスの時系列記録については、「AIインシデント年表」を参照。

References

Direct quotation
“Earlier editions of our RSP defined “AI Safety Levels” with specific lists of required controls... when defining the risk mitigations needed for future levels of AI capability, we have found that providing a specific list of controls is overly rigid, and we instead prefer to focus on what sort of argument an AI developer should make”
Anthropic, Responsible Scaling Policy, Appendix B ("Notes on ASLs")
anthropic.com, Primary source
Direct quotation
“This is more evidence that society is not prepared for the potential catastrophic risks posed by AI”
Chris Painter, Director of Policy, METR
Winbuzzer, Reported interview
Direct quotation
“If, during the implementation of this framework, we identify a risk we cannot sufficiently mitigate, we will pause development and deployment until the point at which mitigation practices evolve to meet the risk”
Microsoft, Frontier Governance Framework (February 2026 update)
microsoft.com, Primary source
Direct quotation
“if a company were to apply all the best practices currently found across the other companies, they would achieve a score of 59%”
SaferAI, Frontier Risk Management Tracker
tracker.safer-ai.org, Research/report
Direct quotation
“OpenAI's Framework requests research & evaluation of a small minority of AI risks and demands none”
Sam Coggins, Alexander K. Saeri, Katherine A. Daniell, Lorenn P. Ruster, Jessie Liu, and Jenny L. Davis, Authors, "The 2025 OpenAI Preparedness Framework does not guarantee any AI risk mitigation practices: a proof-of-concept for affordance analyses of AI safety policies"
arXiv:2509.24394, Research/report
Direct quotation
“we identified gaps between what would be expected in established safety-engineering practice and what the safety case delivers”
Stephen Barrett, Francisco Javier Campos Zabala, Sean P. Fillingham, Umair Siddique, James Walpole, Robin Bloomfield, and Henry Papadatos, Authors, "Lessons from External Review of DeepMind’s Scheming Inability Safety Case"
arXiv:2604.21964, Research/report
Direct quotation
“xAI misses a second self-imposed deadline to implement a frontier safety policy”
The Midas Project, AI-safety watchdog group, quoted by TechCrunch
TechCrunch, Secondary coverage
  1. OpenAI、GPT-5.6展開安全性ページ deploymentsafety.openai.com
  2. DeepMind、最先端安全性フレームワークv3.1 storage.googleapis.com
  3. xAI、最先端人工知能フレームワーク media.x.ai
  4. METR、「最先端AI安全性方針に共通する要素」 metr.org
  5. 索引 metr.org
  6. AI Lab Watch、「xAIの新しい安全性フレームワークはひどい」 ailabwatch.substack.com

Type to search the manual.

↑↓ navigate ↵ open esc close