Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI 人类生存简报
ZH

前沿 AI 实验室安全框架比较

六家实验室的安全框架比较:阈值、防护措施,以及触发阈值后会发生什么,并对照独立审计核实其实际执行情况。

Written by
Dwight Ringdahl
Status
来源已核查
Revised
Sources
13 cited
Reading
2 min

一份安全框架究竟是什么

一家前沿 AI 实验室的安全框架,是该实验室自行发布的一份政策文件,用于界定能力阈值——即一个模型可能具备的某些具体能力——以及一旦模型达到其中某个阈值时,理应被触发的防护措施或组织层面的承诺。Anthropic 把自己的版本称为「负责任扩展政策」(Responsible Scaling Policy);OpenAI 称为「准备度框架」(Preparedness Framework);Google DeepMind 称为「前沿安全框架」(Frontier Safety Framework);Meta 称为「先进 AI 扩展框架」(Advanced AI Scaling Framework);xAI 称为「前沿人工智能框架」(Frontier Artificial Intelligence Framework);Microsoft 称为「前沿治理框架」(Frontier Governance Framework)。名称各不相同;但从结构上看,这六者试图回答的是同一个问题——一家公司如何判断一个模型已经危险到不适合原样部署,以及它对此究竟作出了什么实际承诺?

这个问题之所以重要,是因为目前没有任何外部监管机构,针对这六家公司中的任何一家,设定具有约束力、且针对具体模型的能力阈值(参见2026年的AI法律与执法)。就目前而言,这些文件就是整个行业实际运作中给出的答案。它们也并非同一份文件被复制了六份:每家实验室追踪哪些风险、如何界定一个阈值,以及——最为关键的——阈值被突破之后会发生什么,这些方面的差异都具有实质意义。

在开始比较之前,有一点需要先说清楚,因为它决定了应当如何阅读下文的全部内容:表格中的每一项陈述,都只是该实验室自己所宣称的政策。其中没有任何一项,构成了对该实验室是否真的言行一致的独立验证。表格之后的独立一节「主张与实践的落差」,涵盖了经过评级的外部审计、学术批评意见,以及这六家公司所宣称的承诺与其实际行为之间,已被记录在案的差距——而那一节,而不是这张表格,才是更为重要的部分。

范围与信源说明

下文列出的每一项框架细节,都对照了该实验室自己当前发布的文件进行了核实,而「主张与实践的落差」一节,还对照了文中点名提及的独立报告与论文,核实截至2026年9月的情况。全文都标注了确切的版本号与生效日期,以便再次阅读的读者判断情况是否已发生变化。这些政策修订十分频繁——仅 Anthropic 一家,自2023年9月以来就已发布了九个编号版本——因此,请把表格中的每一行,都当作一份带有日期的即时快照,而不是一份定论性的描述。

各项框架比较

实验室(框架) 当前版本/日期 追踪的风险领域 阈值/分级结构 阈值被突破后会发生什么
Anthropic — 负责任扩展政策 v3.4版,自2026年7月8日起生效 非新型 CBRN 能力提升;新型 CBRN 能力提升;高风险破坏行为;自动化 AI 研发加速 能力/用途阈值表;固定的 ASL-2/ASL-3/ASL-4 分级在 v3.0 版重写时被取消(遗留的 ASL 标签仅保留用于当前已经到位的管控措施) 公开、不具约束力的《前沿安全路线图》,依据以往表现进行评级,外加每3至6个月发布一次、经外部审查的《风险报告》——不存在无条件暂停
OpenAI — 准备度框架 v2版,2025年4月15日 生物与化学、网络安全、AI 自我提升(已纳入追踪);远程自主性、刻意藏拙、自主复制与适应、破坏防护措施、核与放射性(研究类别,尚未形成完整标准);说服力被明确排除在外 两个等级:危急 高:部署前须落实防护措施。危急:开发期间须落实防护措施;可以完全中止开发。由内部安全咨询小组提出建议;由首席执行官或其指定人选决策;由董事会安全与安保委员会进行监督
Google DeepMind — 前沿安全框架 v3.1版,2026年4月17日 CBRN;网络;有害操纵(被标注为「探索性,尚待进一步研究」);机器学习研发与失准(在 v3.1 版中合并为一个领域) 关键能力等级(CCL),外加门槛更低、v3.0/3.1版新增的追踪能力等级(TCL);安全等级 SL1–SL4 仅作为词汇使用,而非合规标准 「预警阈值」会在达到某个 CCL 之前,触发一次正式的能力评估;而达到某个 CCL,则要求在对外部署之前(对于机器学习研发类 CCL 而言,还包括高风险的内部部署之前),先提供一份补充性的安全案例,并获得治理层面的签字批准
Meta — 先进 AI 扩展框架 v2版,2025年2月3日(由「前沿 AI 框架」v1.1版更名而来;约在2026年4月被取代) 化学与生物;网络安全;失控(v2版新增) 「朝向某个威胁情景的能力提升程度」,而非固定的分级量表 若关键风险无法缓解:将不对外部署该模型,也不会继续对其进行开发
xAI — 前沿人工智能框架(FAIF) 自2026年6月30日起生效(取代了此前的《风险管理框架》,该框架最后一次更新是在2025年8月20日) CBRN;进攻性网络安全;失控;有害操纵 至少每年进行一次完整的系统性风险评估;无固定的分级量表 全文充斥着「我们可能会」「如果我们认定确有必要」这类条件性措辞;没有与其他同行相当的明确的中止开发触发机制
Microsoft — 前沿治理框架 2026年2月更新版(v1版为2025年2月) CBRN 武器;进攻性网络行动;高级自主性;失控与有害操纵(2026年2月新增) 两阶段:至少每6个月进行一次自动化的「先导指标」基准筛查,并升级为评级为低/中/高/危急的深入评估 「如果……我们发现某项风险无法得到充分缓解,我们将暂停开发与部署,直到缓解措施发展到足以应对该风险的程度为止」——这是六者之中最为直接的暂停承诺

最具深远意义的变化:Anthropic 放弃无条件暂停机制

Anthropic 的负责任扩展政策(RSP),是这六份文件中公开历史最长的一份,其最新一次结构性调整,也是2026年前沿安全框架领域中讨论最多的一项进展。2023年9月19日发布的1.0版,引入了 AI 安全等级(ASL)体系——ASL-2、ASL-3、ASL-4——每个等级都由一份具体、固定的所需管控清单来定义,并附带一项硬性承诺:在尚未提前证明防护措施确实足够之前,Anthropic 不会把训练推进到超过某个阈值。2.0版(2024年10月)、2.1版(2025年3月)与2.2版(2025年5月),延伸了这一结构,并新增了 CBRN 阈值。

自2026年2月24日生效的3.0版,重写了这份政策。Anthropic 用一张能力/用途阈值表,取代了固定的 ASL 分级体系,并在一份附录中直接解释了其中的理由——该公司关于自己为何放弃具体的、逐项列出的管控清单的原话,以一条已登记的引文形式出现在下文。取代原先那种硬性暂停机制的,是 v3.0 版引入的两项新工具:一份公开、不具约束力的《前沿安全路线图》,公开对照 Anthropic 自身以往的表现进行评级;以及每三至六个月发布一次、须经至少一位经过审查、外部、不存在利益冲突的审查者复核的《风险报告》。Anthropic 的文件明确指出,这是一次有意为之的转变——从一种单方面、绝对风险导向的立场,转向一种有条件的、取决于竞争对手行为的立场:一份具名的附录列出了诸如「Anthropic 处于领先地位」与「竞争对手拥有强有力的安全措施」等情景,在这些情景下,该公司自身的承诺会随之改变。此后的3.1版(4月2日)、3.2版(4月29日)、3.3版(5月26日)与3.4版(2026年7月8日,现行版本),各自都修订了一些细节——最近一次修订收窄了自动化研发阈值,并扩大了《风险报告》的内部分发范围——但都没有恢复此前那种硬性暂停机制。

围绕这份政策本身的治理安排,在这些版本变化中始终保持不变:一位具名的负责任扩展官、一条违规举报渠道,以及一项由第三方进行的年度程序性合规审查——Anthropic 自己将其描述为核查「程序上的合规性,而非实质性的结果」。这是一个值得留意的区分,因为这意味着,该审查确认的只是流程是否得到了遵循,而不是由此产生的决策是否正确。

这一变化在公司之外,立即被视为一起关乎公信力的事件。METR 政策总监 Chris Painter,在获得 Anthropic 许可的情况下审阅了一份早期草案,尽管他对《风险报告》所带来的更高透明度表示欢迎,却也向记者给出了下文引述的直白评价。

其余五份框架的趋同与分歧之处

Microsoft 的前沿治理框架,是与 Anthropic 这种新的有条件立场形成最直接对比的一份文件:它的暂停承诺——已在上文表格及下文中完整引述——表面上是无条件的,只与 Microsoft 自身对「某项风险是否能被充分缓解」的判断挂钩,不存在任何可与 Anthropic 附录 A 相提并论的、取决于竞争对手行为的情景例外条款。

Meta 的先进 AI 扩展框架,针对一个范围更窄的情形,作出了同样无条件的承诺:如果一个模型达到了 Meta 所设定的「关键风险阈值」、且该风险无法被缓解,Meta 声明将不对外部署该模型,也不会继续对其进行开发。Meta 采用的是「朝向某个威胁情景的能力提升程度」,而不是固定的分级量表,但其背后所涉及的领域——化学/生物风险、网络安全,以及(在 Meta 的 v2 版中新增的)失控——实际上比每份框架各自独立发布这一形式所暗示的,要更多地为各实验室所共享。OpenAI 自己的《准备度框架》v2版,在一条脚注中直言不讳地指出,其《能力报告》与《防护措施报告》「与 Anthropic 更新后的 RSP 并行」,其阈值标准「部分参考了 Meta 近期发布的前沿 AI 框架」——在一组本来读起来仿佛各自独立撰写的文件当中,这是一次颇为罕见的、对各实验室之间趋同性的公开承认。

OpenAI 自身的两级结构,把那道更严苛的关口——即有可能中止开发本身——只设置在「危急」这一级,而即便到了这一级,决策依然要经由一个内部安全咨询小组,其建议可以被 OpenAI 的首席执行官或其指定人选推翻,而董事会自己的安全与安保委员会(由同一位首席执行官共同领导)负责对这一推翻行为进行监督。这套框架在2026年7月得到了实际应用:OpenAI 的 GPT-5.6 系统卡,把其规模更小、速度更快的 Sol、Terra 与 Luna 模型,在网络安全及生物化学风险这两个方面,都认定为「高」能力——这是同一模型家族中较小型号首次获得这一认定——由此触发了新的激活分类器、实时输出拦截,以及大约70万 GPU 小时的自动化红队测试(OpenAI,GPT-5.6 部署安全页面)。这只是 OpenAI 对自身合规情况的一面之词,而不是一次独立审计。

Google DeepMind 的前沿安全框架,则采用了又一种不同的运作方式:并非简单的二元式跨级,而是让一道「预警阈值」在真正达到某个关键能力等级之前,就先触发一次正式的能力评估;而真正达到某个等级,则要求在对外部署之前——对机器学习研发这一领域而言,还要在高风险的内部部署之前——先提供一份补充性的安全案例,并获得治理层面的签字批准(DeepMind,前沿安全框架 v3.1版)。这是一个实验室公开点明自身框架局限性的最清晰例证:DeepMind 为那些可能完全自动化整个 Google AI 研究团队工作的模型,建议采用的安全等级4,附带了一条明确的说明,称这「必须由整个前沿 AI 领域共同承担」——也就是说,DeepMind 在自己发布的文件中承认,在那种能力水平上,没有任何一家公司自身的管控措施是足够的。

xAI 的 FAIF,在这一维度上相对单薄。在其四个领域中,条件性措辞几乎无处不在——「我们可能会」「如果我们认定确有必要」——文件中也不包含任何可与 OpenAI 的「危急」等级或 Meta 的「不予部署」措辞相提并论的中止部署承诺(xAI,前沿人工智能框架)。它取代了此前的一份《风险管理框架》,而那份框架本身,发布时间就已经比 xAI 自己宣称的时间表晚了数月——这是一种有据可查、由来已久的模式,下文将进一步说明。

如果想了解这六家实验室之外、更广泛的前沿实验室政策发布情况,METR 维护着一份比较索引(METR,《前沿 AI 安全政策的共同要素》;索引),涵盖了十二家实验室。它的作用主要是一份结构性索引,而不是一份评级记分卡——如果想看经过评级的比较,请参见下一节。

主张与实践的落差

以上内容,描述的都是这六家公司声称自己将会做什么。它们是否真的做到了,是一个不同、且更为重要的问题,而现有的证据,远没有这些框架文件本身那样体面。

目前最有价值的独立核查,是 SaferAI 前沿风险管理追踪器,这是一项与任何实验室自行申报的框架都截然不同、真正独立的评级。它对十二家公司——而不仅仅是上文比较的这六家——从四个维度进行评级:风险识别、风险分析与评估、风险处置,以及风险治理。截至其2026年7月的更新,各家的总分(满分100%)为:Anthropic 35%(总分最高,在风险治理这一项上尤其突出,达到50%)、OpenAI 34%Microsoft 33%Meta 33%、G42 24%、Google DeepMind 20%xAI 18%、Amazon 18%、NVIDIA 16%、Magic 11%、Naver 10%,以及 Cohere 8%(最低)(SaferAI 前沿风险管理追踪器)。SaferAI 自己给出的基准是:如果每家公司都采用整个行业中现存最强的单项实践做法,当前最佳实践水平能够达到什么程度——该基准数字在下文引述,而它远远没有接近100%。包括排名第一的实验室在内,没有任何一家受评实验室,接近 SaferAI 认为足够充分的水平。

OpenAI 的《准备度框架》,已经被外部学者直接加以检验,而不是被照单全收。Coggins、Saeri、Daniell、Ruster、Liu 与 Davis 运用了一套「可供性」(affordances)分析框架——区分一份政策文件究竟是要求建议鼓励,还是仅仅允许某种做法——并得出了三项发现。第一,该框架只针对麻省理工学院 AI 风险库24个风险子领域分类体系中的一小部分,提出评估要求,而对其中任何一个子领域,都没有作出强制评估的规定。第二,该框架实际上鼓励部署那些在严重危害方面被评为「中等」能力的系统——OpenAI 自己给出的定义,涵盖数千人死亡或重伤,或数千亿美元的经济损失——并援引 OpenAI 自身部署 o1 模型的案例:尽管该模型在生物/化学与说服力方面的能力被评为「中等」,依然被部署了出来。第三,该框架允许 OpenAI 的首席执行官推翻安全咨询小组提出的防护措施建议,而这位同一位首席执行官,又共同领导着本该监督这项自由裁量权的董事会委员会——这是一项已被证实存在的结构性利益冲突,而不是一种假设性的推测。

Google DeepMind 自己的安全案例,已经接受了外部审计——这是这六家实验室中,一项具体的、与安全相关的主张,由具名且具备资质的外部审查者(而不是实验室内部流程)进行核查的最清晰例证。DeepMind 内部关于其模型不具备「密谋」能力的论证,由 Barrett、Campos Zabala、Fillingham、Siddique、Walpole、Bloomfield 与 Papadatos 运用一套正式的保障方法论进行了审查。他们的评估,认可了 DeepMind 在方法论上确有投入、且推理过程透明,但也发现了下文所引述的问题——这是一项关于工程实践与实际呈现出的证据之间存在差距的发现,而不是一项针对其恶意的指控。

xAI 提供了框架主张被事实直接推翻的最清晰案例,而且这种情况发生了两次。第一次是在流程层面:xAI 于2025年2月发布的框架草案,承诺将在「三个月内」发布定稿版本——即大约在2025年5月10日之前。这一期限过去之后,xAI 并未作出任何说明,这促使监督团体「Midas 计划」指出了下文所引述的这种模式。最终那份 FAIF 的前身文件,直到2025年8月20日才得以发布——比原计划晚了三个多月。第二次是在实质内容层面:就在同一天,xAI 意外公开了数十万条用户对话,而 Elon Musk 也另外承认,一名工程师曾下载过公司的整个代码库——这直接推翻了同一份文件自己所写下的安全方面的主张。AI Lab Watch 还记录到,英国 AI 安全保障研究所作为第三方评估者的署名,在 Grok 4 模型卡发布一天之后,被悄然移除,且未作任何说明(AI Lab Watch,《xAI 的新安全框架糟糕透顶》)。

并非本节中的每一个条目,都是一次已被记录在案的失败。上文所述 OpenAI 对 GPT-5.6 作出的「高」能力认定,最恰当的解读是:一份框架基本按照文字所写的那样得到了执行——但它依然只是 OpenAI 自己的一面之词;截至本文撰写之时,尚未发现有独立验证能够证实其背后的红队测试或分类器有效性方面的主张。

如何使用本页内容

本文点名提及的每一份框架,都会按照各自的节奏进行修订,通常除了一条更新日志之外,不会有太多公开的通知。上文列出的版本号与生效日期,是判断某一行信息是否依然是最新状态的最快方式:Anthropic 的 RSP 目前是 v3.4版(2026年7月8日);OpenAI 的《准备度框架》自2025年4月15日起一直停留在 v2版,截至本文撰写之时尚无 v2.1版;DeepMind 的《前沿安全框架》是 v3.1版(2026年4月17日);Meta 的《先进 AI 扩展框架》是 v2版(2025年2月3日,此后已被取代);xAI 的 FAIF 自2026年6月30日起生效;Microsoft 的《前沿治理框架》最后一次更新是在2026年2月。如果到你阅读本文时,这些数字中的任何一个已经发生变化,请把表格中对应的那一行,视为已经过时。

关于这些框架背后的能力测试与安全案例论证究竟是如何运作的——以及它们自身的局限性——参见前沿评估、安全案例与事件报告。至于这些框架本应预防或察觉的真实世界事件、披露信息与未遂事件的时间脉络记录,参见 AI 事件时间线

References

Direct quotation
“Earlier editions of our RSP defined “AI Safety Levels” with specific lists of required controls... when defining the risk mitigations needed for future levels of AI capability, we have found that providing a specific list of controls is overly rigid, and we instead prefer to focus on what sort of argument an AI developer should make”
Anthropic, Responsible Scaling Policy, Appendix B ("Notes on ASLs")
anthropic.com, Primary source
Direct quotation
“This is more evidence that society is not prepared for the potential catastrophic risks posed by AI”
Chris Painter, Director of Policy, METR
Winbuzzer, Reported interview
Direct quotation
“If, during the implementation of this framework, we identify a risk we cannot sufficiently mitigate, we will pause development and deployment until the point at which mitigation practices evolve to meet the risk”
Microsoft, Frontier Governance Framework (February 2026 update)
microsoft.com, Primary source
Direct quotation
“if a company were to apply all the best practices currently found across the other companies, they would achieve a score of 59%”
SaferAI, Frontier Risk Management Tracker
tracker.safer-ai.org, Research/report
Direct quotation
“OpenAI's Framework requests research & evaluation of a small minority of AI risks and demands none”
Sam Coggins, Alexander K. Saeri, Katherine A. Daniell, Lorenn P. Ruster, Jessie Liu, and Jenny L. Davis, Authors, "The 2025 OpenAI Preparedness Framework does not guarantee any AI risk mitigation practices: a proof-of-concept for affordance analyses of AI safety policies"
arXiv:2509.24394, Research/report
Direct quotation
“we identified gaps between what would be expected in established safety-engineering practice and what the safety case delivers”
Stephen Barrett, Francisco Javier Campos Zabala, Sean P. Fillingham, Umair Siddique, James Walpole, Robin Bloomfield, and Henry Papadatos, Authors, "Lessons from External Review of DeepMind’s Scheming Inability Safety Case"
arXiv:2604.21964, Research/report
Direct quotation
“xAI misses a second self-imposed deadline to implement a frontier safety policy”
The Midas Project, AI-safety watchdog group, quoted by TechCrunch
TechCrunch, Secondary coverage
  1. OpenAI,GPT-5.6 部署安全页面 deploymentsafety.openai.com
  2. DeepMind,前沿安全框架 v3.1版 storage.googleapis.com
  3. xAI,前沿人工智能框架 media.x.ai
  4. METR,《前沿 AI 安全政策的共同要素》 metr.org
  5. 索引 metr.org
  6. AI Lab Watch,《xAI 的新安全框架糟糕透顶》 ailabwatch.substack.com

Type to search the manual.

navigate open esc close