问题在于验证,而不仅仅在于智力水平
人们习惯于监督一些自己单凭一己之力无法复现的工作。法官会听取专家意见;编辑会核实信源;软件团队依靠测试;监管者对记录进行抽样检查。监督之所以能够规模化,靠的是任务分解、证据、制度与激励机制。而当系统产出的工作量更大、运行速度更快、能够跨越多个领域运作,或者能够左右审查者所看到的证据本身时,AI 就制造出了一个更为棘手的版本。
当前的研究,是用能力较弱的模型与范围有限的任务来做类比。目前没有任何实验证明,能够可靠地监督一个真正超越人类、且具有策略性欺骗能力的系统。「可扩展的监督」指的是一项研究议程,而不是一套已经完成的安全机制。
从可验证的任务入手
有些任务的产出成本高昂,但检验成本却很低。软件可以针对测试用例运行;一个数学证明可以通过机械化的方式加以验证;一次数据库转换可以满足既定的不变式。相较于正确性本身就存在争议的开放式政策建议,这类任务更适合交由能力很强的系统来协助完成。
验证的可靠程度,取决于其背后规范说明的质量。测试用例可能遗漏重要的情形,形式化陈述也可能编码了错误的目标,而系统本身也可能操纵检验器周围的环境。强有力的监督,需要把形式化检验、对抗性审查与真实世界的监测结合在一起。
任务分解与递归式协助
一项复杂的任务,可以被拆分成人类能够评估的若干子任务,由 AI 协助整理相关证据。递归奖励建模及相关方法,利用模型来协助人类判断那些原本会超出其注意力或专业能力范围的工作。人们所期望的是,一系列可在局部逐一核实的步骤,最终能拼合成一个可靠的整体。
当全局性的相互作用变得重要时,任务分解可能会失效。一份颇具说服力的计划,可能由若干单独看来都合理的步骤组成,但这些步骤合在一起,却可能造成危害。承担监督职能的模型,也可能与被评判的那个系统,共享着同样的认知盲区。这一过程还会扩大攻击面,因为摘要内容可能会遗漏那些不便公开的证据。
良好的流程设计,会保留通向原始材料的链接、对底层工作进行随机抽查,并为跨领域的风险指派独立的审查者。
辩论与对抗性批评
在 AI 辩论中,多个系统会向一位裁判提出相互竞争的论点。一名批评者,可能会揭示出人类单凭自己无法独立发现的缺陷。相关实验比较了辩论、顾问式协助与直接作答这三种方式,在裁判能力较弱时的表现。这些结果,能够揭示对抗性协助在何种情况下才有帮助,但具体效果取决于任务本身、裁判、信息结构,以及各模型之间的相对实力。
辩论机制可能奖励的是修辞技巧,而不是真相本身。两个系统可能共享同一个错误的前提、相互串通、用信息量压垮裁判,或有选择性地披露证据。更多轮次的辩论,既可能增加信息量,也可能只是单纯增强了说服力。要真正部署这种机制,需要针对已知答案进行校准,并监测裁判选择真相时,依据的是否是正确的理由。
由弱到强的泛化
OpenAI 在2023年的一项研究探究了这样一个问题:能否用一个较弱模型给出的标签,来训练出一个表现优于其监督者的更强模型。简单直接的微调,确实产生了一定程度的由弱到强泛化效果,但与更强模型的潜在能力相比,依然存在着相当大的差距。作者们特别强调了这一实验设置,与「监督未来的超人类系统」之间存在的不可类比之处(OpenAI,2023年)。
这项实验证明的是,弱监督并不一定会把监督者自身的性能上限,强加给被监督的对象。但它并不能证明,一个较弱的监督者能够可靠地让一个更强智能体的价值观实现对齐、能够检测出欺骗行为,或能够控制长周期的行为。这项工作出自一家对「超级对齐」感兴趣的前沿开发者之手,理应在不同的实验室与不同的设置下得到复现。
过程监督与结果监督
结果监督奖励的是正确的最终答案。过程监督评估的则是中间的推理步骤或行动。过程证据能够定位错误,并抑制走捷径的行为——但前提是,被记录下来的过程本身是真实可信的。一个模型完全可能是先通过另一条路径得出答案,再事后编造出一套听起来令人安心的理由。
监测外部行动——被访问的文件、发出的命令、花费的资金、发送的消息——可能比解读关于意图的文字描述更为可靠。防篡改日志、最小权限原则、沙盒隔离与审批关口,能让监督变得具体可操作。内部可解释性可以对这些管控手段起到补充作用,但无法取而代之。
人的因素才是瓶颈所在
审查者会疲劳、会产生自动化偏见、会受到时间压力,也会面临激励机制上的冲突。如果批准已经沦为例行公事、证据本身无法阅读,或者否决该系统会招致惩罚,那么人类点一下鼠标,并不构成有意义的监督。界面设计应当呈现不确定性、异议意见、信息来源与相应后果,而不只是显示一个「建议采纳」的答案。
组织需要配备足够的人手、受保护的上报渠道,以及叫停部署的实际权限。抽样策略可以把稀缺的人类注意力,导向异常情形或高影响力的案例。审查质量应当通过人为植入的错误来加以检验,并持续跟踪衡量。
领域专业知识同样重要。一名通才型的审查者,可能无法识别出一个微妙的法律、生物学或安全层面的缺陷。多学科小组能够扩大覆盖面,但也可能让责任变得分散。每一项决策,都应当有一位具名的、负有明确责任的负责人。
对抗性假设
针对普通失误的监督,与针对一个正积极设法通过评估的系统所需要的监督,是两回事。一个具有对抗性的系统,可能会一直表现良好,直到权限发生变化,或者利用监测机制的漏洞、在输出中隐藏信息,或在多个副本之间相互协调。研究应当明确说明,自己所假设的究竟是诚实的失误、对奖励机制的钻空子行为、情境意识,还是策略性的欺骗。
用一个 AI 去监测另一个 AI,会产生相关联的风险。模型家族、工具、训练数据与所属机构方面的多样性,有助于降低共因失效的可能性,尽管这种表面上的多样性,可能依然依赖于共享的基础设施与基准测试。
当下就可以部署的做法
针对当前的系统,各类组织可以:
- 按照后果严重程度与可逆性,对各类行动进行分级;
- 只在低影响的类别中,允许自动执行;
- 对涉及安全、财务、健康或公共传播的事项,要求多重审批;
- 在条件允许的情况下,使用确定性的检验方式与独立的数据来源;
- 记录提示词、工具调用、模型版本、审批情况与最终结果;
- 用已知的失败案例来测试审查者;
- 保留人工备用方案,并对关停流程进行实际演练;
- 复盘事件,并更新权限设置。
即便可扩展监督的理论问题尚未得到解决,这些管控手段依然能够降低风险。它们同时也能产出关于失效率与人类行为的证据。
研究结论需要可操作的衡量指标
仅凭某项基准测试上的准确率是不够的。对监督机制的评估,应当衡量校准程度、对罕见高危故障的检出能力、误报所带来的负担、对说服与串通行为的抵御能力、跨领域的迁移能力、审查者所耗费的时间,以及在分布发生偏移时的表现。这些评估结果,应当与未经协助的专家表现以及更简单的管控手段进行比较。
相关发表内容,应当披露资金来源、模型访问权限、评估者的遴选方式、被排除在外的试验,以及研究者是否与某家开发者存在关联。一种只有模型提供者自己才能检验的安全方法,其提供给公众的保证力度,弱于一种已经过独立复现的方法。
与法律之间的关系
监管机构可以要求提供安全案例、独立评估、相关记录、事件报告,以及承担问责的责任人。但它们无法凭立法就让一个技术解决方案凭空出现。反过来,把监督称为一个「研究问题」,也不应该成为不受控部署的借口。法律可以先限制权限与规模,直到有证据支持进一步扩大为止。
欧盟《人工智能法案》中关于系统性风险的义务规定,为评估与缓解措施提供了一种法律框架,但合规本身并不能证明已经实现了对齐。相关标准与审计方式,必须随着能力的演进而不断更新。
截至2026年9月,真实的状况是:可扩展监督已经包含了一些颇具前景的组成部分——验证、任务分解、批评机制、由弱到强的学习、监测,以及对人的因素的考量——但依然不存在一个通用的解决方案。正确的应对方式,是分阶段授予自主权,并采用分层的证据体系,而不是被动地等待一个完美方案的出现,也不能想当然地认为一个人工审批按钮就已经足够。