两种含义常被混为一谈
一种 AI 能力,至少可以在两种意义上被称为「涌现」。在宽泛的意义上,是指一个模型表现出某种有用的行为,而这种行为并非训练时明确设定、针对特定任务的目标。一个主要以「预测词元」为训练目标的语言模型,可能会翻译、编程、总结法律文本,或解答一些算术问题。这些能力之所以会出现,是因为训练数据与训练目标本身,奖励了可被复用的内部模式。
在更强的意义上,涌现指的是一种能力随着规模扩大而突然出现:较小的模型全部失败,而某个更大的模型突然就成功了。一篇 2022 年被广泛讨论的论文,报告了在多个模型系列与多项任务中出现的此类跃迁(Wei 等人,2022 年)。这一区分很重要。「存在未经计划的能力」这一点已经得到充分证实;而「某项被测量的能力是否经历了真正的非连续跃迁」,则取决于所用的指标、数据与采样方式。
这两种含义都不意味着意识、意图或魔法的存在。复杂系统可以获得通用性的表征,而无需设计者为每一种用途逐一编写模块。真正的科学问题在于,行为会随着训练方式与系统设计发生怎样的变化,以及我们对此能有多好的预见能力。
为何有些「跃迁」只是测量上的假象
假设一个模型的算术准确率,从 20% 逐步提升到 30%,再到 40%。如果某项基准测试只有在准确率超过 35% 时才给一分,那么它呈现出来的结果就会是零分、零分、然后一分——这是由评分方式本身制造出来的一次非连续跃迁。当精确匹配式评分对「几乎正确」的答案不给任何分数时,或当一项任务需要若干子技能、只要缺失其中任何一项就会判定失败时,也会出现同样的效应。
Schaeffer、Miranda 与 Koyejo 重新分析了已报告的案例,结果显示,当采用连续型、非线性或对误差敏感的指标进行测量时,许多看似突兀的跃迁都会变得平滑(《大语言模型的涌现能力是一种假象吗?》)。这并不能证明真正的非连续跃迁从未发生过。它说明的是,一张基准测试图表本身,若不能排除指标效应、稀疏采样以及模型系列间差异等因素的影响,就无法单独确立某次跃迁是否真实存在。
规模也并非唯一的变化变量。更大的模型可能使用了不同的数据、训练方案、分词器、指令微调、工具,或推理预算。将不同的知名产品放在一起比较,可能会把系统层面的工程改进,与单纯的参数规模阈值混为一谈。研究者需要有受控的规模变化序列、密集的检查点,以及多种指标,才能真正识别出背后的机制。
依然真正难以预测的部分
即便是平滑的底层改进,也可能产生具有重大意义的临界点。一个网络攻击智能体,如果成功率从 40% 提升到 60%,就可能跨过部署在经济上变得划算的那个临界点。模型将多个单独较弱的子技能连接起来的能力,可能会解锁某个完整的工作流。外部系统还可以放大微小的改进:工具能够提供行动能力,记忆能够延展上下文,而重复采样则能够找到一个成功的答案。
开发者也无法穷尽测试每一种可能的任务。模型是在广泛的数据上训练出来的,并被部署给数以百万计的用户,这些用户会发现评估者从未设想过的应用场景与失败模式。因此,一项能力对实验室而言可能是出人意料的,即便它其实是逐步发展出来的。这种「意外」或许反映的只是测量手段的局限,而非一次数学意义上的陡峭相变,但在实际操作层面,它依然重要。
2026 年《国际 AI 安全报告》强调,前沿评估方法的外部有效性可能有限,并会随着系统与脚手架的变化而很快过时(2026 年国际 AI 安全报告)。这是一种关于实践层面不确定性的判断,并不是在证明每一种令人担忧的行为都必将自发出现。
能力不等于倾向
一个模型在被刻意提示时,可能具备执行某个行动的能力,却未必倾向于自发采取这一行动。安全分析应当将能力——系统能否做某件事——与倾向——系统在相关条件下是否倾向于去做这件事——区分开来。一个能在角色扮演中给出欺骗性方案的模型,并不因此就证明它在实际部署中会主动追求欺骗。反过来,较低的实测倾向,也可能只是因为评估方式没有制造出正确的触发条件。
同样的区分,也适用于情境意识、规避安全措施、自我保存与战略性行为等方面。这些都是当前活跃的研究课题,也是可能构成威胁模型的组成部分。仅仅因为翻译或算术能力曾经涌现,就断言这些能力也注定会涌现,这是不准确的。相关证据应当明确说明所测试的具体模型、提示词、环境、出现频率,以及其他可能的替代解释。
拟人化的语言表达也会加剧混淆。模型可能会生成关于「想要生存下去」的表述,原因可能是训练数据中出现过类似的语言,也可能是因为这场对话本身在奖励某种人格设定。这类文本值得被当作行为来加以研究,但它并不等同于能够直接窥见某种稳定的内在目标。关于「动机」的断言,需要比一次对话中的引言更为有力的证据支撑。
为何涌现现象依然与安全相关
合理的安全启示并不是「任何事情都可能突然发生」。而是:广泛的训练会催生出比设计者明确列举的行为更多的行为,而当前的评估方法所能覆盖的范围并不完整。这一点足以证明分阶段测试、持续监控与纵深防御的必要性。它同时也提醒我们,不能因为某项基准测试上未观察到某种行为,就想当然地认为它在任何脚手架或提示词下都不会出现。
评估工作应当从训练阶段就开始进行,利用检查点在最终版本完成之前就衡量趋势。团队可以针对网络安全、生物辅助、说服力、自主性与模型可控性等风险维度维护相应的测试集,同时加入开放式的红队测试,以发现未曾预料到的行为。私有测试有助于减少数据污染;外部评估者有助于减少机构自身的盲点。部署后的事件报告机制,则能够捕捉到实验室任务所遗漏的故障。
阈值政策应当针对已被证实的能力做出响应,而不必先在「涌现」这一哲学问题上达成一致意见。如果一个系统能够实质性地降低某种严重危害的门槛,那么无论其能力曲线是平滑的还是突然的,相应的安全防护措施都应当适用。如果证据尚不充分,报告就应当明确说明这种不确定性,而不是悄悄地把一种假设性的行为当作已被观察到的事实来处理。
可预测性是分层次的
有些模型属性比另一些更容易预测。在一个数据分布上取平均的整体损失,往往遵循平滑的扩展定律。在一个稳定的基准测试上的表现,在有限的范围内或许是可预测的。而在一个纷繁复杂的环境中取得成功,则取决于工具、可靠性以及各种相互作用,这些因素更难以建模。社会层面的影响还叠加了采纳过程、激励机制、制度与对抗方等因素,使其更加难以预测。
这一层级结构,可以防止一种常见的推理错误:可预测的训练损失,并不意味着每一项下游能力都是可预测的;而出人意料的下游行为,也并不能推翻扩展定律。研究者可以在对某个平均值做出预测的同时,对罕见的失败情形或特定任务保持不确定的态度。
可解释性研究,或许最终能够通过在行为清晰显现之前揭示模型的内在表征或机制,来改善我们的预测能力。但在今天,可解释性方法所提供的,仍只是部分证据,而非对模型「知道什么」或「将会做什么」的完整读出。行为层面的评估与现实世界中的管控措施,依然不可或缺。
如何解读一项「涌现」主张
应当追问,在所比较的对象之间,究竟发生了什么变化:是参数、算力、数据、训练目标、工具,还是提示方式?应当检视所用的指标是否连续,是否存在中间检查点,以及不确定性区间是否存在重叠。应当核查该任务是否出现在训练数据中,以及独立研究者是否复现了该结果。最重要的是,要区分「研究者未曾预料到」与「在科学意义上是非连续的」这两者的不同。
「涌现能力」是一个在谨慎使用时颇具价值的概念。经过广泛训练的模型,确实会获得一些工程师从未逐一设定过的能力。有些能力,只有在系统跨越某个实际的门槛之后才会显现出来。但许多著名的「断崖式跃迁」,在一定程度上是我们评分方式所造成的假象。准确的结论既不是说涌现纯属幻觉,也不是说规模会以不可预测的方式随意召唤出任何能力。真正的结论是:能力的发展目前只被部分理解,测量方式的选择至关重要,而安全政策应当在渐进式变化与突发性变化两种情形下都保持稳健。