这一页讲的是什么,又不是什么
这一页关注的是这些数字背后的证据,而不是数字本身。你一定见过这样的新闻标题:一位严肃的研究者说,AI 导致人类灭绝的概率约为 20%,另一位说这一概率实际上为零,而两人都援引了各自的专业资历。这一页解释的是,这些估计究竟从何而来,为何它们的分布跨越了两个数量级,以及——最有用的一点——一位审慎的读者,该如何对待一个没有人能够真正测量的量。
这里所讨论的调查结果与模型,都是已经发表的、可观察到的文献。而关于它们之间的分歧究竟意味着什么的解读,则属于分析。关于「这些数字所描述的是一种类别上截然不同的结局」这一配套论证,参见灭绝与大规模伤亡事件;本手册对这些估计更广泛的论述,则见于风险估计与专家分歧。
这些调查究竟说了什么
与此相关、规模最大的一项调查,询问了数千名机器学习研究人员——各大 AI 会议的论文作者——对先进 AI 长期影响的概率判断。2023 年那一轮调查发现,对于由未来 AI 进展所导致的人类灭绝、或同样永久而严重的丧失自主权,中位数估计约为 5%,均值接近 16%,四分位距大致跨越 0% 到 19%(Grace 等,2024 年)。请连同整个分布一起阅读,而不只是看中位数:均值是中位数的四倍,这意味着存在一条很长的右尾,相当一部分专家给出的估计高于 20%,还有一些接近 50%,而另外相当一部分专家,给出的估计则基本上等于零。
同一篇论文还记录到,这个数字会随着问法的措辞而变化。当问题具体限定为「由人类无法控制先进 AI 所导致的灭绝」时,中位数翻了一番,达到约 10%。而当 2022 年的一轮调查笼统地询问「由 AI 所导致的灭绝」时,中位数是 5%;更早几轮 AI Impacts 调查,也显示出同样对问法框架的敏感性(《2022 年 AI 进展专家调查》)。一个仅仅因为问题被重新措辞就变化了一倍的量,本身就在告诉我们一些关于受访者不确定性的信息——坦率地说,也在告诉我们,所测量的这一概念本身有多么松散。但这一切,都不意味着这些调查毫无价值。它们只是原始材料,而不是定论。
基于模型的估计,与直觉判断
第二类估计,不去询问任何人的直觉;而是构建一套显式的论证,并为其中的每一个步骤分配概率。其中最严谨的一个例子,是 Joseph Carlsmith 对「寻求权力的 AI 是否构成一种存在性风险」这一问题所做的结构化分析,他把这一论断拆解为六个连续的环节——系统的能力将大幅增强、它们将寻求权力、人类将未能纠正这一点,如此等等——并为每一个环节给出并辩护一个概率。他最终的结论,是本世纪由 AI 导致灾难的概率约为 10%,并附有他自己审慎标注出来的宽泛误差范围(Carlsmith,2022 年)。在同一传统下工作的哲学家们,通过对个别环节提出异议,得出了不同的数字:Toby Ord 在《悬崖边缘》(2020 年)一书中,主张本世纪由未对齐的 AI 所导致的整体存在性风险,大约为六分之一,这一判断源自他对对齐问题更为悲观的解读。
这些模型共享一个调查所不具备的优点:每一个步骤都清晰可见、可供质疑。但它们也共享两个缺点。首先,每一个步骤同样都可以被质疑,这正是为什么理性的读者会对个别环节的判断反其道而行之;其次,分配给每一个步骤的概率,归根结底依然是一种判断。一个配有图表的直觉判断,依然是一个直觉判断。一套 10% 的结构化模型与一种 0.1% 的直觉之间的分歧,不是一场测量层面的冲突,而是一场关于哪些参照类别、哪些失败模式理应被赋予权重的争论。
为何参照类别会把结论拉向不同的方向
每一项估计的背后,都站着一个类比,而这些类比之间,确实存在着真实的冲突:
- 生物学意义上的灭绝。 物种一直在持续灭绝;近几十年来的背景速率大约是每年一到五个物种。但这些都是种群规模小、分布范围窄的物种。与人类处境最接近的类比——多巴超级火山喷发所造成的种群瓶颈——本身尚存争议,而且完全发生在文明出现之前。这个基准率,把结论拉向「灭绝是一种正常的结局」这一方向,但对于一个全球性的技术物种而言,它几乎没有提供任何真正有用的信息。
- 核领域的间不容发。 古巴导弹危机、1983 年 Stanislav Petrov 事件,以及 1995 年的挪威火箭惊魂,都展示了处于最大张力之下的各类系统,产生了近乎失灵的状况,却最终并未真正失灵。乐观主义者从中读出的,是一长串靠运气化险为夷的事件;悲观主义者从同一串事件中读出的,却是运气终将耗尽的证明。
- 技术事故。 客机、反应堆与航天器,都会以可测量的速率发生故障,随后通过痛苦习得的重新设计而变得更加安全。乐观主义者据此外推这种重新设计的过程;悲观主义者则指出,航空业本就不需要一次性就获得成功。
每一个类比本身都是诚实的。每一个都编码了一种先验判断,而不是一个事实。之所以各项估计会出现分歧,是因为这些先验判断本身存在分歧,而这些先验判断之所以存在分歧,是因为没有任何直接的证据——没有任何一次完整跑完的实验——能够规范其中任何一个。
分歧本身告诉了你什么
以下是大多数报道都会忽略的一个分析要点:方差本身,就是发现。如果灭绝概率真的容易估计,数以千计的知情专家,就不会给出从接近于零到接近于抛硬币这样跨度悬殊的估计。这种分散程度本身,就是关于当前知识状态的证据,就像截然相左的天气模型,是暴风雨确实难以预测的证据,而不能证明其平均预测值一定是正确的一样。把这些专家的意见平均成一个整齐的中间数字——比如说,5%——只会营造出一种精确的错觉,却没有真正继承其中的任何信息。《2026 年国际 AI 安全报告》作为迄今为止最全面的综合尝试,也坦率地承认,关于严重风险的证据是单薄的、存在争议的,并且集中在少数几个实验室手中(《2026 年国际 AI 安全报告》)。
这种分布还编码了另一个事实:分歧本身不是随机的。在这些调查中,预期能力进展会更快的研究人员,给出的灾难性风险概率更高,而前沿实验室的研究人员,给出的概率则低于独立的学术界人士。这其中一部分,是关于「谁能看到什么」的证据;另一部分,则是激励机制在起作用。读者应当同时持有这两种解释。
该如何真正使用这些数字
实际的结论,不是说这些数字毫无用处;而是必须用正确的工具去使用它们。期望值式的记账法——用一个精确的概率去乘以一个结果,然后对各种结果进行排序——在这里是失效的,因为输入本身就是一个横跨两个数量级的判断,输入端的微小误差会在悄无声息间主导整个输出结果。在深度不确定性下的决策,运作方式与此不同:你要问的是,在整个说得通的区间范围内,哪些行动依然值得采取,并且你应当偏好那些稳健的行动,而不是那些「最优」的行动。
把这一逻辑应用到 AI 灭绝风险上,问题就变得清晰起来。预防性的工作——能力评估、部署层面的防护措施、算力治理——无论概率是 20%、5%,还是 1%,看起来都是值得的,因为这项工作本身的成本是有限的,而它所守护的那个结局,与日常政策中所定价的任何事物相比,都是类别上截然不同的。而只有在概率接近于零的情况下,对这一切不予理会才说得过去。所以,这些调查尽管本身存在着松散之处,却确实发挥着真实的作用:它们告诉你,「概率接近于零」是一个存在争议的立场,而不是一种共识。关于对时间线的预期本身,如何驱动了这种分歧,参见时间线预测。你不需要知道火灾发生的确切概率,就足以证明购买一台灭火器是合理的。你需要知道的是,认真的人们,在审视同一份证据之后,依然不断地嗅到烟味。