一个百分比,是一种判断,而不是一次测量
当一位研究者说,先进 AI 导致人类灭绝的概率是10%时,这个数字并不是通过反复发生的历史事件测量出来的一个频率。它是一个主观概率,概括的是关于能力、部署、制度、冲突,以及许多不确定环节的种种信念。另一位专家使用「生存性风险」这个说法时,可能把「人类永久性丧失权力」也包含在内,而一条新闻标题,却可能只报道了「灭绝」这一种情形。
这类估计,能够为决策提供参考,尤其是在后果极为严重的时候,但它们不应被呈现为已确立的科学常数。说这话的人是谁、说话的日期、问题的确切表述、时间跨度、结果的具体定义、支撑证据,以及其中的不确定性,这些都很重要。一位知名科学家的个人估计,终究仍然只是一个个人估计。
在比较数字之前,先界定清楚具体的结果
至少有四种结果,经常被混为一谈:
- 严重危害: 大规模的人员伤亡、经济损失,或权利侵害;
- 全球性灾难: 影响到人类中相当大一部分,或达到特定死亡比例的危害;
- 人类灭绝: 没有任何幸存的人类种群;
- 生存性灾难: 灭绝,或人类长期潜力遭到不可逆的摧毁,有时也包括永久性的严重权力丧失。
相关预测所问的问题,可能是 AI 是否会导致这一结果、是否是其中一个必要的促成因素,还是只是在这条因果链的某处出现过。这些预测,可能覆盖十年时间、2100年,或是所有的未来时间。一个针对十年时间跨度得出的1%的估计,不能直接拿来与一个针对一个世纪时间跨度得出的5%的估计相比较。
对技术本身的定义,同样各不相同:是当前的通用 AI、「高水平机器智能」、AGI、超级智能,还是任何未来的 AI。应当始终保留原始的措辞。
一项大型研究者调查发现了什么
2023年《AI 进展专家调查》,邀请了顶尖 AI 学术场合的作者参与,并获得了2778名研究者的回复。其公开发表的分析发现,受访者在时间线与影响这两方面,都存在广泛的分歧。大多数受访者预期,超人类 AI 带来好结果的可能性,要高于带来坏结果的可能性,但许多人也给「极其糟糕的结果」赋予了不容忽视的概率。这篇论文还发现,受访者的回答,会随着问题的措辞方式而发生变化(Grace 等,《数千名 AI 作者论 AI 的未来》)。
这并不能支持「AI 专家一致认为灭绝很可能发生」这种说法。它所支持的,是一个范围更窄的主张:相当一部分受访研究者认为,极端结果的可能性,足以让他们赋予一个有意义的概率,同时,乐观情绪与广泛的分歧,也同样存在。关于本次调查及其他调查中,针对「灭绝」这一具体结果的回答为何会如此大幅分化,更深入的探讨参见为什么专家的灭绝概率估计分歧如此之大。
这项调查的局限性,包括未回应的情况、受访者在风险分析方面参差不齐的专业能力、不稳定的定义,以及把直觉性的担忧转化为经过校准的概率所面临的困难。能在顶级 AI 会议上发表论文,证明的是技术层面的经验,而不是对地缘政治或世纪尺度社会变迁的预测能力。中位数答案,同样也掩盖了受访者之间的两极分化与相关性。
预测竞赛揭示了另一种分歧
「生存性风险说服竞赛」召集了80名领域专家,以及89名在短期预测方面拥有良好记录的超级预测者。参与者在共同的定义之下,对 AI、核、生物及其他风险作出估计,相互交换论点,并更新自己的判断(预测研究所 XPT 项目)。
由此产生的、经过同行评审的分析发现,领域专家与超级预测者之间存在着巨大的差异,在 AI 风险方面尤其如此(Karger 等,《国际预测学期刊》)。这是反驳虚假共识的有价值证据。但它并不能证明,给出较低估计或较高估计的那一方是正确的。
超级预测者,已经在许多可被验证、时间跨度较短的问题上,展示出了良好的校准能力。而世纪尺度的灭绝问题,无法在参与者的职业生涯范围内得到验证,低于1%的稀有概率,尤其难以核实。领域专家或许更了解相关机制,但他们进入这个领域,也可能正是出于担忧,并可能缺乏预测方面的校准能力。这两个群体,各自带来了不同的优势与偏见。
为什么专家们会存在分歧
关于能力的假设: 现有的方法,能否产生出稳健的自主性、科学发现能力与战略规划能力,还是说,可靠性与实体化依然会是难以攻克的难题?
关于时间线的假设: 如果变革性的能力在五年内到来,与在五十年后到来相比,风险积累的方式截然不同。在进展较为缓慢的情况下,各类制度有更多时间去适应,但也可能有更多行为者获得相应的能力。
关于对齐的假设: 研究者们在以下几个问题上存在分歧:先进系统是否会发展出持久性的目标、当前的训练方法能否对其加以控制,以及可观察到的前兆证据,应当在多大程度上影响预测结果。
关于权力与部署的假设: 一个没有工具或权限的强大模型,与一个被广泛部署、能够掌控资金、代码、实验室或基础设施的智能体,是完全不同的两回事。
关于治理的假设: 竞争、军事冲突、所有权的集中、监管,以及国际协调,可能比技术层面的不确定性,发挥更大的主导作用。
关于道德层面的定义: 人类永久性丧失控制权,对某一位预测者而言可能算作生存性危害,对另一位来说却未必如此。
一个上头条的数字,把这整套模型都压缩成了一个数字。而优质的报道,则会把它重新展开。
校准工作虽然困难,却不是可有可无的
一位经过良好校准的预测者,如果对许多事件都给出20%的概率,那么这些事件当中,大约应有五分之一最终会真的发生。校准程度,只能在一组可比较、且已有结果的问题集合上加以衡量。我们今天无法直接校准一个「到2100年发生灭绝」的预测。
尽管如此,预测者依然可以通过把这条路径分解成更近期、可观察的问题,来提升自身的严谨程度:模型自主性、研究自动化、防护措施失效、部署规模、事件发生率,以及治理措施的采纳情况。这些预测能够更快得到验证,并揭示出哪些假设是错误的。
使用基准比率时应当谨慎。人类并没有关于「AGI 转型」这种事件的历史样本可供参考。与核武器、疫情、网络安全、工业事故或软件普及等领域的类比,只能提供部分性质的证据,而不是一个可以直接套用的参照类别。机制性模型,同样也存在风险——在一连串相互依赖的步骤上,把各个推测性的概率累乘起来,可能会产生复合性的误差。
科学综合评估并不会给出单一的概率
2026年版《国际人工智能安全报告》,是通过一个国际专家流程撰写而成的,它把已有据可查的恶意使用与可靠性故障,同被假设出来的失控情景区分开来。报告指出,当前的系统缺乏出现失控所需的能力、相关能力正在提升,并且专家们在可能性与严重程度这两方面,依然存在着重大分歧(2026年《国际人工智能安全报告》)。
这并不是一个「共识性的概率」。这是一种共识,即现有证据当中,确实包含着严肃的风险与重大的不确定性。科学层面的评估工作,能够识别出各种机制、观察结果、认知缺口与保障措施,而无需假装知道一个单一的灾难发生概率。
如何呈现一项面向公众的估计
一条负责任的表述,应当是这样的:
在[日期],[个人或团体]基于[主要理由],在[技术定义]之下,针对[明确的结果],给出了截至[时间点]为[概率或区间]的估计。这是[个人判断、调查汇总结果,或结构化预测],而不是一个被观察到的频率。
在可能的情况下,应当给出整体的分布情况。对于调查而言,应当报告回应率与样本的选取方式。应当区分均值与中位数,以及条件概率与非条件概率。应当保留修订历史,以便预测结果能够被评估,而不是被悄无声息地覆盖掉。
不要把互不相容的问题混在一起取平均值。把一项调查中「永久性权力丧失」的估计,与一场竞赛中「人口降至1000人以下」的估计合并起来,只会产生一个毫无连贯意义的数字。
在存在分歧的情况下做出决策
制定政策,并不需要确定性作为前提。低概率、高后果的风险,只要相应措施在多种情景下都能带来收益,就足以证明开展研究、监测、建设韧性,以及采取可逆的保障措施是合理的。干预措施本身的代价与副作用,同样重要。一项预防措施,如果反而巩固了垄断地位、压制了正当的科学研究,或加剧了地缘政治的不稳定性,那么它可能会带来其他方面的风险。
稳健的应对措施包括:独立评估、事件报告、模型安全、应急响应、生物防御、网络安全、对核使用的人类控制,以及明确的问责机制。在很宽的概率区间内,这些措施都始终具有实际价值。
不同程度的风险容忍度,是正当的政治问题。专家可以为相关证据提供参考,但不能单凭自己,就决定整个社会应当如何在创新、自由、分配、安全与不确定的未来危害之间做取舍。
应当随证据更新判断,而不是固守某个阵营
当证据发生变化时,预测结果也应当随之调整。相关的更新依据包括:持续存在的长周期任务自主性、经过验证的 AI 生成研究成果、真实世界中的防护措施失效案例、成功的监督实践、重大立法,或长期停滞不前的能力平台期。预测者应当说明,究竟哪些因素会让自己的估计上调或下调。
思想上的多元性,能够改善评估质量。应当纳入技术层面的怀疑论者、安全研究者、社会科学家、预测者、领域专家、受影响的社群,以及政策制定者。分歧应当按照其背后的假设来梳理绘制,而不应被简化成「乐观派」与「末日派」这样的标签。
现实层面的结论
专家层面的估计表明,灾难性 AI 风险,被许多具备资质的人士认真对待,同时也受到另一些人的质疑。这些估计,并不能确立一个经过测量的概率,或一致的科学观点。调查揭示的是人们的信念;竞赛施加的是预测层面的纪律;理论解释的是各种路径;评估检验的是各个组成部分;而部署,则提供了真实世界中的证据。
最诚实的公众立场,是一种结构化的不确定性:界定清楚具体的结果、呈现出相应的区间、公开背后的假设、在可能的情况下追踪校准情况,并选择那些在多种可能的未来情景下,都依然值得采纳的保障措施。