这一页讲的是什么,又不是什么
这一页论证的是一种类别上的区分,而不是一份预测。它并不预测人类灭绝将会发生,也不宣称自己知道其发生的可能性有多大。它论证的是一件范围更窄、但就规划目的而言更为重要的事情:如果灭绝真的发生,它不会是我们此前曾经挺过来的某场灾难的一个放大版本。它将是一种不同类型的事件,遵循着一套不同的逻辑,也需要一种不同的应对方式。关于灭绝这一结果究竟有多糟糕,以及关于我们能对此做些什么,一切都源自这一区分。
这里所陈述的事实性内容——各项调查怎么说、门槛在哪里、存在哪些机构——都是可观察到的。本章中的各类情景,则被明确标注为分析。而这一区分本身,则完全不带任何推测的成分。
定义上的难题:99% 的死亡率并不等于灭绝
设想一场夺去 99% 人类人口生命的大灾难。这有多可怕,几乎怎么强调都不为过:八十亿人死亡,每一个家庭都支离破碎,每一个经济体都被摧毁。然而,依然会有幸存者留下来。一场造成 99% 死亡率的事件,留下的大约是八千万人——这比当今任何一个大国的人口都要多。这些幸存者能够做到三件死者永远无法做到的事。
他们能够重新组建起来。分散在这颗星球各处的八千万人,携带着足够的技能、机械、种子储备与文字知识,来重建农业、电网与政府。人类此前已经从多次崩溃中重建过:青铜时代的社会覆灭,瘟疫夺去了欧洲三分之一的人口,而恢复——缓慢、丑陋、不完整——依然到来了。
他们能够学习。每一场留下幸存者的灾难,都留下了证词。下一代人所继承的,既有实体的废墟,也有关于所发生之事的叙述——这正是为什么防洪堤会被重建得更加坚固,为什么天花实验室的门上会装上锁。痛苦的知识,依然是知识。
他们能够重新汇聚。一个已经破碎的人类群体,可以重新统一、通婚、贸易,再度共享同一个基因库。
而灭绝,把这三条路全部堵死。没有重新组建,因为没有人可以去组建。没有学习,因为没有学习者。这正是为什么 2023 年那份关于 AI 风险的声明的签署者——数百位研究人员与高管,其中包括各大前沿实验室的首席执行官——刻意选用了这个词:「减轻 AI 造成的灭绝风险,应当与其他社会规模的风险(如大流行病与核战争)一样,成为一项全球优先事项」(人工智能安全中心声明)。他们所说的,不是 AI 杀死你的可能性和一场大流行病一样高。他们所说的是,这里所讨论的终局状态,不是一场规模更大的流行病。
区分「可以挺过去」与「无法挽回」的门槛
有些灾难是自限性的,有些则不是,而二者的区别贯穿于少数几个系统之中。这条界线究竟落在哪里,分析起来确实存在不确定性,但候选的门槛本身却是具体的:
- 食物链的完整性。 如果生产与分配卡路里的系统,在全球范围内失灵的时间足够长,幸存者会在第二年就陷入饥饿,而不是在第二年就已开始重建。严重饥荒与人类灭绝之间的区别,在于是否还有任何人,在任何地方,依然能够播种、收获与储存。
- 国家能力。 复杂社会是通过国家来实现协调的。如果每一个国家都丧失了维持秩序、维护基础设施与管理公共资源的能力,恢复就会从一种缓慢却确定的事情,变成一个悬而未决的问题。
- 最小可存续人口。 低于某个数量的、彼此没有亲缘关系的幸存者,一个物种就会面临近亲繁殖衰退,以及维持技术文明运转所需的专业知识的流失。没有人能够确切知道人类的这一数字;保护生物学领域给出的估计,从数百到数万不等,这仅仅是就纯粹的基因存续能力而言,而技术层面的存续能力,可能需要远远更多的人数。
- 不可逆的生态损害。 有些损害会在最初事件发生之后持续累积——失控的气候紊乱、崩溃的海洋食物网。如果环境在数个世纪内都无法再支撑农业,恢复的时间窗口就会耗尽。
从灾难内部,这些门槛没有一个是可见的。一个已经失去了 95% 人口的社会,可能一直相信自己正在恢复,直到粮食系统、国家与基因库全都在悄无声息中同时失灵的那一刻。
为何恢复的不对称性会改变规划方式
每一场可以挺过去的灾难,都是一次演练。经历过一场大流行病的社会,会改进自己的监测系统。遭遇过洪灾的城市,会加固自己的堤坝。对于除了那个终结自身的事件之外的一切,文明都有一套棘轮机制:它能把苦难转化为制度。
这造就了一种规划者称之为「恢复不对称性」的深层不对称,而这一点,比任何关于灭绝可能性的估计都更为重要。在灭绝这条线以下,时间站在人类这一边。每一年有幸存者存在,就是重建的一年。而在这条线以上,时间毫无意义。同一场事件,如果两次降临在一个幸存下来的世界之上,会产生两次恢复;而如果它一次性地越过了那道门槛,产生的就只是一份化石记录。
对 AI 研究人员所做的、规模最大的相关调查,发现这一逻辑正体现在专家们自己的措辞之中。当被笼统地问及灭绝或同样永久性的、严重的丧失自主权时,受访者给出的中位数大约是 5%——但当问题具体限定为「由人类无法控制先进 AI 所导致的灭绝」时,这一中位数上升到了大约 10%(Grace 等,2024 年;完整的细分数据参见为何专家对灭绝的估计会出现分歧)。无论哪一种问法,描绘出的都是一个在两个方向上都完全开放的未来。这种开放性是双向的。恰恰正因为这个结局是可以避免的,把灭绝当作一个独立的类别——而不是死亡人数曲线的极端末端——来对待,才是值得付出的努力。
一个令人不安的推论
以下是大多数应急准备思路都会回避直说的部分:在这条线以上,预防是唯一适用的干预手段。 储备物资、地下掩体、冗余通信手段、社区网络——「末日准备者」工具箱里的每一件工具,都预设了幸存者的存在。对于这条线以下的各种灾难,它们都是极好的工具,本手册也对它们有详尽的论述。但对于「谁会去做准备?」这个问题的答案是「没有人」的那种情景,它们没有任何贡献。
这不是宿命论,而是分级处理。负责综合评估 AI 安全证据的国际机构,在其最新一期报告中得出结论认为,那些说得通的严重路径——失控、大规模的破坏、蓄意的滥用——已经真实到足以让当下就展开缓解工作变得合理,同时该报告也指出,目前的证据基础依然十分单薄(《2026 年国际 AI 安全报告》)。预防性的工作——能力评估、遏制手段、算力治理、条约设计——是唯一一类真正触及最坏情形的工作。
如何同时持有这两种真相
读者不必在「为崩溃做准备」与「致力于预防」之间做出取舍。理性的立场是有先后顺序的。在这条线以下,应急准备与持续运作方面的工作,是一个家庭或社区所能从事的最高价值活动之一——参见文明崩溃情景,了解局部崩溃是什么样子;参见一场灭绝事件实际会如何展开,了解针对最坏情形的序列层面分析;参见把价值观的延续本身当作一个目标,了解在这两种结局中,哪些东西是值得延续下去的。而在这条线以上,唯有预防才算数,假装并非如此,不是审慎,而是一个披着计划外衣的类别性错误。
灭绝不是一场更大的灾难。它是唯一一场无法被挺过去、无法从中学习、也无法在其后重建的灾难。请为地图上的这两片区域都做好规划,不要把这两套工具混为一谈。