灭绝不是一场更大的灾难 为何人类灭绝在类别上,与任何一场夺去大多数人生命的灾难都截然不同,以及为何预防是唯一适用的应对手段。
来源已核查 1 min
09 后果
最坏的结局实际会是什么样子
第04章至第08章假设预防能够成功、持续运作能够维系。本章则诚实地面对另一条分支:灭绝级事件、文明崩溃,以及生活在 AI 主宰之下——本章在后果层面对这些情形加以描述,而非灾难题材的虚构演绎。
本章因何存在
一份只描述预防如何取得成功的应急手册,实际上是在悄悄地做出一个它 从未加以论证的假设。第07章梳理了先进 AI 可能导致大规模伤亡或文明 级危害的各种机制。本章要问的是:如果其中一种机制得逞,接下来会发 生什么——什么是不可挽回的事件,它与一场可幸存的灾难有何不同,崩 溃与恢复实际上意味着什么,以及经历这一切后果的人们还剩下哪些选 择。重点不在于渲染场面,而在于「灭绝风险」与「崩溃」这类说法通常 只是被当作口号来使用,而针对口号是无法制定计划的。
支撑本章大部分主题的这份风险声明篇幅很短,由超过350位研究者与企 业高管联署,其中包括多家主要实验室的相关人士:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Geoffrey Hinton 为这一风险给出了一个个人数字。这是在不确定性下的 专家判断,而非经过测量的频率——专家之间存在的巨大分歧,本章本身 也会加以探讨:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
失败的三条分支
本章的各篇报告,把最坏的情况归入三种结构上截然不同的结局,因为它 们需要不同的应对方式。灭绝与近乎灭绝探讨的是,是 什么将一场不可挽回的事件与一场仅仅是灾难性的事件区分开来,以及此 类事件可能会如何合理地展开。崩溃与恢复探讨的是大 多数人想象得最不清楚的中间地带:一个被打回数十年甚至数百年前的文 明,以及决定它能否恢复的因素。失控之下的生活探讨 的则是人类得以幸存、却不再掌握实质权力的情形——这是一种没有戏剧 性时刻、因而也没有戏剧性预警的结局。
本章不做什么
本章内容
一场灭绝事件实际会如何展开 后果层面的情景分析:一场反复迭代的流行病、机器速度下的军事升级,或基础设施崩溃,可能如何终结人类的故事。
来源已核查 1 min
为何专家对灭绝的估计会出现如此大的分歧 专家调查、结构化模型与历史基准率,对 AI 造成灭绝的概率究竟说了什么,以及该如何使用如此不确定的数字。
来源已核查 1 min
文明崩溃情景 文明崩溃究竟意味着什么,最先失灵的是什么——货币、粮食、电力、水,还是国家本身——以及一场由 AI 引发的崩溃会有何不同。
来源已核查 1 min
旷日持久的危机与恢复 介于「糟糕的一年」与「终结」之间那片混乱的中间地带:历时数年的冲击、恢复实际需要什么、阻碍恢复的各种陷阱,以及什么能让局势重新倾向恢复。
来源已核查 1 min
知识的保存与恢复 种子、档案、罗塞塔光盘与恢复手册:今天的各类保存计划实际保护的是什么,为何数字形式如此脆弱,以及真正有效的方法是什么。
来源已核查 1 min
生活在 AI 主宰之下 一场关于未来的情景分析:人类在先进 AI 面前存活了下来,却不再拥有真正的权力——以及为何依赖每延续一代,逆转就变得更加困难。
来源已核查 1 min
最后的对策与关停尝试 一份分析:在失去对先进 AI 的控制之后,各国政府、企业与社区还能做些什么——以及为何每一种最后对策,若没有协调配合就注定失败。
来源已核查 1 min
存在性恐惧与道德创伤 气候心理学研究与道德创伤研究,对如何面对文明可能的失落有何启示——以及如何防止恐惧硬化为绝望。
来源已核查 1 min
把价值观的延续本身当作一个目标 如果生存本身尚不确定,保存记录、价值观与文化,是否依然是一个说得通的目标?正反两方的论证、已有的尝试,以及此刻可以做的事。
来源已核查 1 min
对 AGI 的宗教与哲学回应 天主教、伊斯兰教、佛教与犹太教权威机构,以及世俗哲学家,已就 AGI 的风险、控制与道德地位发表了正式的、有明确日期的立场。
来源已核查 1 min