本手册必须认真对待的情景
本支柱下的每一页,推理的前提都是一个快速演进的领域,预测与仪表盘两页都把「进展将持续快速推进」当作工作假设。本页则是其反向权衡:如果 AGI 并未如期到来会怎样?一份严肃的手册应当为整个结果分布做规划,而不仅仅为最主流的标题做规划,而这一分布本身就包含了停滞的可能。这是对一个有历史记录可查的现象所做的情景分析,而不是在断言进展已经停止。
前两次寒冬究竟是什么样子
这个领域已经经历过两次寒冬。
第一次寒冬(大致在 1974 年至 1980 年间)紧随一次直接的制度性重击而来。James Lighthill 爵士受英国科学研究委员会委托撰写的 1973 年报告《人工智能:一份总体考察》(Artificial Intelligence: A General Survey)得出结论,认为 AI 研究曾经许下的宏大承诺——机器翻译、机器人技术、通用问题求解——在实际规模上远未兑现,并建议将资金转向更狭窄的具体工作。此后短短几年内,大西洋两岸的主要政府资助方纷纷收缩投入,研究生项目也大幅萎缩。
第二次寒冬(大致在 1987 年至 1993 年间)击垮的是另一个对象:专家系统。这类基于规则的商业产品在 1980 年代吸纳了巨额的企业与政府投资,随后因自身的脆弱性而崩溃——这些系统无法学习、无法处理例外情况,且维护成本高昂。市场的溃败连带拖垮了整个符号主义 AI 范式的资金支持。美国国家科学院关于联邦计算研究历史的著作《为一场革命提供资金》(Funding a Revolution,1999 年)记录了 DARPA 的收缩以及 Lisp 专用机厂商的消失,是如何将一个子领域的失败演变成整个学科范围内的资金枯竭的(美国国家科学院出版社)。更完整的叙事性历史可参见 Crevier 的《AI:探寻人工智能的动荡历史》(1993 年)与 Nilsson 的《追寻人工智能》(2009 年)——这两本书都值得一读,读的不仅是事实本身,更是其中的规律模式。
其中的规律是:每一次寒冬都不是技术上的死胡同,而是一场信誉与资金的崩溃。科学本身仍在暗中推进,但资金、人才与公众的耐心却没有跟上。而当某个低成本的示范——先是国际象棋,后是 ImageNet——让这个领域几乎在一夜之间重新变得值得投资时,寒冬便宣告结束。
支持「虚假黎明」说的理由
停滞论最强的版本有三大支柱。
数据与算法的极限。 Epoch 对人类生成文本的分析估计,若当时的趋势持续下去,高质量公开训练数据的存量将在大约十年内耗尽(Villalobos 等人,2022 年),这将迫使业界转而依赖合成数据及其他替代方案,而这些方案的长期价值究竟如何,目前确实存在不确定性。另外,这个领域也一再把基准测试的饱和误认为是通用能力的提升——这正是本手册涌现能力与图灵测试两页所详细阐述的警示。基准测试可能达到饱和,而经济体真正愿意付费购买的现实世界可靠性,却可能严重滞后。
参差不齐或许就是能力的天花板,而非地板。 一个持续出现的发现是:模型在某些维度上表现超越人类,却在相邻维度上出人意料地薄弱——这一现象有一种悲观的解读方式:扩展一个「预测下一个词元」的系统,换来的只是广度,而非扩展定律乐观派所预期的那种稳健、可组合的推理能力。Chollet 提出的观点堪称这种怀疑论的经典表述:他认为当代基准测试之所以高估了智能水平,是因为它们允许记忆式作答,而非要求模型在新颖情境下真正习得技能(Chollet,2019 年)。
「能力超限」是一把双刃剑。 即便这些提升是真实的,它们也可能已经被榨取殆尽:「能力超限」(capability overhang)这一论点认为,当今的模型之所以表现不及其训练水平,是因为产品、评估方法与组织机构尚未跟上模型本身的步伐。若果真如此,那么进一步的规模扩展所带来的可见回报将逐渐递减——市场无论其背后的真实原因是什么,都会将其解读为「触顶」。甚至还存在一种与「越大越好」相悖、已被记录在案的现象——逆向扩展(inverse scaling),即在某些任务上,模型越大,得分反而越低,比如某些类型的真实性或敏感性推理任务(McKenzie 等人,2023 年)。
反对「寒冬说」的理由
主张寒冬将至的人,必须解释这一轮周期为何会与前两次「押韵」,而事实上两者之间的差异是巨大的。
这一次,钱是真金白银。 此前的两次寒冬,都是有炒作却无营收。而当前这一轮周期,每年的部署营收已达数百亿美元规模,私人生成式 AI 投资更是屡创新高——斯坦福 2025 年 AI 指数报告称,仅 2024 年一年,私人生成式 AI 投资就高达 339 亿美元,同比大幅增长。这种规模的资金,不会因为基准测试结果令人失望就凭空蒸发;它只会在资产负债表真正崩溃时才会消失。
硬件基础极为庞大。 此前的两次寒冬,只需削减少数几笔拨款就足以让整个领域陷入饥荒。而今天,这个领域依托的是一场资本密集型的半导体、云计算与能源建设浪潮,其投资者期待的是数十年的回报。这为持续的进展提供了一个底线支撑——但更令人不安的是,这也意味着即便审慎的判断已经在提示「应当停下」,仍会有一批既得利益方持续推动前进。
广泛的普及创造出了自身的需求。 如今已有数以亿计的人口以及相当一部分企业依赖 AI 系统完成日常工作。实用性不同于新奇感,它不会随着时间过时。举证责任落在了寒冬论一方:它必须证明的不仅仅是进展会放缓,而是要证明进展会放缓到足够的程度、并持续足够长的时间,才足以在如此庞大的既有基础之上,重演一次资金崩溃。
一场寒冬会意味着什么
假设停滞真的发生了。接下来会发生的事情,其实是真正意义上的双刃剑。
人才的分散。 一场寒冬会把前沿研究者推向对冲基金、生物科技,或是下一个热门领域。这对安全而言在某种意义上是坏事——本就稀缺且集中在少数几个实验室的对齐专业人才,会因此被分散——但在另一种意义上或许也是好事:危险的能力研究会放缓,而其中一部分聪明人转而投入到更狭窄、更容易审计的问题上。这种净效应事先无法预知,但对齐人才的分散,是一项真实存在的代价,而寒冬乐观派往往会忽略这一点。
硬件超限。 软件进展的暂停,并不会让已有的芯片凭空消失。一个明天就停止训练前沿模型的世界,仍然会保有海量的已部署能力存量,而其中相当一部分,在安全维护人员配置上的激励可能严重不足。寒冬削弱的是围绕现有系统的防御力量,而非系统本身。
误读的风险。 这是最糟糕的部分。一次真正持续多年的停滞,在政治上很可能会被解读为「风险已经过去了」——而这个结论是彻头彻尾错误的。进展的暂停,并不等于风险论断被推翻。其背后的驱动因素(算力、算法效率、商业激励)仍会在幕后持续累积,而一旦重新启动,其速度很可能比此前的爬坡阶段更快,监督也更加薄弱。本手册在收益与机会成本一节中的处理方式,道理是相通的:即便是一次停滞的转型,也仍带来真实的收益,而一个过早宣布胜利的世界,既会失去这些收益,也会失去应有的警惕。
误读的风险值得特别强调:最危险的寒冬,恰恰是那种能让公众相信危险已经过去的寒冬。历史上的寒冬最终都以重启告终。停滞本身并不能保证安全工作能够存续到下一次解冻。
为整个分布做规划,而不是为标题做规划
对一份手册而言,诚实的立场,与本页开篇所提出的立场是一致的:既不要把分析押注在进展将持续指数级推进之上,也不要押注在停滞之上。应当为能力如期而至、姗姗来迟、参差不齐地到来,以及在本站其他章节所论及的制度失灵之中到来,这几种情形都做好准备——因为同样的一套准备工作(稳健的制度、得以保存的知识、分布式的应对能力),在整个结果分布中都能带来回报。一场寒冬会改变时间表,但不会改变一个准备充分的社会应有的样貌。