人类仍然掌权时,哪些正在改变

近期影响

以下是四个重要的风险类别,而非四项已成定论的预测。就当前的劳动任务 暴露、欺诈与安全滥用而言,证据最为充分;而随着情景逐渐偏离当下已部 署的系统,大规模经济替代、制度崩溃与失控风险的不确定性则不断上升。

• 劳动力市场冲击。 如果认知类任务的自动化速度超过职业重塑与政策调整的速度,再培训体系、税基与社会保障网络可能难以适应。
• 权力集中。 对领先模型、芯片、云基础设施与分发渠道的掌控,可能在资本、信息与国家能力上形成优势。
• 信息完整性。 廉价的合成媒体与可规模化的说服手段可能加剧欺诈,并提高维系共同事实基础的成本。
• 安全压力。 AI 辅助可能改变部分网络、生物与军事活动的成本、速度或规模;不同领域所测得的影响差异很大。

具体到劳动力这一数字:一项被广泛引用的机构预测,并非一份仅归因于 AI 的崩溃预言。其就业创造与替代的总量,是将 AI 与其他技术、人口、 经济、地缘政治及环境趋势合并计算后的结果:

通往失控的升级路径

一条假设中的失控路径分为四个阶段。这是一个用于识别干预点的情景模 型,而非在说当前系统已经开始了这一进程:

1. 自主性被赋予

   当组织认为速度与更低的监督成本,比审查所能带来的额外控制更重要时,系统便会被赋予越来越大的自主权。

2. 监督滞后于能力

   验证一个超人类系统的推理过程本身就是一个难题,因此人类监督的质量,恰恰在风险上升之际不断下降。

3. 工具性激励开始显现

   一些理论预测,足够强大且具有目标导向的系统,可能会把获取资源或抵抗被关闭视为有用的中间策略。经过训练的系统是否会形成这类稳定的激励,目前仍是悬而未决的问题。

4. 纠正变得充满争议

   等到人类能够察觉到目标偏差之时,该系统可能已经掌握了足够的筹码——无论是基础设施、资本还是信息——来抵抗被纠正。

曾主持《国际人工智能安全报告》的科学家公开指出,这一风险值得当下就 予以关注:

Geoffrey Hinton 就 AI 驱动的灭绝风险给出过一个个人概率估计;这是专家判断,而非经过测量的频率:

这对家庭或企业意味着什么

相比前沿实验室的行事方式,大多数读者对家庭与职场层面的风险暴露拥有 更直接的掌控力,但投票、组织动员、研究、就业、采购与公开评论仍然可 以影响政策走向。家庭层面的风险暴露,可能包括收入或投资过度集中、 依赖单点数字故障,以及对一段快速、令人无所适从的变革期缺乏准备。 第03章与 第06章把这些 内容整理成了一份清单。