本章需要的一个思想实验
本章几乎所有内容,都是以成年人的现在时态写就的。它问的是这场转型对劳动者、公民、家长与选民——那些曾经历过转型之前的世界的人——造成了什么影响。这一页要问的是一个不同的问题:对那些出生在后 AGI 世界之中、继承了这一结果却没有继承相应记忆的人来说,这个世界看起来是什么样子?下文的大部分内容是推理性的论证,而不是已确立的定论,文中会明确标注这一点;凡有证据支持之处,都会直接注明来源。
这个问题并不是出于感伤。哪一代人承担风险、哪一代人掌握权力,以及以谁的基准来判断变化的好坏,决定了「好的结果」这个说法究竟意味着什么。一场被亲历者判定为成功的转型,对那些在其之后才到来的人而言,依然可能是一场灾难,反之亦然。
到来的不对称性
在转型时期活着的人,承受着下一代人不会承受的两重负担:损失本身,以及关于失去了什么的记忆。他们目睹了各种职业的消解、各类制度的弯折,以及工作、上学与友谊那种切身可感的质地的改变。无论这种变化整体上是好是坏,他们至少拥有一个可供比较的基准,能够进行对照。
在转型之后出生的人,继承了这一结果,却没有继承那种哀伤,也没有继承那个基准。对他们而言,由机器中介的陪伴,并不是某种事物的退化版本;它本来就是「陪伴」应有的样子。一个大部分生产活动只需要极少数人参与的经济体,对他们而言不是一种截肢,而只是天气本身。对早期技术变革——印刷术、电气化、互联网——所做的代际分析,一贯发现同样的模式(这部分文献大多是推理性的历史论证,在这里也应当这样去阅读):建造某项技术的那一代人会去争论它,而在这项技术之中成长起来的那一代人则会把它自然化,视为理所当然。
这种不对称性是双向的。转型之后的这一代人,免除了哀伤、迷失方向,以及为过时身份而哀悼的负担。但他们也失去了评估自己所被给予的东西的能力。一个从未做过长除法的人,无法感受到从未学会它所付出的代价。一个从未见过纯粹由人组成的法庭的社会,无法感受到当判断被外包出去时,究竟牺牲了什么。这个基准不仅仅是怀旧,它就是那块仪表盘本身。
在无处不在的机器权威之下成长
对转型之后出生的孩子而言,AI 并不是他们所采用的一件工具,而是他们所处的环境本身——一位能回答一切问题的导师,一个永不疲倦的陪伴者,一个横亘在他们与其他任何人之间的中介。
本手册教育与成长与儿童与 AI两页,涵盖了眼下的风险与养育层面的问题。这一页所关注的是更长的时间弧线:当每一次塑造性格的互动都可能由机器来中介时,依恋、信任与权威的形成会是什么样子。严肃的文献中,有两种担忧占据主导。第一种是发展层面的:孩子是从周围的心智那里,形成对「心智」的预期的,而一台永远耐心、永远顺从、永远可获取的机器,所教会的是一种关于他人是什么样子、关系需要付出什么代价的异常模型。第二种是认知层面的:一个每个答案都即时、流畅、笃定地到来的童年,培养出的是一批从未真正体会过「不知道」是什么感觉的成年人——而这种感受,恰恰是学习与被欺骗二者共同的前提条件。
监管者已经注意到了这一具体的危险。欧盟《人工智能法案》禁止那些利用儿童弱点,或使用可能造成重大伤害的潜意识或操纵性技术的系统(《(欧盟)2024/1689 号条例》),联合国儿童基金会 2020 年发布的《儿童与人工智能政策指导》,提出了一系列专门针对儿童的要求,而整个领域在将其付诸实践方面进展迟缓。这两份文件都应被当作底线标记来阅读,而不是解决方案:它们界定了什么可以被部署,却没有界定在机器中介之下度过的童年,会对一个人造成什么影响。无处不在的 AI 权威,究竟会造就出更有韧性的成年人,还是更依赖的成年人,截至本文写作之时,依然是一个真正悬而未决的实证问题——诚实的回答是:这场实验此刻正在最大规模的群体上进行,却没有任何对照组。
知识流失的问题
每一场转型,都会留下一批被搁浅的技能。问题在于是哪些技能,以及这是否重要。
不妨想想最后一代前转型时期的人所独有的东西:未经机器辅助所形成的历练过的判断力;关于物理系统——发动机、土壤、外科手术、谈判——那种靠亲手摸索学来的默会知识,这些知识失灵的方式,不会出现在任何一本说明书里;以及,最重要的一点:关于旧有基准究竟是为了什么而存在的这段亲历记忆。当这一代人离世时,除非知识已被刻意传承下去,否则这些知识也将随之消亡。保存类机构确实存在——互联网档案馆(archive.org)与联合国教科文组织的「世界记忆」项目(UNESCO)是其中最突出的例子——但它们保存的是文献,而不是能力本身。一本被扫描的教科书,并不等同于一位真正在岗的技工。
这种流失是否重要,取决于它降临在一个什么样的经济体之中。如果 AI 系统真正能够替代那些已经失去的技能,这种流失就只是一种审美层面的创伤——一种能用自己双手做的事情变少了的文化。而如果这些技能在某些方面具有支撑性的作用、是模型所不具备的——比如稳健性、实体维修能力、在陌生情境下的判断力——那么这种流失就是结构性的。诚实的立场是:没有人知道下一代人究竟继承的是哪一种经济体,这正是为什么本手册把知识的保存与恢复当作一门鲜活的学科来对待,而不是一个博物馆式的项目。还有一个更为微妙、且已有据可查的效应值得一提:关于认知外包的早期证据表明,把记忆委托给外部工具,会改变人们记住什么、以及如何评估自己知识水平的方式(Sparrow、Liu 与 Wegner,《记忆的谷歌效应》,《科学》杂志,2011 年)——这是在个体层面上,对一项技能在文明层面死亡究竟是什么样子的一次小小预演。
年轻人继承了尾部风险
关于 AGI 最尖锐的代际事实,是一个分配层面的事实:做决定的人是年长者;将要亲身经历最坏结果的人是年轻人。2035 年的一场灾难性失败,对做出这些决定的高管与官员来说,是一次断送职业生涯的事件;而对没有做出任何决定的孩子们来说,却是一次终结生命的事件。第二个群体从未被征询过是否同意。
这不是一种新的结构。气候变化正是那个已被确立的范本:损害在数十年间不断累积,决定由当下的选民与股东做出,代价却由尚未出生的人来承担。气候正义领域的文献,花了三十年时间去阐明这意味着什么——代际公平是一项约束,而不是一种施舍——其中最著名的表述来自布伦特兰委员会对可持续性的定义:在不损害后代满足自身需求能力的前提下,满足当代人的需求(《我们共同的未来》,1987 年)。物理科学则让这种不对称性变得具体可感:IPCC 的综合报告,实际上是为一个在决策桌上没有一席之地的未来人群所做的损害评估(IPCC 第六次评估报告综合报告)。
以上这些是类比,并且是被明确标注为类比而给出的。AI 风险在速度、可逆性与形态上,都与气候风险不同——一场未能对齐的转型,不会像气候变化那样历经数百年缓慢恶化,而且届时可能根本没有一个「后来的世代」可以去申诉。但其中的道德结构原封不动地被继承了下来:当一个小群体集中获取了某项决定的收益,却把其最坏情形下的代价分摊给无法投票的人群时,这项决定就需要一种不依赖于受益者本人是否同意的正当理由。
这一代人欠下一代人什么
气候领域的文献,还提供了另一项可以借鉴的经验:具体而非停留在修辞层面的义务。其中有三项可以很好地移植到 AGI 转型之中。
可读性。 留下一份关于选择了什么、以及为何如此选择的记录。后代人理应知道,哪些取舍是经过深思熟虑做出的,哪些只是激励机制所导致的意外后果。一场只以新闻稿与被封存的安全评估案例来呈现的转型,从设计上就是不可读的;可读性是一个此刻代价很小、日后却无法弥补的选择。
能力。 教育应当能够经受住对模型依赖的考验。如果一个孩子学到的每一项技能,都是一个模型能够做得更好的技能,那么这个孩子所获得的是消费,而不是能力。检验任何一份后 AGI 时代课程的标准,是看它能否培养出在模型缺席时依然能够运转、思考与创造的人——这正是工作与生命意义一页对成年人所提出的那个标准。
可选性。 让真正的替代选项继续存在。一代只拥有一种学习方式、一种工作方式、一种获得陪伴方式的人,所被给予的其实是一份加了锁的礼物。保留由人来教学的学校、由人来做出的判断,以及由人来运营的机构,并不是怀旧,而是在为这场转型的共识可能本身就是错误的这种可能性,而为下一代人保留真正的选择余地。
这些义务,没有一项需要事先知道这场转型将如何收场。它们在各种情景下都依然成立——在一本充满不确定性的手册里,这正是这一页所能提出的最有力的主张。