这一页讲的是什么,又不是什么
本手册的大部分内容,把 AGI 当作一个工程与政策问题来处理。但对于人类中的大多数人而言,它同样是一个神学与哲学问题,而那些代表这些传统发声的机构,已经开始发布正式的、标注了日期的立场,而不再只是含糊的评论。这一页所收录的,是那些专门针对 AGI 或超级智能——控制权、道德地位、在达到或超越人类水平能力时的人类问责——的立场,而不是本手册其他地方所论及的、关于日常 AI 伦理那场更为宽泛、也更为古老的争论。这里所列的任何一种传统,都不被呈现为「正确的」那一个。出发前提截然不同、却都具备相应资历的人们,在某些警告上趋于一致,在另一些问题上则存在尖锐的分歧;权衡任何一种单一声音的读者,都应当看到这整个领域的全貌。
天主教教义:十六个月内的两份文件
天主教会在很短的时间内,接连发布了两份关于 AI 的重要文件。第一份,《古老与崭新:关于人工智能与人类智能关系的说明》,由教义部与文化教育部联合发布,于 2025 年 1 月 14 日获得批准,并经教宗方济各核准。文件全文共 117 个编号段落,将 AI 所牵涉的利害关系,框定为人类学层面的问题,而非技术层面的问题——真正悬而未决的问题,是什么依然是人类所特有的,而不是一台机器能够计算出什么——文件还明确警告,要防止 AI「制造出一个上帝的替代品」。
第二份是教宗良十四世的首份通谕,《人性之光辉》,题为《论人工智能时代守护人的位格》,签署于 2026 年 5 月 15 日——恰逢良十三世《新事通谕》发布 135 周年——并于 2026 年 5 月 25 日正式公布。梵蒂冈方面与媒体的报道,包括美国主教团的相关报道,将其核心诉求描述为:AI 应当被「解除武装」,其控制权不应留在「少数人手中」;其担忧在于,不受约束的 AI 会削弱人际关系与批判性思维,同时拉大当代武装冲突背后的心理距离。他此前几个月,已经在一则关于 AI 模拟出的声音与存在感的世界传播日文告中,预先阐述过一个相关的论点。由于这份文件发布时间非常近,希望直接引用它的读者,应当查阅梵蒂冈官网上的全文,而不是依赖包括本文在内的二手摘要。
这两份文件,都属于一个更广泛的跨信仰项目的一部分:《AI 伦理罗马倡议》于 2020 年 2 月 28 日在梵蒂冈签署,签署方包括宗座生命科学院、微软、IBM、联合国粮食及农业组织与意大利政府,承诺让 AI 的建设围绕人的尊严、包容性、透明度、公正性、可靠性与安全性展开。2023 年 1 月,犹太教与伊斯兰教的代表也与天主教会一同签署了该倡议——这是不同信仰传统在 AI 治理问题上罕见的一次立场趋同。
伊斯兰教法学:一份正式裁定,而非评论
伊斯兰教在 AI 问题上的学术研究,已经产生了一份真正的教法裁定,这与评论文章是截然不同的一类文件。伊斯兰合作组织下属机构国际伊斯兰教法学院,于 2025 年 5 月 4 日至 8 日在多哈举行的第 26 届会议上,通过了第 258 号(3/26)决议,题为《人工智能:其教法裁定、准则与伦理》。该决议认定,开发与使用 AI 在默认情况下是被允许的,但须满足六项条件:目的合法;能够证明存在净收益;不得侮辱宗教信仰或宗教象征;保护数据与各项权利;不得在任何层面威胁安全;以及在使用中保持诚实与透明。该决议同时确认,由于 AI 本身不具备独立意志与道德意识,它在伊斯兰教法之下不承担任何法律或道德责任——责任完全由建造、资助或运营它的人来承担——同时该决议也指出,AI 是否有朝一日能够拥有法律人格,这一问题值得进一步研究。Yaqeen 研究所一篇运用「伊斯兰教法宗旨」(即伊斯兰教法的各项目标)来分析 AI 的论文,延伸了类似的推理,但不具备一个教法学院所拥有的那种机构分量。
佛教伦理:以缘起为透镜
迄今为止,佛教在 AI 问题上的学术研究,更偏学术性,机构化程度较低,但它提供了一种独特的概念工具。Hannah Gould 与 Keiko Nishimura 合著的章节《人工智能/机器人学中的佛陀》,收录于《剑桥宗教与人工智能指南》(剑桥大学出版社,2023 年),认为佛教的缘起(pratītyasamutpāda)教义——没有任何事物是作为一个自身独立完满的实体而存在的——提供了一种审视 AI 伦理的视角,而这种视角,是建立在离散、边界分明的行动主体之上的各类框架所不具备的。该章节同样探讨了佛教传统在何处划定道德人格的边界,这一问题相较于当今的窄域系统,与 AGI 的契合度更高:如果道德地位所追踪的是一个心智体验的品质,而非其所依托的物质基础,那么一个 AGI 的道德地位就会成为一个真正悬而未决的问题,而不是一种范畴错误。与此同时,一批更具试探性的文献正在涌现,其中包括把「四圣谛」运用于算法性痛苦的研究;这部分内容更新,也更不成熟,在引用之前,相关的归属信息值得再三核实。
犹太教法:一份关于机器能动性的答问书
犹太教法学界对 AI 最为深入的处理,早于当前这场关于 AGI 的辩论,却预见到了其中的大部分内容。拉比 Daniel Nevins 撰写的答问书《人工智能、道德机器与哈拉哈》,于 2019 年 6 月 19 日获得保守派运动犹太律法与准则委员会的批准——这是一份真正的「答问」(teshuva),而不是一篇评论文章。它把哈拉哈法中关于能动性、责任与损害的概念,应用到 AI 的决策之中,得出的结论是:即便 AI 在实质上提供了协助,人类也必须继续为相应的结果承担责任,尤其是在生死攸关的事务上——这比如今在世俗的 AI 安全政策中已成标准用语的「人在回路之中」概念,早了好几年。来自《Torah Musings》与《Chabad.org》的更晚近评论,进一步通过「修复世界」(tikkun olam)这一概念延伸了这一思路——AI 应当依据其用途来评估,而不是被一概加以禁止。
不带有宗教框架的世俗哲学
专门针对 AGI(而非泛泛而论的 AI)、被引用最多的世俗论证,来自一小群哲学家。Nick Bostrom 提出的正交性论题与工具性趋同——在其 2012 年论文《超级智能意志》中被正式提出,并在《超级智能》(2014 年)一书中得到扩展——认为一个系统的智能水平,与它的目标之间没有任何必然关系,而几乎任何一个能力足够强的、以目标为导向的智能体,都会趋同于自我保存、获取资源,并抵抗自身目标被更改。这正是「灾难无需恶意即可发生」这一论断在哲学层面的核心依据。Toby Ord 的《悬崖边缘》(2020 年)则给这份担忧赋予了一个具体数字:本世纪整体存在性风险大约为六分之一,其中特别由未对齐的 AI 所导致的部分约为十分之一——高于他对气候变化、核战争与流行病三者合计的估计。Ord 给出的这个数字,只是一个远为宽泛的分布区间中的一个数据点;关于它与整个领域相比处于什么位置,参见为何专家对灭绝的估计会出现如此大的分歧与风险估计与专家分歧。
一份更简短、也更著名的文件,是人工智能安全中心发布的《关于 AI 风险的声明》,全文仅一句话,发布于 2023 年 5 月 30 日:「减轻 AI 造成的灭绝风险,应当与其他社会规模的风险(如大流行病与核战争)一样,成为一项全球优先事项。」它的分量,在于签署者的身份——其中包括 Geoffrey Hinton、Yoshua Bengio、Demis Hassabis、Sam Altman、Dario Amodei、Stuart Russell 与比尔·盖茨——这些人在时间线与缓解策略等问题上,原本存在着尖锐的分歧。另外还有两条线索,补全了这幅图景。David Chalmers 在 2010 年发表的关于奇点的论文,把智能爆炸当作一种严肃的认识论可能性来对待,并追问超级智能心智是否会具有意识,以及一个被上传的人类是否会保留个人身份认同——这是分析哲学领域最早处理这一主题的论著之一。而《认真对待 AI 福祉》(2024 年)一文,由包括 Robert Long、Jeff Sebo,以及再次出现的 Chalmers 在内的一组作者撰写,认为在不远的将来,某些 AI 系统真的具有意识或具备稳健能动性,是一种现实的可能性,开发者有责任从现在起就认真对待这一点——这是一种关于不确定性的主张,而不是断言当前存在某个具有意识的系统。
这些框架在何处趋同,又在何处分歧
把这五种传统放在一起阅读,有一条线索几乎毫无例外地反复出现:控制权比能力更为重要。良十四世的通谕警告要防范权力的集中控制;教法决议把 AI 的合法性,与它是否威胁安全挂钩;Nevins 的答问书坚持人类必须继续承担责任;而 Bostrom 的工具性趋同论,则预测任何一个能力足够强的系统,都会恰恰去抵抗这种控制。第二条线索,是道德地位问题:佛教学术研究追问人格的边界究竟划在哪里;伊斯兰教法裁定 AI 不具备任何人格,并把责任完全归于人类;而世俗的 AI 福祉文献,则从相反的方向发问,追问某个未来的系统,是否可能理应获得道德层面的考量。这些传统在自己产出的文件类型上也存在分歧——一份通谕所宣称的道德权威,是一份决议所不具备的,而二者也都没有宣称自己拥有一份概率估计所具备的那种可证伪性。认真参与到这些讨论之中,本身就带有一种心理层面的分量;本手册在存在性恐惧与道德创伤一文中,直接处理了这种分量。
为何这一页属于本手册
一本围绕技术与政策层面的应急准备而构建的手册,原本完全可以略过这一切。但它不应该这样做:这些机构所能触及的范围,远远超过任何一份白皮书。一项对数十个国家的伊斯兰教法推理具有约束力的裁定,以及一份面向超过十亿天主教徒的通谕,将塑造远比任何一篇单独的 AI 安全论文都多得多的人,去如何思考 AGI 这个问题。以本手册在其他各处所奉行的同一套严谨标准来为它们注明出处,不是一种礼节性的姿态;这正是本手册对自己所作出的每一项论断所要求的标准。