这个问题有两个方向
生成式系统降低了制作逼真文本、图像、音频与视频所需要的时间与技能门槛。虚假的媒体内容可能会被当作真实内容加以接受。与此同时,真实的证据也可能被当作合成内容而遭到否认——这就是所谓的「说谎者红利」。第二种效应,并不需要一段完美无瑕的深度伪造内容;它只需要公众对「内容可以被伪造」有足够的认知,便足以让否认变得可信。
这是一个当下真实存在的生成式 AI 问题,而不是 AGI 已经存在的证据。目前的危害包括冒充诈骗、非自愿的私密图像、被捏造的政治内容、伪造的证据,以及廉价内容的泛滥。关于在冒充诈骗得手之后家庭应当遵循的恢复步骤,参见遭遇 AI 诈骗之后该怎么办。AGI 级别的个性化说服,是一种预测,其成立与否,取决于未来的能力水平、对个人数据的获取程度、实际部署情况,以及人类自身的易受影响程度。
哪些已有据可查,哪些尚无定论
语音克隆与人脸合成技术,已被用于诈骗与骚扰活动。政治行为体也曾发布或放大过合成媒体内容。然而,病毒式传播的案例,并不能揭示其普遍程度或对选举的净影响。人们出于社交与党派立场等原因分享虚假内容,而传统的剪辑手法、误导性的图注,以及脱离语境呈现的真实影像,依然具有强大的影响力。若把注意力狭隘地集中在那些引人注目的深度伪造案例上,反而可能忽略了一个更常见的问题:由自动化技术加速的、普普通通的欺骗行为。
关于检测能力的种种说法,同样需要谨慎对待。一个检测工具所估计的,是某些痕迹特征是否与其训练数据中的素材相似。其表现可能会因压缩、裁剪、翻译、模型更新,或蓄意规避而下降。假阳性可能会伤害到记者、艺术家,以及正在记录侵权行为的人。检测工具没有发出信号,并不能证明内容真实;而一次阳性信号,理应是启动调查的起点,而不是调查的终点。
溯源信息有用——但它无法证明内容为真
「内容溯源与真实性联盟」(C2PA)标准,允许兼容工具为一份文件附加可通过密码学验证的来源与编辑历史信息。一份有效的凭证,可以证明某个被认可的设备或机构对特定断言进行了签署,且已签署的数据未曾被人在不知情的情况下更改过。它可以支撑起一条监管链。
C2PA 自身也声明,溯源信息本身并不能证明内容真实、准确或符合事实。一台带有认证凭据的相机,同样可以拍摄一场摆拍的事件;一位获得授权的编辑,同样可以发布一张具有误导性的裁剪图片;一个受信任的机构,同样可能犯错。身份方面的支持力度,也取决于所使用的具体凭证与信任体系(C2PA 说明文档,规范 2.2 版)。
真实的媒体内容,也同样可能缺失这类凭证。截图、转码、社交平台处理,以及元数据清除,都可能将其移除。OpenAI 自己的帮助文档就指出,截图会移除 C2PA 元数据(OpenAI 帮助中心)。因此:
- 有效的溯源信息,是关于历史记录的正面证据,而不是关于真实性的证据;
- 无效的溯源信息,显示的是一条被破坏或被篡改的证据链,而不必然意味着画面本身是伪造的;
- 溯源信息的缺失,并不能证明内容是伪造的。
这项标准本身,是由那些能从其推广普及中获益的科技与媒体机构所塑造的。其技术文档,是关于该标准如何运作的第一手证据,而不是关于其在整个信息生态系统中实际成效的独立证据。
披露相关的法律正在变为现实
在欧盟,《AI 法案》第 50 条的透明度义务,已于 2026 年 8 月 2 日开始生效。特定系统的提供者,必须支持对生成或经过操纵的内容进行机器可读的标注,而部署方则需要针对特定类型的深度伪造内容与涉及公共利益的文本履行披露义务,同时也存在若干例外情形。执法权限由各国主管部门与(在范围更窄的情形下)AI 办公室共同分担。欧盟委员会表示,相关违规行为的罚款最高可达 1500 万欧元或全球年营业额的 3%,并适用比例原则(欧盟委员会,2026 年 7 月)。
在美国,联邦《TAKE IT DOWN 法案》已于 2025 年 5 月生效,该法案针对非自愿的私密图像问题,涵盖了受该法覆盖的数字伪造内容,并要求受覆盖的平台建立起一套通知与删除机制。它并不是一部通用的、针对深度伪造真实性的法律,也不应当被这样描述。选举法、消费者保护法、形象权相关法律,以及各州的法律,也可能同时适用,而这些法律在定义与管辖范围上各不相同。
标注有助于诚实的用户,也有助于执法,但那些愿意实施欺诈的恶意行为体,并不会可靠地给自己贴上标签。披露只是众多防线中的一层,而不是解决方案本身。
一套更强健的核实流程
高风险场景下的核实工作,应当综合多方独立证据:
- 保存原始素材。 在重新压缩或删除之前,保存好文件本身、其网址、时间戳,以及周边的相关帖子。
- 核查溯源信息。 检查有效凭证与签署方的信任链,同时对「缺失」这一情况保持中立看待。
- 找到最早的信源。 对关键帧进行反向搜索,定位到最早有记录的上传时间点。
- 进行外部相互印证。 寻找独立的录音录像、官方记录、目击者证言、天气状况、地理信息,以及同期的相关报道。
- 通过另一条独立渠道,联系所声称的信源本人。 不要使用仅出现在可疑信息本身之中的联系方式。
- 评估动机与时机。 紧迫感、保密要求、付款要求与情绪施压,都是与媒体内容质量本身无关的诈骗信号。
如果接到一通疑似家人的语音克隆电话,应当挂断电话,并使用一个已知号码回拨给本人或其他亲属。一个仅家庭内部知晓的私密验证短语可能会有所帮助,但如果它曾在一个已暴露的渠道中被说出或输入过,就应当将其视为已经泄露。对于企业付款请求,应当要求经由第二人批准,并通过带外渠道进行确认。
新闻业、法庭与档案机构
新闻编辑室需要建立从拍摄到发布的完整证据链、透明的更正机制,以及保存原始素材的方式。法庭需要经过认证的证据、必要时的专家鉴定,并对捏造的证物与「声称真实证据系伪造」的投机性说法都保持警惕。人权调查人员则必须在溯源信息与信源人身安全之间求得平衡;披露一位摄影师的身份或所在位置,可能会带来危险。
档案机构面临一项长期挑战:格式、证书与验证基础设施本身都可能过期失效。如果只保存一份经平台渲染处理过的副本,可能会毁掉原始素材中本可获得的证据。持久的完整性,需要的是原始文件、哈希值、时间戳、语境记录与迁移计划——而不仅仅是用户界面上的一枚徽章。
共同事实基础所面临的风险
信息完整性,不等同于意见一致。健康的民主社会,本身就包含着关于价值观与解读方式的分歧。真正的目标,是保留能够可靠确立基本事实的方法:谁说了什么、存在过什么文件、一张图像是如何制作出来的,以及有哪些独立信源可以对其加以印证。
合成媒体的泛滥,可能会推高核实成本,并让那些负担得起认证手段的老牌机构获得更大优势。这固然有助于保障质量,但也可能造成把关权力的进一步集中。开放标准、面向公共利益的核实工具、本地新闻业,以及透明的方法论,都有助于缓解「真实性」与「多元性」之间的这种取舍关系。
更强大的系统可能带来哪些新变化
能力更强的智能体,或许能够生成大量相互印证一致的素材,在多个渠道上冒充某个人,针对不同受众本地化叙事内容,测试各种信息版本,并根据个体的反应不断调整策略。这一情景是可信的,但目前尚未被衡量为一种普遍存在的 AGI 效应。相应的防御手段,将需要对人员与流程本身进行身份验证、对可疑的信息活动进行限速处理、保护个人数据,并在不制造出一种普遍性身份监控体系的前提下,保留人工复核的环节。
一个切合实际的结论,是保持有纪律的怀疑态度,而不是全盘不信任一切。不要仅仅因为某段媒体内容看起来逼真就轻信它,也不要仅仅因为合成技术存在可能性就一概加以否定。溯源信息、相互印证、信源历史与相关动机,合在一起所构建出的事实基础,要比单纯依靠自动化检测或直觉判断更为坚实可靠。