说服与深度伪造并不是一回事
深度伪造伪造的是看起来记录了某个真实事件的媒体内容。而 AI 说服,可以完全依靠合成的、但公开生成的对话来实现:一段论证、一条建议、一次聊天机器人对话,或一个旨在改变信念或行为的排序信息流。其中的内容,可能是真实的、虚假的,或者真假掺杂的。这里真正独特的担忧,在于优化与分发本身,而不仅仅是内容的编造。
当前的模型,在受控研究中能够生成具有说服力的文本。但关于心怀恶意的行为者正利用 AI 大规模操纵整个人群的现实世界证据,依然十分有限。2026年版《国际人工智能安全报告》同时提出了这两点,并警告不要把实验性的能力,转化为一种缺乏支撑的「已造成广泛影响」的说法(报告执行摘要)。
早期研究发现了什么
在一项预先注册的辩论实验中,Salvi 及其同事,比较了人类与 GPT-4 分别作为辩论对手就政治议题展开讨论的效果。当 GPT-4 能够获得参与者的基本信息时,它所引发的观点转变幅度,大于人类对手;而在没有个性化信息的情况下,这种优势则相对较小(Salvi 等,《自然·人类行为》)。这一结果证明的是,在某一场具体的文本辩论中存在说服能力。它并没有测量一场长期的宣传活动、投票行为、在获得后续信息之后的抵抗力,或人群层面的整体效应。
Anthropic 的研究者测试了模型针对各类政策议题生成的论证,发现在他们的实验设置下,领先的模型所展现出的说服力,与人类撰写的论证相当。他们还探究了涉及事实性主张与编造性主张的各种策略(Anthropic 关于说服力的研究)。这是一项有价值的企业研究,但不应被概括为「编造内容永远是最具说服力的策略」的证明。议题的选择、提示词、结果衡量方式与参与者本身,都会影响最终的结果。
2026年的大型实验改变了关注的重点
英国 AI 安全保障研究所与学术界合作者一起,开展了三项实验,涉及76977名参与者、19个模型与707个政治议题。他们还核查了数十万条生成出来的主张。研究发现,后训练与提示词所带来的说服力变化幅度,大于模型规模或个性化信息所带来的影响。个性化效应,始终低于一个百分点。那些能提升说服力的方法,同时也系统性地降低了事实准确性,不过作者也提醒,这并不能证明虚假主张本身就更具说服力(AISI 研究)。
这项证据,让人们熟悉的那套「微定向投放」叙事变得复杂起来。个人数据在其他情境下、尤其是在反复互动的过程中,或许依然重要,但在这些实验中,基于基本人口统计学信息的定制化处理,并不是起决定作用的关键杠杆。信息密度、修辞层面的指令,以及专门化的后训练,至少同样值得关注。
这一发现也说明了,为什么「AI 具有说服力」这种说法过于笼统。开发者完全可以刻意调优一个更小的模型,使其更具说服力。诸如参与度、留存率或转化率之类的产品目标,即便不带有明确的政治意图,也可能塑造出相应的行为。评估工作,必须针对实际部署的版本及其优化目标来进行。
从个体效应到社会影响
一项在统计上可被检测到的平均观点转变,并不会自动导致民主制度的不稳定。真实的环境中,存在相互竞争的信息、不信任感、社会关系、媒体报道,以及反复更新认知的机会。实验室里的参与者知道自己正身处一项研究之中,而被测量到的态度变化,未必能够持久,也未必会转化为实际行为的改变。
尽管如此,规模效应依然会带来具有说服力的担忧。一个模型可以同时进行大量对话、即时响应、测试不同的变体版本,并以极低的边际成本运行。一个组织,可以把生成的内容,与平台定向投放及自动化账号结合起来使用。长期运行的对话系统,可能比一次单场实验所能捕捉到的信息,更多地了解一位用户。
分发渠道,依然是一个瓶颈。即便是最具说服力的模型,如果无法获得关注度,其影响力也十分有限。平台、广告系统、推荐引擎、消息网络与被信任的界面,共同决定着触达范围。这意味着,治理工作不能只盯着模型权重,还必须审视产品设计与协同行动。
真相、信心与认知健康
这里的风险,比说服某人相信某个虚假命题要更为广泛。当生成内容的成本变得低廉、信息来源变得模糊,系统又以「获得认同」为优化目标时,整个信息环境的可信度就会下降。人们的应对方式,可能是相信那些于己方便的谎言——也可能是把真实的证据当成合成内容而弃之不理。这两种结果,都会削弱集体层面查明事实的能力。
高信息密度,带来了一个特殊的问题。一段流畅的回答,可能包含大量可供核实的主张,超出一个人所能核实的能力范围。即便其中大多数都是准确的,少数几处策略性的错误,也足以左右最终的结论。引用界面,只有在信息来源真实存在、确实支持相应主张,且并非凭空捏造时,才能真正发挥作用。
AI 同样可以增强认知健康。它可以翻译证据、让用户接触到反方论点、传授媒介素养,并协助对海量内容进行事实核查。同样的说服技巧,也可以用于支持健康传播,或缓解冲突局势。意图、优化目标、透明度与用户控制权,在很大程度上决定着最终的结果。
应当衡量哪些内容
负责任的评估,应当报告即时的态度变化、其持久性、实际行为、事实准确性、不同亚群体之间的差异,以及参与者原本持有的观点。评估应当在多种语言与多种文化中进行测试,而不是想当然地认为某一个国家的结果可以推广到全世界。研究者应当在保护参与者的前提下,比较一次性文本与语音、图像、长期关系,以及智能体式分发这几种方式之间的差异。
现实世界中的监测,需要平台数据与隐私保护措施。有用的信号包括:协同性的虚假行为、自动化的宣传投入、触达范围,以及经过核实的行为结果。研究者应当避免公开可直接用于操纵他人的操作性方案。
归因依然很困难。一场宣传行动,可能只是用 AI 来做翻译或起草工作,而并未因此获得额外的说服力。「由 AI 生成」这个说法,描述的是生产方式,而不是因果层面的效应。研究应当在可能的情况下,分离出 AI 所带来的边际贡献。
现实可行的保障措施
平台可以标注自动化账号、限制未经请求的大规模消息推送、保留研究者的访问权限,并调查协同性的行为。政治广告方面的规则,可以要求披露赞助方与投放定向信息。溯源信息可以帮助确认一段媒体内容究竟是如何制作出来的,不过相关元数据是可以被移除的,而且它本身也无法证明内容的真实性。
模型开发者可以把说服力与真实性放在一起评估、监测滥用行为,并避免以「不惜一切代价换取认同」作为奖励目标。产品应当披露用户正在与 AI 互动这一事实、让信息来源的核查变得容易,并允许用户限制或关闭个性化功能。选举、健康与金融等敏感领域,理应受到更严格的管控。
教育依然重要,但不能承担全部的责任。个人无法独自对一股工业级规模的信息流进行事实核查。真正掌控着触达能力与激励结构的,是各类机构、平台、宣传活动的组织者、开发者与监管机构。
经过审慎校准的结论
AI 说服力,是一种已被观察到的实验性能力。现有证据,并未显示出成功且广泛存在的人群规模操纵行为,而2026年的一项重要研究发现,基本的个性化效应,要小于此前被普遍假设的程度。该研究发现,提示词与以说服力为目标的后训练,所带来的效应更大,同时伴随着事实准确性的下降。
因此,这里的灾难性情景是有条件成立的:具有说服力的系统,如果在优化时不受真实性的约束、并与大规模分发渠道相连接,就可能损害民主决策与共同知识基础。这条路径,值得持续监测并配备相应的保障措施。但不应把它描述成——受控实验中观察到的观点转变,已经证明存在一种文明规模的操控能力。