自动化并不会让公民权利法失效
雇主、房东、放贷机构、学校、保险公司、警察部门或福利机构,即便使用了某种算法,也无法因此摆脱支配该决策的各项义务。在美国,依据行为主体与具体情境的不同,《民权法案》第七章、《美国残障人法》、《公平住房法》、《平等信贷机会法》,以及宪法上的正当程序保护,都可能适用。适用范围、法律标准与救济方式各不相同;本页内容不构成法律建议。
当前的担忧,来自统计模型、排名系统、生物识别技术与生成式 AI。至于 AGI 是否会造就无所不在的监控,或近乎完美地预测人类行为,这些都是有条件的预测,而非已经观察到的能力。
歧视可能在每一个环节渗入
历史数据可能编码了此前的排斥性做法。标签可能反映的是逮捕记录而非实际犯罪行为,是医疗支出而非实际需求,是主管评级而非真实绩效。即便某些特征本身不含种族信息,它们仍可能通过地域、学校、语言、残障状况或社交网络,间接代表受保护身份。
设计上的种种取舍,决定了谁被纳入代表性样本、优化的目标是什么,以及哪些错误才算数。部署环节则会带来进一步的问题:工作人员可能对某个分数过度信任,申请人可能无法纠正自己的记录,而一款在全国范围内测试过的工具,也可能在某个本地人群中失灵。一家供应商所报告的整体准确度,可能掩盖了对某个亚群体而言居高不下的假阴性率或假阳性率。
公平性指标之间可能相互冲突。拉平一种错误率,可能会使另一种错误率恶化,尤其是在潜在的实测比率本身就存在差异的情况下。数学本身无法判定哪一种取舍是合法的或公正的。各机构必须把指标与权利、目的及后果联系起来。
就业领域展现了责任的共担
雇主使用软件来筛选简历、给测试打分、分析视频、安排工作班次、监控生产力,并对晋升或解雇提出建议。美国平等就业机会委员会(EEOC)与司法部警示称,算法工具可能非法地把残障人士排除在外,雇主也可能因此需要提供合理便利(EEOC 与司法部,2022 年 5 月)。
购买一款工具,并不能把全部责任转移给供应商。雇主应当针对具体岗位与所面对的人群对其加以验证,告知申请人,提供无障碍的替代方案,监测结果,并调查是否存在歧视性更弱的方法。申请人则需要有渠道对错误数据提出异议,并在一项不利决定最终生效之前获得人工复核。
对于基于语音、目光、面部表情或性格所做的推断,尤其应当保持警惕。一个信号可能只是在训练样本中存在相关性,却并不能可靠地衡量岗位胜任能力,而残障或文化差异都可能扰动这种信号。凡是宣称某个 AI 能够「读懂」情绪的说法,都应当有针对该实际用途的独立效度证据作为支撑。
住房、信贷与基本服务
租户筛查系统会综合信用记录、驱逐记录、犯罪记录与身份记录,而这些记录可能并不完整,也可能存在错配。美国住房与城市发展部(HUD)2024 年的指南明确指出,《公平住房法》适用于使用机器学习进行的租户筛查,住房提供者与筛查公司都在确保决策公平、准确、透明方面负有责任(HUD 存档指南,2024 年 4 月)。
自动化广告投放,也可能通过有选择性地投放住房或工作机会,在人们提出申请之前就将其排除在外。在信贷领域,替代性数据既可能为信用记录单薄的人群拓宽获取渠道,也可能复制既有的社区与收入差异。正确的比较对象,不是「算法对完美的人类」,而是「一个经过检验的流程」对「真实存在的替代方案」,并且在两种情形下权利都得到保障。
福利、医疗与保险领域涉及的风险格外高。分诊式的处理方式可以帮助工作人员对案件排出优先顺序,但一个不透明的分数,不应变成一项无法申诉的拒绝决定。相关机构需要提供通知、理由说明、证据获取渠道、及时的人工复核,以及在错误得到纠正期间的服务连续性。
生成式 AI 带来了新的表征伤害与推断伤害
生成式系统可能制造刻板印象、编造指控、泄露被记忆下来的个人数据,或从普通信息中推断出敏感特征。NIST 自愿性的《生成式 AI 概况》文件,将有害偏见、同质化、隐私与虚构编造,列为跨行业的风险之一(NIST AI 600-1,2024 年 7 月)。
NIST 的指南并不具有法律约束力。它提供的是一套风险管理的词汇体系。任何合规性宣称,都应当具体说明一个组织实际测试并改变了什么,而不能仅仅停留在「我们使用了 NIST 框架」这样的表态上。
监控即便结果准确,也会改变权力格局
AI 能够降低搜索摄像头画面、语音、位置、消费记录、通信与工作场所活动的成本。其危害并不局限于识别错误。即便是准确的监控,也可能对抗议、结社、宗教活动、就医或劳工组织活动产生寒蝉效应。一个人可能会因为观察是持续性的、决策又是不透明的,而改变本属合法的行为。
生物识别技术既可以帮助找到失踪人员或解锁一台设备,也可能实现人群规模的追踪。其是否合乎比例原则,取决于目的、授权依据、数据留存期限、监控名单的质量、人工复核、误差,以及是否存在侵入性更小的替代手段。
用途蔓延是可以预见的:为安全目的收集的数据,日后可能被用于营销、移民执法、生产力评分,或执法活动。目的限定、短期数据留存、访问日志与数据删除,都是实质性的管控手段。
审计需要具备实际约束力
一项审计可以审查数据、亚群体表现、安全性、治理结构与法律合规情况。由供应商自行挑选、在经过筛选的数据集上进行的测试,其效力弱于拥有生产环境访问权限的独立评估。审计人员需要获得免受报复的保护、公开重大局限性的自由,以及足以复现其发现所需的充分信息。
影响评估应当在采购之前进行一次,在部署之后再进行一次。评估内容应当包括受影响群体、替代方案、数据来源、出错后果、申诉渠道,以及停用标准。由于部署前的测试无法预见每一种本地条件,因此对总体结果的持续监测是必要的。
透明度必须是可用的。发表一篇技术论文,并不能告诉某位申请人他为何被拒绝。面向个人的通知,需要说明决定性因素并提供纠正渠道;面向公众的透明度,则需要涉及表现数据、合同内容、事件记录,以及机构权限。
参与和救济
受某一系统影响的人群,应当有机会参与定义什么算作成功、什么算作不可接受的伤害。残障群体能够指出哪些测试是不可及的;租户能够解释记录中的错误;劳动者能够揭示监控如何改变了他们的行为。在合同签署之后才进行的咨询,几乎没有什么议价空间。
救济应当包括纠正、复议、在可能的情况下恢复失去的机会、对伤害的补偿,以及组织层面的变革。人工复核必须是独立且拥有实际权力的,而不是对那个分数的橡皮图章式确认。
AGI 情景
能力更强的智能体,或许能够整合多个数据库、推断隐私特质、个性化操纵手段,并将监控决策自动化。它们也可能有助于揭露歧视、翻译投诉内容,并让法律援助变得更易获取。这两种结果,都不会仅仅因为智能本身而自动产生。法律、访问控制、制度激励与所有权归属,才是决定其用途的因素。
实践中的标准很直白:在没有合法目的、有效性证据、亚群体测试、数据最小化、可及的通知、真正有意义的人工申诉、独立监督与救济机制的情况下,不应部署任何影响权利的系统。在许多场景中,准确性是必要的,但公民权利要求的是:即便结果准确,机构所能做的事情本身也必须受到限制。