L’automatisation ne suspend pas le droit à l’égalité
Un employeur, un bailleur, un prêteur, une école, un assureur, un service de police ou une agence de prestations peut utiliser un algorithme sans échapper aux obligations qui régissent la décision. Aux États-Unis, des lois telles que le Titre VII, l’Americans with Disabilities Act, le Fair Housing Act, l’Equal Credit Opportunity Act, et les protections constitutionnelles de procédure régulière peuvent s’appliquer selon l’acteur et le contexte. La couverture, les normes juridiques et les recours diffèrent ; cette page ne constitue pas un avis juridique.
Les préoccupations actuelles proviennent de modèles statistiques, de systèmes de classement, de la biométrie et de l’IA générative. Les affirmations selon lesquelles l’AGI créera une surveillance universelle ou prédira parfaitement le comportement sont des prévisions conditionnelles, non une capacité observée.
La discrimination peut s’introduire à chaque étape
Les données historiques peuvent encoder d’anciennes exclusions. Les étiquettes peuvent refléter des arrestations plutôt que des infractions, des dépenses de santé plutôt que des besoins, ou des évaluations de gestionnaires plutôt que la performance réelle. Des variables qui omettent la race peuvent tout de même servir de proxy pour un statut protégé via la géographie, l’école, la langue, le handicap ou le réseau social.
Les choix de conception déterminent qui est représenté, quel résultat est optimisé, et quelles erreurs comptent. Le déploiement crée des problèmes supplémentaires : le personnel peut accorder une confiance excessive à un score, les candidats peuvent ne pas pouvoir corriger leurs dossiers, et un outil testé à l’échelle nationale peut échouer dans une population locale. La précision globale annoncée par un fournisseur peut masquer des taux élevés de faux négatifs ou de faux positifs pour un sous-groupe.
Les mesures d’équité peuvent entrer en conflit. Égaliser un taux d’erreur peut en aggraver un autre, surtout lorsque les taux mesurés sous-jacents diffèrent. Les mathématiques ne peuvent pas décider quel compromis est légal ou juste. Les institutions doivent relier les mesures aux droits, à l’objectif et aux conséquences.
L’emploi illustre une responsabilité partagée
Les employeurs utilisent des logiciels pour filtrer les CV, noter des tests, analyser des vidéos, planifier le travail, surveiller la productivité et recommander une promotion ou un licenciement. L’Equal Employment Opportunity Commission et le ministère de la Justice des États-Unis avertissent que les outils algorithmiques peuvent exclure illégalement des personnes handicapées et que les employeurs peuvent devoir offrir des aménagements raisonnables (EEOC et DOJ, mai 2022).
Acheter un outil ne transfère pas toute la responsabilité au fournisseur. Les employeurs devraient le valider pour le poste et la population concernés, informer les candidats, offrir des alternatives accessibles, surveiller les résultats, et rechercher des méthodes moins discriminatoires. Les candidats ont besoin d’un moyen de contester des données incorrectes et de recevoir une révision humaine avant qu’une décision défavorable ne devienne définitive.
L’inférence par la voix, le regard, l’expression faciale ou la personnalité mérite un scepticisme particulier. Un signal peut être corrélé dans un échantillon d’entraînement sans mesurer de façon fiable la compétence professionnelle, et le handicap ou la différence culturelle peuvent l’altérer. Les affirmations selon lesquelles une IA « lit » les émotions devraient être étayées par des preuves de validité indépendantes pour l’usage réel.
Logement, crédit et services essentiels
Les systèmes de sélection des locataires combinent des dossiers de crédit, d’expulsion, de casier judiciaire et d’identité qui peuvent être incomplets ou mal appariés. Les directives de 2024 du HUD indiquent que le Fair Housing Act s’applique à la sélection des locataires par apprentissage automatique, et que les bailleurs comme les entreprises de sélection ont un rôle à jouer pour garantir des décisions justes, précises et transparentes (directives archivées du HUD, avril 2024).
La publicité automatisée peut aussi exclure des personnes avant même qu’elles ne postulent, en diffusant sélectivement des opportunités de logement ou d’emploi. Dans le crédit, les données alternatives peuvent élargir l’accès pour les personnes ayant peu d’historique de crédit, ou reproduire des disparités de quartier et de revenu. La comparaison correcte n’est pas algorithme contre humain parfait ; c’est un processus testé contre l’alternative réelle, avec des droits préservés dans les deux cas.
Les prestations sociales, les soins de santé et les assurances impliquent des enjeux particulièrement élevés. Le triage peut aider le personnel à prioriser les dossiers, mais un score opaque ne devrait pas devenir un refus sans appel possible. Les agences ont besoin de notification, de motif, d’accès aux preuves, de révision humaine rapide, et de continuité pendant qu’une erreur est résolue.
L’IA générative ajoute des préjudices de représentation et d’inférence
Les systèmes génératifs peuvent produire des stéréotypes, fabriquer des accusations, révéler des données personnelles mémorisées, ou inférer des traits sensibles à partir d’informations ordinaires. Le profil volontaire d’IA générative du NIST identifie le biais préjudiciable, l’homogénéisation, la vie privée et la confabulation parmi les risques transversaux (NIST AI 600-1, juillet 2024).
Les directives du NIST ne constituent pas une loi contraignante. Elles fournissent un vocabulaire de gestion des risques. Les affirmations de conformité devraient préciser ce qu’une organisation a réellement testé et changé, plutôt que de simplement dire qu’elle « utilise le cadre du NIST ».
La surveillance déplace le pouvoir même lorsqu’elle est exacte
L’IA peut rendre moins coûteuse la recherche dans les caméras, les voix, les localisations, les achats, les communications et l’activité au travail. Le préjudice ne se limite pas à l’erreur d’identification. Une surveillance exacte peut refroidir la protestation, l’association, la pratique religieuse, les soins médicaux ou l’organisation syndicale. Une personne peut modifier un comportement légal parce que l’observation est permanente et que les décisions sont opaques.
L’identification biométrique peut aider à localiser une personne disparue ou déverrouiller un appareil. Elle peut aussi permettre un suivi à l’échelle d’une population entière. La proportionnalité dépend de l’objectif, du mandat ou de l’autorité, de la durée de conservation, de la qualité de la liste de surveillance, de la révision humaine, du taux d’erreur, et de l’existence de moyens moins intrusifs.
Le glissement d’usage est prévisible : des données collectées pour la sécurité peuvent ensuite servir au marketing, à l’immigration, à la notation de productivité ou au maintien de l’ordre. La limitation de l’objectif, une conservation courte, les journaux d’accès et la suppression sont des contrôles substantiels.
Les audits ont besoin de mordant
Un audit peut examiner les données, la performance par sous-groupe, la sécurité, la gouvernance et la conformité juridique. Un test sélectionné par le fournisseur sur un jeu de données choisi avec soin est plus faible qu’une évaluation indépendante avec accès à la production. Les auditeurs ont besoin d’une protection contre les représailles, de la liberté de publier les limitations substantielles, et de suffisamment d’information pour reproduire les constats.
Les évaluations d’impact devraient avoir lieu avant l’acquisition, puis à nouveau après le déploiement. Elles devraient identifier les groupes concernés, les alternatives, les sources de données, les conséquences des erreurs, l’appel, et les critères d’arrêt. Le suivi des résultats agrégés est nécessaire car les tests préalables au déploiement ne peuvent pas anticiper chaque condition locale.
La transparence doit être exploitable. Publier un article technique ne dit pas à un candidat pourquoi il a été refusé. La notification individuelle a besoin des facteurs décisifs et d’une voie de correction ; la transparence publique a besoin de performance, de contrats, d’incidents et d’autorité de l’agence.
Participation et réparation
Les personnes soumises à un système devraient contribuer à définir ce que signifient le succès et le préjudice inacceptable. Les groupes de personnes handicapées peuvent repérer des tests inaccessibles ; les locataires peuvent expliquer des erreurs de dossier ; les travailleurs peuvent révéler comment la surveillance modifie le comportement. Une consultation après la signature d’un contrat a peu de poids réel.
La réparation devrait inclure la correction, le réexamen, la restauration de l’opportunité perdue lorsque c’est possible, une compensation pour le préjudice, et un changement organisationnel. La révision humaine doit être indépendante et véritablement habilitée, non un simple tampon apposé sur le score.
Scénarios d’AGI
Des agents plus capables pourraient combiner des bases de données, inférer des traits intimes, personnaliser la manipulation, et automatiser des décisions de surveillance. Ils pourraient aussi aider à révéler la discrimination, traduire des plaintes, et rendre le soutien juridique plus accessible. Aucun de ces résultats ne découle de la seule intelligence. La loi, les contrôles d’accès, les incitations institutionnelles et la propriété déterminent l’usage.
La norme pratique est simple : ne pas déployer un système affectant des droits sans un objectif légal, des preuves de validité, des tests par sous-groupe, une minimisation des données, une notification accessible, un appel humain réel, une supervision indépendante et une réparation. La précision est nécessaire dans de nombreux contextes, mais les droits civiques exigent des limites sur ce que les institutions peuvent faire, même avec précision.