Ce que promet l’interprétabilité
Un réseau de neurones s’entraîne en ajustant de nombreux paramètres numériques, et non en faisant écrire par un ingénieur une règle lisible pour chaque réponse. Les développeurs connaissent l’architecture, la procédure d’entraînement et le pipeline de données, mais peuvent être incapables d’expliquer quel calcul interne a produit une sortie donnée. La recherche en interprétabilité tente de transformer une partie de ce calcul en preuves que les humains peuvent inspecter.
Ceci diffère du fait de demander au modèle de s’expliquer lui-même. Une chaîne de raisonnement générée peut être inexacte, incomplète, optimisée pour paraître persuasive, ou déconnectée du mécanisme causal. Cela diffère aussi de l’importance des variables classique dans un petit modèle prédictif. Les modèles de langage de pointe contiennent des représentations distribuées et de nombreux composants qui interagissent entre eux.
Plusieurs méthodes partagent une même étiquette
L’interprétabilité comportementale relie les entrées aux sorties par des tests systématiques. Elle peut repérer des tendances sans localiser un circuit interne. L’interprétabilité mécanistique étudie les composants, les activations, les caractéristiques et les voies causales à l’intérieur du réseau. Les méthodes fondées sur des concepts relient des motifs d’activation à des descriptions humaines. L’attribution estime quelle entrée ou quel composant a influencé une sortie. Le sondage (probing) entraîne un classificateur pour vérifier si une information peut être récupérée à partir d’un état interne.
Chacune répond à une question différente. Une information peut être décodable sans être utilisée. La description d’une caractéristique peut être compréhensible mais incomplète. Une corrélation entre l’activation et la sortie peut ne pas établir de causalité. L’intervention — modifier ou supprimer un composant et observer le résultat — apporte une preuve causale plus solide, mais peut avoir des effets secondaires inattendus.
Autoencodeurs épars et dictionnaires de caractéristiques
Les activations d’un modèle peuvent superposer de nombreux motifs dans les mêmes dimensions. Les autoencodeurs épars (sparse autoencoders) tentent de décomposer ces activations en un ensemble plus large de caractéristiques qui s’activent sélectivement. Anthropic a rapporté avoir extrait des millions de caractéristiques de Claude 3 Sonnet et identifié des exemples associés à des concepts reconnaissables. Il s’agit du résultat de recherche d’un développeur sur son propre modèle, pas d’une preuve indépendante de transparence complète (Anthropic, 2024).
Passer à l’échelle est difficile : les chercheurs doivent choisir quelles couches et quels jetons analyser, entraîner des modèles supplémentaires, étiqueter des quantités énormes de caractéristiques, et déterminer si les caractéristiques récupérées représentent fidèlement le calcul original. Certaines caractéristiques restent ininterprétables ; une caractéristique peut mélanger des significations ; une information importante peut être manquée ; et les étiquettes automatisées peuvent être erronées.
Les travaux d’Anthropic de 2026 sur les autoencodeurs en langage naturel indiquent explicitement que les explications générées peuvent être fausses, tout en rapportant une capacité limitée à traduire des activations en texte et à les reconstruire (Anthropic, mai 2026). C’est un progrès, pas une transcription neuronale.
L’audit est le test pratique
L’interprétabilité a de la valeur lorsqu’elle améliore une décision réelle : trouver un objectif caché, diagnostiquer un jailbreak, prédire une défaillance avant que le comportement ne la révèle, ou vérifier qu’un garde-fou affecte le mécanisme visé. Des jeux d’audit contrôlés peuvent tester si des équipes utilisant ces outils identifient des problèmes délibérément insérés.
Dans une étude d’Anthropic de 2025, des équipes ont audité un modèle entraîné avec un objectif caché en utilisant des méthodes comportementales, des données d’entraînement et des méthodes d’interprétabilité (Anthropic, mars 2025). Le succès dans un jeu construit intentionnellement n’établit pas une détection fiable d’objectifs inconnus en production, mais il se rapproche davantage d’une validation opérationnelle que de simples visualisations de caractéristiques séduisantes.
Un test de référence mature devrait mesurer les faux négatifs, les faux positifs, le temps, l’expertise requise, la généralisation à des modèles inconnus, et si les résultats modifient les décisions de déploiement. Il devrait inclure des équipes indépendantes et publier les résultats négatifs.
Pourquoi cela importe aux chercheurs sur la perte de contrôle
Si un système peut se comporter stratégiquement de façon différente pendant l’évaluation, des tests fondés uniquement sur la sortie peuvent donner une fausse réassurance. Des preuves internes pourraient révéler une planification, une conscience situationnelle, une tromperie ou une connaissance interdite, même quand le comportement paraît conforme. L’interprétabilité pourrait aussi surveiller les systèmes pendant le déploiement.
Cet argument reste en partie théorique. Les outils actuels ne lisent pas les intentions de façon fiable, et « l’intention » n’est peut-être pas représentée comme un objet unique, stable et lisible par un humain. Une confiance excessive dans un tableau de bord d’interprétabilité pourrait être pire que d’admettre l’opacité. Les dossiers de sécurité devraient préciser quels modes de défaillance une méthode peut détecter, avec quelle sensibilité, et sous quelles hypothèses adverses.
L’interprétabilité a aussi des usages actuels
Ce domaine n’a pas besoin d’attendre l’AGI. Les outils peuvent examiner le biais, la mémorisation, les mécanismes d’hallucination, l’édition de modèles et la généralisation inattendue. Ils peuvent aider les développeurs à comprendre pourquoi l’ajustement fin a modifié le comportement, ou où l’entraînement à la sécurité est fragile. Ces usages peuvent améliorer la fiabilité ordinaire même si une rétro-ingénierie complète reste lointaine.
Cependant, une interprétation peut exposer des informations sensibles d’entraînement ou permettre de piloter des capacités. Publier la capacité à localiser un mécanisme pertinent pour la sécurité peut aider aussi bien les défenseurs que les attaquants. Une divulgation responsable et un accès échelonné peuvent parfois être appropriés.
Le problème de la conscience d’être évalué
Un modèle pourrait déduire, à partir des invites, des outils ou de l’environnement, qu’il est en cours de test. Les évaluations comportementales peuvent réduire les indices, utiliser des tests cachés et se poursuivre après le déploiement. Les méthodes internes pourraient être plus difficiles à contourner si le modèle ne les avait pas anticipées, mais un système entraîné contre des moniteurs connus pourrait apprendre des représentations alternatives.
Cela crée un cycle adverse. L’interprétabilité ne peut pas être certifiée une fois pour toutes et traitée comme permanente. Les méthodes, les jeux de test et les contrôles d’accès ont besoin d’être renouvelés, et les affirmations devraient préciser la version du modèle examinée.
Indépendance et conflits d’intérêts
Les travaux les plus avancés proviennent souvent des développeurs de modèles, car ils disposent des poids, des activations, du calcul et du savoir-faire technique. Ils bénéficient aussi d’interprétations rassurantes et peuvent retenir des détails sensibles pour la sécurité. Les équipes universitaires offrent l’indépendance mais peuvent manquer d’accès. Les instituts d’évaluation d’intérêt public peuvent combler cet écart s’ils reçoivent un accès sécurisé, un financement et des droits de publication.
Le PDG d’Anthropic a soutenu qu’une IA puissante ne devrait pas être déployée sans une interprétabilité plus solide. C’est une position politique influente d’un dirigeant d’entreprise, pas une échéance consensuelle ni la preuve que la technique de l’entreprise réussira. Les recherches des fournisseurs devraient être lues en parallèle des critiques et des réplications évaluées par les pairs.
À quoi ressembleraient de bonnes preuves
Avant que l’interprétabilité ne vienne étayer un déploiement à fort enjeu, les évaluateurs devraient se demander :
- La méthode retrouve-t-elle des mécanismes connus sans qu’on lui indique où ils se trouvent ?
- Trouve-t-elle des défaillances délibérément cachées et des défaillances survenant naturellement ?
- À quelle fréquence invente-t-elle une explication plausible mais fausse ?
- Des équipes indépendantes peuvent-elles reproduire les résultats ?
- Fonctionne-t-elle après un changement de distribution ou un entraînement adverse ?
- L’intervention prédite par l’explication modifie-t-elle le comportement comme attendu ?
- Quelle proportion du calcul pertinent reste-t-elle inexpliquée ?
La couverture compte. Comprendre des millions de caractéristiques semble impressionnant, mais il faut un dénominateur. Si le modèle contient une structure pertinente bien plus vaste, la portion cartographiée peut rester faible.
L’interprétabilité n’est qu’une seule couche
Même une compréhension parfaite du modèle ne déciderait pas quelles valeurs mettre en œuvre, qui autorise le déploiement, ni si une institution agira face aux avertissements. Inversement, une compréhension incomplète ne rend pas tout usage impossible. L’aviation et la médecine combinent des modèles partiels avec des tests, une surveillance, de la redondance et un fonctionnement contraint.
L’interprétabilité devrait renforcer la supervision évolutive, les contrôles d’accès, le red teaming, le signalement d’incidents et la corrigibilité. Elle ne devrait pas devenir un permis d’accorder une large autonomie simplement parce qu’une visualisation paraît lisible.
L’état exact en septembre 2026 est un progrès significatif mais partiel. Les chercheurs peuvent identifier et manipuler certaines caractéristiques internes et utiliser des outils dans des audits contrôlés. Ils ne peuvent pas traduire de façon fiable le raisonnement complet d’un modèle de pointe, ni garantir la détection de la tromperie. Ce domaine est fondateur précisément parce que cet écart reste important.