Une loi d’échelle est une relation empirique
En apprentissage automatique, une loi d’échelle décrit comment une grandeur mesurée évolue à mesure qu’un facteur d’entrée croît. Pour les grands modèles de langage, les chercheurs ont constaté que la perte d’entraînement s’améliore souvent de façon relativement régulière et prévisible à mesure qu’augmentent la taille du modèle, les données d’entraînement et le calcul. Les travaux d’OpenAI de 2020 ont rapporté des relations en loi de puissance sur les plages testées (Kaplan et al.). L’étude « Chinchilla » ultérieure de DeepMind a montré que, à budget de calcul fixe, de nombreux modèles avaient été entraînés avec trop peu de données, et que les paramètres et les tokens d’entraînement devaient être mis à l’échelle ensemble de façon plus équilibrée (Hoffmann et al.).
Ces résultats étaient importants car ils ont rendu les campagnes d’entraînement coûteuses plus prévisibles. Un laboratoire pouvait mener des expériences à plus petite échelle, estimer comment la perte évoluerait à plus grande échelle, et répartir un budget entre données, paramètres et calcul. Mais la loi décrit des mesures à l’intérieur d’un régime observé. Ce n’est pas une garantie physique que toute capacité s’améliorera indéfiniment, ni que suffisamment de processeurs graphiques produiront automatiquement l’AGI.
Le calcul n’est qu’un ingrédient parmi d’autres
« Calcul » désigne généralement le nombre d’opérations numériques utilisées lors de l’entraînement ou de l’inférence, mais même ce raccourci masque des différences importantes. Deux campagnes d’entraînement affichant le même nombre nominal d’opérations peuvent produire des systèmes différents en raison de l’utilisation des puces, de la précision numérique, de la qualité des données, de l’architecture, de l’optimisation et du logiciel. Des améliorations algorithmiques peuvent tirer une meilleure performance du même matériel. Le réglage fin, la récupération d’information, les outils, la mémoire et l’échafaudage d’agent peuvent modifier substantiellement le comportement déployé après le pré-entraînement.
Les données comptent à la fois par leur quantité et par leur composition. Des exemples dupliqués, de mauvaise qualité ou contaminés ne sont pas équivalents à une information soigneusement sélectionnée. Les données synthétiques peuvent étendre ou cibler un corpus, mais les erreurs peuvent s’y amplifier si la génération et le filtrage sont médiocres. Les droits sur les données, la vie privée, la couverture linguistique et la représentation influencent également ce qu’un modèle apprend.
Le calcul au moment de l’inférence ajoute une autre dimension. Certains systèmes consacrent davantage d’opérations à générer et vérifier des candidats intermédiaires pour une requête difficile. Cela peut améliorer la performance sans changer le modèle pré-entraîné, mais cela augmente le coût et la latence et ne garantit pas l’exactitude. Une discussion complète sur la mise à l’échelle doit désormais considérer au moins le calcul d’entraînement, le calcul d’inférence, les données, les algorithmes et le système environnant.
Les courbes de perte ne sont pas des courbes de capacité
La perte d’entraînement mesure l’erreur de prédiction moyennée sur d’immenses ensembles de données. Une réduction régulière de la perte peut s’accompagner de changements irréguliers sur des tâches orientées vers l’humain. Un test de référence peut montrer un seuil parce qu’une amélioration latente finit par franchir sa note de passage, parce que le modèle acquiert plusieurs sous-compétences requises, ou parce que le mode de notation convertit un progrès graduel en un résultat binaire. D’autres capacités peuvent s’améliorer en douceur, rester stables, ou régresser après un ajustement de sécurité ou des changements de système.
Cette distinction évite deux erreurs opposées. La première consiste à supposer qu’une courbe de perte prévisible rend tout comportement futur prévisible. Ce n’est pas le cas. La seconde consiste à affirmer que tous les gains de capacité sont des discontinuités mystérieuses. De nombreux gains apparemment abrupts sur des tests de référence deviennent plus progressifs lorsque les chercheurs utilisent des métriques continues ou des tests plus informatifs (Schaeffer, Miranda et Koyejo, 2023). L’incertitude et la prévisibilité partielle peuvent toutes deux être vraies.
La mise à l’échelle interagit aussi avec la conception de l’évaluation. Les tests publics peuvent se saturer ou se retrouver contaminés dans les données d’entraînement. Un modèle peut s’améliorer dans l’art de passer les tests sans gain équivalent en fiabilité dans le monde réel. À l’inverse, les tests de référence existants peuvent laisser passer des capacités utiles. Des évaluations multiples, des tâches privées, une revue par des experts humains et des preuves issues du déploiement sont nécessaires pour interpréter ce qu’a réellement acheté la réduction de la perte.
Où la tendance peut fléchir
La capacité physique n’est pas illimitée. L’entraînement et le service de modèles de pointe dépendent de puces avancées, de mémoire à large bande passante, de réseaux, d’électricité, de refroidissement, de terrains, de construction et de chaînes d’approvisionnement. L’Agence internationale de l’énergie s’attend à ce que la demande d’électricité des centres de données augmente substantiellement d’ici 2030, tout en soulignant l’incertitude et une forte concentration géographique (AIE, Energy and AI). Les retards des réseaux électriques locaux peuvent peser même lorsque l’énergie globale est suffisante.
Les données humaines de haute qualité sont elles aussi finies, bien que l’effet de cette contrainte dépende de nouvelles sources de données, de l’entraînement multimodal, des données synthétiques et d’un usage plus efficace des corpus existants. Les limites économiques peuvent survenir avant les limites techniques : un modèle plus grand doit créer suffisamment de valeur pour justifier son entraînement, son service et ses coûts d’opportunité. La latence et la bande passante mémoire peuvent contraindre les produits même lorsque les opérations globales sont disponibles.
Les rendements décroissants sont inhérents à la mise à l’échelle. Une loi de puissance peut se poursuivre tandis que chaque amélioration supplémentaire exige une dépense bien plus importante. Cela ne signifie pas que le progrès s’arrête, mais cela en change l’économie. Une nouvelle architecture ou un nouvel algorithme peut déplacer la courbe, tandis que la sécurité, la fiabilité ou l’incarnation physique peuvent exiger des avancées non captées par la perte de prédiction du token suivant. Personne ne peut établir, à partir des seules lois d’échelle actuelles, où se produiront ces percées.
Pourquoi le calcul reste un levier de gouvernance
Malgré ces réserves, le calcul avancé est d’une matérialité et d’une concentration inhabituelles. Les puces de pointe sont fabriquées via une chaîne d’approvisionnement mondiale étroite, et les plus grands clusters d’entraînement exigent un capital, une puissance électrique et des réseaux visibles. Les gouvernements utilisent donc les contrôles à l’exportation de puces, les obligations de déclaration et les règles applicables aux centres de données comme indicateurs indirects de la capacité de pointe. Le calcul peut être plus facile à surveiller que les algorithmes ou les logiciels copiés.
Cet indicateur indirect est imparfait. Les seuils peuvent devenir obsolètes à mesure que les algorithmes gagnent en efficacité. L’entraînement et l’inférence distribués compliquent la comptabilité. Une règle sur le calcul peut peser sur la recherche légitime, enraciner les grands acteurs en place, ou encourager le contournement si elle est mal rédigée. Le calcul d’entraînement passe aussi à côté de systèmes capables assemblés par réglage fin, usage d’outils ou de nombreux appels d’inférence. Une politique efficace devrait actualiser les seuils, tenir compte de l’efficacité, protéger la vie privée, et concentrer les obligations sur le risque plutôt que de traiter les opérations comme un préjudice en soi.
La gouvernance du calcul est la plus solide lorsqu’elle est associée à l’évaluation des capacités. Le calcul peut identifier les campagnes d’entraînement méritant un examen ; les évaluations peuvent tester si le système qui en résulte franchit un seuil de capacité dangereuse ; la surveillance du déploiement peut révéler les usages abusifs et les défaillances. Aucune métrique unique ne devrait porter toute la charge réglementaire.
La mise à l’échelle ne tranche pas les échéances de l’AGI
Un investissement rapide est la preuve que les développeurs attendent des retours de systèmes plus grands et plus efficaces. La mise à l’échelle historique est la preuve que des ressources supplémentaires ont souvent amélioré la performance mesurée. Ni l’un ni l’autre ne démontre une date pour l’AGI. Les prévisions doivent modéliser le matériel, l’énergie, les données, les algorithmes, l’inférence, la fiabilité et la définition même de l’AGI.
Affirmer que « la mise à l’échelle s’est arrêtée » exige de préciser quelle métrique et quel système. Affirmer que « la mise à l’échelle est tout ce dont on a besoin » exige de montrer que les écarts restants sont réductibles à la même tendance. Entre ces deux slogans se trouve la position défendable : les lois d’échelle comptent parmi les régularités empiriques les plus utiles de l’IA moderne, mais elles prédisent des moyennes à l’intérieur de régimes mieux qu’elles ne prédisent des conséquences sociales qualitatives.
Ce que les lecteurs devraient se demander
Lorsqu’un nouveau modèle est attribué à la mise à l’échelle, il faut se demander quelle ressource a augmenté, de combien, et par rapport à quelle référence. La comparaison était-elle optimale en calcul ? Les données ou les algorithmes ont-ils changé ? Le gain rapporté porte-t-il sur la perte d’entraînement, un test de référence, un travail d’experts, ou un résultat en déploiement ? À quoi ressemblaient la fiabilité et le coût ? Les résultats sont-ils reproductibles de façon indépendante ?
Ces questions préservent la véritable leçon des lois d’échelle sans en faire une mythologie. Davantage de calcul a permis, à maintes reprises, de meilleurs modèles. C’est un intrant industriel majeur et un point pratique de supervision. Ce n’est pas une unité universelle d’intelligence, une garantie de comportement sûr, ni un compte à rebours vers l’AGI.