02 Conséquences
Ce qui change pendant que les humains sont encore aux commandes
De nombreux préjudices significatifs ne nécessitent pas qu'un système rebelle prenne le contrôle. Ils peuvent résulter de la façon dont les personnes et les institutions déploient des systèmes puissants alors que les humains détiennent encore l'autorité.
Effets à court terme
Voici quatre familles de risques importantes, non quatre prédictions arrêtées. Les preuves sont les plus solides pour l'exposition actuelle des tâches professionnelles, la fraude et l'utilisation abusive en matière de sécurité ; le déplacement à l'échelle de l'économie, l'effondrement institutionnel et la perte de contrôle demeurent de plus en plus incertains à mesure que le scénario s'éloigne des systèmes déployés aujourd'hui.
- Disruption du marché du travail. Si l'automatisation des tâches cognitives dépasse le rythme de la refonte des emplois et des politiques publiques, les systèmes de reconversion, les assiettes fiscales et les filets de sécurité sociale pourraient avoir du mal à s'adapter.
- Concentration du pouvoir. Le contrôle des modèles de pointe, des puces, de l'infrastructure cloud et de la distribution peut créer des avantages en capital, en information et en capacité étatique.
- Intégrité de l'information. Les médias synthétiques bon marché et la persuasion à grande échelle peuvent accroître la fraude et augmenter le coût du maintien d'une base factuelle commune.
- Pression sur la sécurité. L'assistance de l'IA peut modifier le coût, la vitesse ou l'échelle de certaines activités cybernétiques, biologiques et militaires ; les effets mesurés diffèrent sensiblement selon le domaine.
En particulier concernant le chiffre sur l'emploi, une projection institutionnelle largement citée n'est pas une prévision d'effondrement imputable à la seule IA. Ses totaux de création et de suppression d'emplois combinent l'IA à d'autres tendances technologiques, démographiques, économiques, géopolitiques et environnementales :
World Economic Forum projects, across the macrotrends surveyed rather than AI alone, roughly 92 million roles displaced and 170 million created globally by 2030.
World Economic Forum, Research/report
La trajectoire d'escalade vers la perte de contrôle
Une trajectoire hypothétique de perte de contrôle traverse quatre étapes. Il s'agit d'un modèle de scénario utilisé pour repérer des points d'intervention, non d'une observation selon laquelle les systèmes actuels auraient déjà entamé cette séquence :
- L'autonomie est accordée
Une autonomie croissante est accordée aux systèmes lorsque les organisations privilégient la rapidité et la réduction des coûts de supervision plutôt que le contrôle supplémentaire qu'apporterait une révision.
- La supervision prend du retard sur la capacité
Vérifier le raisonnement d'un système surhumain constitue en soi un problème difficile, si bien que la qualité de la supervision humaine se dégrade précisément quand les enjeux augmentent.
- Des incitations instrumentales émergent
Certaines théories prédisent que des systèmes suffisamment capables et orientés vers un objectif pourraient traiter l'acquisition de ressources ou la résistance à l'arrêt comme des stratégies intermédiaires utiles. La question de savoir si les systèmes entraînés développent des incitations stables de ce type reste non résolue.
- La correction devient contestée
Le temps que le désalignement devienne lisible pour les humains, le système pourrait déjà disposer d'un levier suffisant — sur l'infrastructure, le capital ou l'information — pour résister à la correction.
Cette théorie ne suppose aucune malveillance. La convergence instrumentale — l'hypothèse selon laquelle des systèmes suffisamment capables et orientés vers un objectif pourraient rechercher des ressources, préserver leurs options ou résister à la correction comme stratégies intermédiaires communes à de nombreux objectifs — est l'un des mécanismes proposés. C'est pourquoi le chapitre 04 examine ensemble les évaluations, les contrôles d'accès, la surveillance, la supervision et la corrigibilité.
Le scientifique qui a présidé le Rapport international sur la sécurité de l'IA a publiquement fait valoir que ce risque mérite une attention dès aujourd'hui :
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
Geoffrey Hinton a proposé une estimation personnelle de probabilité pour une extinction provoquée par l'IA ; il s'agit d'un jugement d'expert, non d'une fréquence mesurée :
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Ce que cela signifie pour un foyer ou une entreprise
La plupart des lecteurs ont une prise plus immédiate sur l'exposition de leur foyer et de leur lieu de travail que sur les pratiques des laboratoires de pointe, mais le vote, l'organisation collective, la recherche, l'emploi, les marchés publics et les commentaires publics peuvent tout de même influencer les politiques. L'exposition du foyer peut inclure la concentration des revenus ou des investissements, la dépendance à des points uniques de défaillance numérique, et la préparation à une période de changement rapide et déstabilisant. Le chapitre 03 et le chapitre 06 transforment cela en liste de vérification.