Pandemias diseñadas y riesgo de bioarmas Qué muestran los estudios de impulso bio-IA, qué no muestran, y cómo las salvaguardas de información se conectan con la biodefensa, según la ASL-3 de Anthropic.
Fuentes verificadas 6 min
07 Mecanismos
Los mecanismos detrás de los peores desenlaces
El capítulo 02 cubre el mecanismo general de pérdida de control. Este capítulo es el registro de vías específicas y nombradas que los investigadores realmente estudian — porque la intervención que evita una no necesariamente evita otra.
Por qué esto no es un solo escenario
«La IA podría matarnos a todos» comprime varios modos de fallo estructuralmente distintos en una sola imagen. Esa compresión es útil para un titular e inútil para la prevención, porque las intervenciones técnicas y de política que abordan un mecanismo pueden hacer poco por otro — los controles sobre una gran ejecución de entrenamiento, por ejemplo, no evitan por sí solos el uso indebido de un modelo ya desplegado. Más de 350 investigadores y ejecutivos, incluidas personas afiliadas a varios laboratorios importantes, firmaron en 2023 una declaración de una sola frase instando a los responsables de política a tratar el riesgo de extinción como una prioridad global. Registra una postura sostenida por firmantes destacados; no mide la probabilidad de un daño:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Tres grandes familias
El Informe Internacional de Seguridad de la IA de 2026 usa tres grandes familias. El uso malicioso es un humano que dirige deliberadamente la capacidad de la IA hacia un daño masivo — pandemias diseñadas, ataques a infraestructura, o armas autónomas. Los fallos de funcionamiento incluyen fallas de fiabilidad y escenarios prospectivos de pérdida de control en los que los sistemas operan fuera del control de cualquiera. Los riesgos sistémicos surgen mediante el despliegue generalizado y la interacción institucional, incluidas la concentración, la disrupción laboral y el desempoderamiento humano gradual. Las categorías pueden solaparse, y la solidez de la evidencia difiere entre mecanismos. El presidente del informe ha enfatizado públicamente la pérdida de control:
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
Geoffrey Hinton también ha ofrecido una estimación de probabilidad personal. Es un juicio experto bajo incertidumbre, no una frecuencia medida:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Lo que este capítulo no hace
Límite editorial
Cada página distingue la evidencia documentada de los pronósticos y la teoría, a la vez que nombra las mitigaciones que proponen los investigadores. Ninguna describe detalles de síntesis, exploits o ataques — esa información no haría más seguro a un lector, y publicarla no es lo que exige una preparación informada. Consulta el estándar de fuentes para saber cómo se clasifican y revisan las afirmaciones consecuentes.
En este capítulo
Ciberataques habilitados por IA contra infraestructuras Qué cambia la IA en las operaciones cibernéticas, por qué la infraestructura está expuesta y por qué el equilibrio ataque-defensa sigue siendo incierto en 2025.
Fuentes verificadas 7 min
Armas autónomas y escalada militar Qué significa la autonomía en armas, qué se ha documentado en conflictos, y cómo la IA podría cambiar la escalada, según el caso disputado del Kargu-2 en Libia.
Fuentes verificadas 7 min
Desempoderamiento gradual Una vía teórica en la que la dependencia de la IA erosiona el control humano sin una toma de poder dramática, formalizada en economía, Estado y cultura.
Fuentes verificadas 7 min
Reward hacking y manipulación de la especificación Cómo los optimizadores explotan objetivos imperfectos, qué se ha observado, y por qué los ejemplos actuales no prueban solos una futura pérdida de control.
Fuentes verificadas 7 min
Persuasión masiva y manipulación epistémica Qué muestran los experimentos sobre persuasión de IA, qué no muestra aún la evidencia real, y cómo la escala podría cambiar el riesgo, según un estudio de 2026.
Fuentes verificadas 6 min
Dinámicas catastróficas multipolares y multiagente Cómo la competencia entre Estados, empresas y agentes autónomos de IA puede crear resultados catastróficos aunque cada participante prefiera evitar el desastre.
Fuentes verificadas 7 min
Estimaciones de riesgo de IA y desacuerdo entre expertos Cómo interpretar encuestas y pronósticos de probabilidad sin fabricar consenso ni descartar la incertidumbre, con base en una encuesta a 2.778 expertos.
Fuentes verificadas 7 min
IA, mando nuclear y estabilidad en crisis Cómo el apoyo de IA a la decisión podría afectar las crisis nucleares incluso sin autoridad de lanzamiento, y qué salvaguardas reducen la escalada.
Fuentes verificadas 7 min
Engaño, sandbagging, autorreplicación y exfiltración Qué evalúan cuatro pruebas en modelos de frontera, qué han observado los laboratorios, y por qué ninguna demuestra sola una pérdida catastrófica de control.
Fuentes verificadas 7 min
Fallos en cascada del sistema alimentario Casi todo escenario cercano a la extinción pasa por el hambre, no por la violencia directa. Cómo falla en cascada el sistema alimentario, y qué lo rompería.
Fuentes verificadas 7 min
Fragilidad de la infraestructura y puntos únicos de fallo Cuánto de la vida moderna descansa en componentes que tardan días, meses o años en reemplazarse, y por qué todo escenario catastrófico actúa sobre ese sustrato.
Fuentes verificadas 6 min