Qué es esta página, y qué no es
Esta página trata sobre la evidencia detrás de las cifras, no sobre las cifras en sí. Habrás visto los titulares: un investigador serio dice que la probabilidad de una extinción humana impulsada por la IA ronda el 20%, otro dice que es prácticamente cero, y ambos citan credenciales. Esta página explica de dónde vienen esas estimaciones, por qué se dispersan a lo largo de dos órdenes de magnitud, y — lo más útil — qué debería hacer un lector cuidadoso con una magnitud que nadie puede medir.
Los resultados de las encuestas y los modelos aquí analizados son publicaciones observadas. La interpretación de lo que significa su desacuerdo es análisis. Para el argumento complementario de que estas cifras describen un tipo de desenlace categóricamente distinto, véase extinción frente a eventos de víctimas masivas; el tratamiento más amplio de las estimaciones en este manual está en estimaciones de riesgo y desacuerdo entre expertos.
Qué dicen realmente las encuestas
La encuesta relevante más amplia preguntó a miles de investigadores de aprendizaje automático — autores en las principales conferencias de IA — por sus probabilidades sobre el impacto a largo plazo de la IA avanzada. La ronda de 2023 encontró una estimación mediana de aproximadamente el 5% para la extinción humana o una pérdida de poder igualmente permanente y severa causada por futuros avances de la IA, con una media cercana al 16% y un rango intercuartílico que abarca aproximadamente del 0% al 19% (Grace et al., 2024). Léase esa distribución, no solo la mediana: una media cuatro veces mayor que la mediana implica una cola derecha larga, con una minoría sustancial de expertos por encima del 20% y algunos cerca del 50%, mientras que otra minoría sustancial se sitúa esencialmente en cero.
El mismo artículo documenta que la cifra se mueve según la formulación. Cuando la pregunta especificaba la extinción causada por la incapacidad de los humanos para controlar la IA avanzada, la mediana se duplicó a aproximadamente el 10%. Cuando una ronda de 2022 preguntó sobre la extinción por la IA en general, la mediana fue del 5%; las rondas anteriores de la encuesta de AI Impacts muestran la misma sensibilidad al encuadre (Encuesta de Expertos sobre el Progreso en la IA 2022). Una magnitud que cambia por un factor de dos cuando se reformula la pregunta está diciendo algo sobre la incertidumbre de los encuestados — y, francamente, sobre la vaguedad del concepto que se está midiendo. Nada de esto vuelve inútiles a las encuestas. Las convierte en materia prima, no en veredictos.
Las estimaciones basadas en modelos frente a los juicios instintivos
Una segunda familia de estimaciones no pregunta la intuición de nadie; construye un argumento explícito y asigna probabilidades a cada paso. El ejemplo más riguroso es el análisis estructurado de Joseph Carlsmith sobre si la IA que busca poder representa un riesgo existencial, que descompone la afirmación en seis conjunciones — los sistemas se volverán mucho más capaces, buscarán poder, los humanos no lograrán corregir esto, y así sucesivamente — y defiende una probabilidad para cada una. Su conclusión final se sitúa en torno al 10% para una catástrofe causada por la IA en este siglo, con márgenes de error amplios que él mismo se cuida de mostrar (Carlsmith, 2022). Los filósofos que trabajan en la misma tradición llegan a cifras distintas al disputar conjunciones individuales: Toby Ord, en The Precipice (2020), sostiene un riesgo existencial global por la IA desalineada de aproximadamente uno de cada seis en este siglo, impulsado por una lectura más pesimista del problema de la alineación.
Estos modelos comparten una virtud de la que carecen las encuestas: cada paso es visible y discutible. Comparten dos vicios. Cada paso es también discutible, razón por la cual lectores razonables invierten el signo de conjunciones individuales; y las probabilidades asignadas a cada paso siguen siendo, al final, juicios. Un juicio instintivo con un diagrama sigue siendo un juicio instintivo. El desacuerdo entre un modelo estructurado del 10% y una intuición del 0,1% no es un conflicto de medición. Es un conflicto sobre qué clases de referencia y qué modos de fallo merecen peso.
Por qué las clases de referencia tiran en direcciones distintas
Debajo de cada estimación hay una analogía, y las analogías realmente entran en conflicto:
- La extinción biológica. Las especies se extinguen constantemente; la tasa de fondo es de aproximadamente una a cinco especies por año en las últimas décadas. Pero son especies con poblaciones pequeñas y rangos estrechos. El análogo humano más cercano, el cuello de botella de la supererupción de Toba, es controvertido y es completamente anterior a la civilización. Esta tasa base tira hacia “la extinción es un desenlace normal”, mientras no dice casi nada sobre una especie tecnológica global.
- Los cuasi-accidentes nucleares. La crisis de los misiles de Cuba, el incidente de Stanislav Petrov de 1983, y el susto del cohete noruego de 1995 muestran sistemas bajo tensión máxima que producen cuasi-fallos y luego no fallan. Los optimistas leen una larga serie de eventos salvados por la suerte; los pesimistas leen la misma serie como prueba de que la suerte se agota.
- Los accidentes tecnológicos. Los aviones comerciales, los reactores y las naves espaciales fallan a tasas medibles y luego se vuelven más seguros mediante rediseños aprendidos a las malas. Los optimistas extrapolan el rediseño; los pesimistas señalan que la aviación no tenía que tener éxito una sola vez.
Cada analogía es honesta. Cada una codifica un prior, no un hecho. Las estimaciones divergen porque los prior divergen, y los prior divergen porque no hay evidencia directa — ninguna ejecución completa del experimento — que discipline a ninguno de ellos.
Qué te dice el propio desacuerdo
Aquí está el punto analítico que la mayoría de la cobertura pasa por alto: la varianza es el hallazgo. Si la probabilidad de extinción fuera fácil de estimar, miles de expertos informados no producirían estimaciones que van de casi cero a casi una moneda al aire. La dispersión es evidencia sobre el estado del conocimiento, de la misma manera en que modelos climáticos muy divergentes son evidencia de que la tormenta es genuinamente impredecible, no de que el pronóstico promedio deba ser el correcto. Promediar a los expertos en una cifra intermedia y ordenada — digamos, el 5% — crea la sensación de precisión sin heredar nada de la información. El Informe Internacional de Seguridad de la IA de 2026, el intento de síntesis más completo hasta la fecha, es franco al reconocer que la evidencia sobre el riesgo severo es escasa, disputada, y concentrada en un puñado de laboratorios (Informe Internacional de Seguridad de la IA 2026).
Un hecho más que codifica la distribución: el desacuerdo no es aleatorio. En las encuestas, los investigadores que esperan un progreso de capacidades más rápido asignan probabilidades de riesgo catastrófico más altas, y los investigadores de los laboratorios de vanguardia asignan probabilidades más bajas que los académicos independientes. Parte de eso es evidencia sobre quién ve qué. Parte es incentivo. Los lectores deberían sostener ambas explicaciones.
Cómo usar realmente estas cifras
La conclusión práctica no es que las cifras sean inútiles; es que deben usarse con la herramienta correcta. La contabilidad de valor esperado — multiplicar una probabilidad precisa por un resultado y clasificar los resultados — falla aquí, porque el insumo es un juicio con una anchura de dos órdenes de magnitud, y pequeños errores en el insumo dominan silenciosamente el resultado. La toma de decisiones bajo incertidumbre profunda funciona de otra manera: preguntas qué acciones siguen valiendo la pena en todo el rango plausible, y prefieres las acciones robustas antes que las óptimas.
Aplicada al riesgo de extinción por IA, esa lógica aclara las cosas. El trabajo de prevención — evaluaciones de capacidades, salvaguardas de despliegue, gobernanza del cómputo — parece que vale la pena al 20%, al 5% y al 1%, porque el costo del trabajo es modesto y el desenlace que protege es categóricamente distinto de cualquier cosa que se valore en la política ordinaria. El descarte solo parece defendible cerca de cero. Así que las encuestas, pese a su vaguedad, cumplen una función real: te dicen que el cero cercano es una posición disputada, no un consenso. Para ver cómo las expectativas de plazos subyacentes impulsan el desacuerdo, véase pronósticos de plazos. No necesitas conocer la probabilidad del incendio para justificar comprar el extintor. Necesitas saber que personas serias, mirando la misma evidencia, siguen oliendo humo.