Un porcentaje es un juicio, no una medición
Cuando un investigador dice que hay un 10 por ciento de probabilidad de que la IA avanzada cause la extinción humana, el número no es una frecuencia medida en historias repetidas, sino una probabilidad subjetiva que resume creencias sobre la capacidad, el despliegue, las instituciones, el conflicto, y muchos pasos inciertos. Otro experto puede usar “riesgo existencial” para incluir el desempoderamiento permanente, mientras un titular reporta solo la extinción.
Tales estimaciones pueden informar decisiones, sobre todo cuando las consecuencias son enormes, pero no deberían presentarse como constantes científicas. Quién habla, la fecha, la pregunta exacta, el horizonte temporal, la definición del resultado, la evidencia y la incertidumbre importan. La estimación personal de un científico famoso sigue siendo una estimación personal.
Defina el resultado antes de comparar números
Al menos cuatro resultados suelen mezclarse:
- daño severo: grandes bajas, pérdida económica, o violaciones de derechos;
- catástrofe global: daño que afecta a gran parte de la humanidad o a una fracción especificada de muertes;
- extinción humana: ninguna población humana sobreviviente;
- catástrofe existencial: la extinción o la destrucción irreversible del potencial de largo plazo de la humanidad, a veces incluyendo el desempoderamiento severo y permanente.
Los pronósticos pueden preguntar si la IA causa el resultado, es un contribuyente necesario, o solo aparece en la cadena, y pueden cubrir diez años, el año 2100, o todo el tiempo futuro: un uno por ciento a diez años no se compara directamente con un cinco por ciento a un siglo.
Las definiciones de la tecnología también varían: la IA de propósito general actual, la “inteligencia de máquina de alto nivel”, la AGI, la superinteligencia, o cualquier IA futura. Preserve siempre la redacción original.
Qué encontró la gran encuesta a investigadores
La Encuesta de Expertos sobre el Progreso en IA de 2023 invitó a autores de conferencias líderes de IA y obtuvo 2.778 respuestas. Su análisis halló amplio desacuerdo sobre plazos e impactos: la mayoría esperaba resultados buenos de una IA sobrehumana más probables que los malos, aunque muchos asignaron probabilidad no trivial a resultados extremadamente malos, y las respuestas cambiaban según el marco de la pregunta (Grace et al., 2024).
Esto no respalda que “los expertos coincidan en que la extinción es probable”, sino algo más estrecho: una parte sustancial de los encuestados consideró los resultados extremos lo bastante plausibles para asignarles probabilidad significativa, junto con optimismo y amplia dispersión. Sobre por qué las respuestas de extinción, en esta y otras encuestas, divergen tanto, véase por qué divergen las estimaciones de extinción de los expertos.
Las limitaciones incluyen la falta de respuesta, la pericia desigual en análisis de riesgo, definiciones inestables, y la dificultad de traducir la preocupación intuitiva en probabilidades calibradas. Publicar en una conferencia de primer nivel da experiencia técnica, no destreza de pronóstico sobre geopolítica o cambio social a escala de siglo, y las medianas ocultan la polarización y las correlaciones entre encuestados.
Los torneos de pronóstico revelan otro desacuerdo
El Torneo de Persuasión sobre Riesgo Existencial reunió a 80 expertos temáticos y 89 superpronosticadores con historial en pronósticos de corto plazo. Los participantes estimaron riesgos de IA, nucleares, biológicos y otros bajo definiciones comunes, intercambiaron argumentos, y actualizaron sus estimaciones (XPT del Forecasting Research Institute).
El análisis resultante, revisado por pares, encontró grandes diferencias entre expertos de dominio y superpronosticadores, sobre todo en IA (Karger et al.): evidencia valiosa contra el falso consenso, aunque no prueba que un grupo tenga razón.
Los superpronosticadores han demostrado calibración en preguntas resolubles de corto plazo, pero las de extinción a escala de siglo no pueden calificarse en la carrera de los participantes, y las probabilidades bajo el uno por ciento son difíciles de validar. Los expertos de dominio entienden mejor los mecanismos, pero pueden haberse acercado al campo por preocupación y carecer de calibración: ambos grupos aportan fortalezas y sesgos distintos.
Por qué discrepan los expertos
Supuestos de capacidad: ¿producirán los métodos actuales autonomía robusta, descubrimiento científico y planificación estratégica, o seguirán siendo difíciles la fiabilidad y la encarnación física?
Supuestos de plazo: el riesgo se acumula de forma distinta si la capacidad transformadora llega en cinco años o en cincuenta. Las instituciones tienen más tiempo para adaptarse bajo un progreso más lento, pero más actores pueden ganar acceso.
Supuestos de alineamiento: los investigadores discrepan sobre si los sistemas avanzados desarrollarán objetivos persistentes, si el entrenamiento actual los controlará, y cuánta evidencia precursora observable debería mover los pronósticos.
Supuestos de poder y despliegue: un modelo capaz sin herramientas ni autoridad difiere de un agente ampliamente desplegado que controla dinero, código, laboratorios o infraestructura.
Supuestos de gobernanza: la competencia, el conflicto militar, la propiedad concentrada, la regulación y la coordinación internacional pueden dominar sobre la incertidumbre técnica.
Definiciones morales: la pérdida permanente del control humano puede contar como daño existencial para un pronosticador y no para otro.
Un número de titular comprime todo este modelo. El buen periodismo vuelve a expandirlo.
La calibración es difícil pero no opcional
Un pronosticador calibrado que asigna 20 por ciento a muchos eventos debería acertar en cerca de una quinta parte. La calibración solo puede medirse en un conjunto de preguntas comparables y resueltas: no podemos calibrar hoy un pronóstico de extinción para 2100.
Los pronosticadores pueden mejorar su disciplina descomponiendo la vía en preguntas más cercanas y observables: autonomía del modelo, automatización de la investigación, fallos de salvaguardas, escala del despliegue, tasas de incidentes, y adopción de la gobernanza. Esos pronósticos resuelven antes y revelan qué supuestos fallaron.
Use las tasas base con cuidado: la humanidad no tiene una muestra histórica de transiciones a la AGI, y las analogías con armas nucleares, pandemias, ciberseguridad, accidentes industriales, o adopción de software ofrecen evidencia parcial, no una clase de referencia directa. Los modelos mecanicistas también arriesgan componer probabilidades especulativas en pasos dependientes.
La síntesis científica no asigna una sola probabilidad
El Informe Internacional de Seguridad de la IA 2026, escrito mediante un proceso de expertos internacional, separa el uso malicioso documentado y los fallos de fiabilidad de los escenarios hipotéticos de pérdida de control: afirma que los sistemas actuales carecen de esas capacidades, que las habilidades relevantes mejoran, y que los expertos discrepan sobre probabilidad y severidad (informe 2026).
Eso no es una “probabilidad de consenso”. Es un consenso de que la evidencia contiene riesgos serios e incertidumbre mayor. La evaluación científica puede identificar mecanismos, observaciones, vacíos y salvaguardas sin fingir conocer una probabilidad única de catástrofe.
Cómo presentar una estimación pública
Una entrada responsable debería verse así:
En [fecha], [persona o grupo] asignó [probabilidad o rango] a [resultado exacto] para [plazo], bajo [definición de tecnología], basándose en [razones principales]. Esto es [juicio personal, agregado de encuesta, o pronóstico estructurado], no una frecuencia observada.
Incluya la distribución cuando sea posible, reporte la tasa de respuesta y la selección de muestra en las encuestas, y distinga la media de la mediana y la probabilidad condicional de la incondicional. Preserve las revisiones para que los pronósticos se evalúen en vez de sobrescribirse en silencio.
No promedie preguntas incompatibles. Combinar la estimación de “desempoderamiento permanente” de una encuesta con la estimación de “población por debajo de 1.000” de un torneo crea un número sin significado coherente.
La toma de decisiones bajo desacuerdo
La política pública no requiere certeza: los riesgos de baja probabilidad y alta consecuencia pueden justificar investigación, monitoreo, resiliencia, y salvaguardas reversibles cuando benefician a varios escenarios. El costo de intervenir también importa: una precaución que consolida un monopolio, suprime ciencia legítima, o aumenta la inestabilidad geopolítica puede elevar otros riesgos.
Las medidas robustas incluyen evaluaciones independientes, reporte de incidentes, seguridad de los modelos, respuesta de emergencia, defensa biológica, ciberseguridad, control humano sobre el uso nuclear, y rendición de cuentas clara, útiles en un amplio rango de probabilidades.
Las distintas tolerancias al riesgo son preguntas políticas legítimas. Los expertos pueden informar la evidencia, pero no pueden decidir por sí solos cómo la sociedad equilibra la innovación, la libertad, la distribución, la seguridad y el daño futuro incierto.
Actualizar en lugar de defender una tribu
Los pronósticos deberían cambiar cuando cambia la evidencia: la autonomía sostenida en tareas largas, los avances de investigación validados generados por IA, los fallos de salvaguardas reales, la supervisión exitosa, las leyes importantes, o las mesetas persistentes de capacidad. Un pronosticador debería decir qué movería su estimación hacia arriba o hacia abajo.
La diversidad intelectual mejora la evaluación. Incluya a escépticos técnicos, investigadores de seguridad, científicos sociales, pronosticadores, expertos de dominio, comunidades afectadas, y responsables de política pública. El desacuerdo debería mapearse por supuestos, no reducirse a “optimistas” y “agoreros”.
La conclusión práctica
Las estimaciones de expertos muestran que el riesgo catastrófico de IA es tomado en serio por muchos cualificados y dudado por otros: no establecen una probabilidad medida ni una visión científica unánime. Las encuestas revelan creencias; los torneos imponen disciplina; la teoría explica las vías; las evaluaciones prueban componentes; el despliegue aporta evidencia real.
La postura pública más honesta es la incertidumbre estructurada: defina el resultado, muestre el rango, exponga los supuestos, rastree la calibración cuando sea posible, y elija salvaguardas que sigan valiendo la pena bajo varios futuros plausibles.