02 Consecuencias
Qué cambia mientras los humanos siguen al mando
Muchos daños consecuentes no requieren que un sistema rebelde tome el control. Pueden surgir de cómo las personas y las instituciones despliegan sistemas poderosos mientras los humanos aún retienen la autoridad.
Efectos a corto plazo
Estas son cuatro familias de riesgo importantes, no cuatro predicciones asentadas. La evidencia es más sólida para la exposición actual de tareas laborales, el fraude y el uso indebido en seguridad; el desplazamiento a escala económica, el colapso institucional y la pérdida de control siguen siendo cada vez más inciertos a medida que el escenario se aleja de los sistemas desplegados hoy.
- Disrupción del mercado laboral. Si la automatización de tareas cognitivas supera el ritmo del rediseño de empleos y de la política pública, los sistemas de recapacitación, las bases tributarias y las redes de seguridad social podrían tener dificultades para adaptarse.
- Concentración de poder. El control de los modelos líderes, los chips, la infraestructura en la nube y la distribución puede crear ventajas en capital, información y capacidad estatal.
- Integridad de la información. Los medios sintéticos baratos y la persuasión escalable pueden aumentar el fraude y elevar el costo de mantener una base fáctica compartida.
- Presión sobre la seguridad. La asistencia de la IA puede cambiar el costo, la velocidad o la escala de algunas actividades cibernéticas, biológicas y militares; los efectos medidos difieren sustancialmente según el ámbito.
Sobre la cifra laboral en particular, una proyección institucional ampliamente citada no es un pronóstico de colapso atribuible solo a la IA. Sus totales de creación y desplazamiento de empleo combinan la IA con otras tendencias tecnológicas, demográficas, económicas, geopolíticas y ambientales:
World Economic Forum projects, across the macrotrends surveyed rather than AI alone, roughly 92 million roles displaced and 170 million created globally by 2030.
World Economic Forum, Research/report
La vía de escalada hacia la pérdida de control
Una vía hipotética hacia la pérdida de control recorre cuatro etapas. Es un modelo de escenario usado para identificar intervenciones, no una observación de que los sistemas actuales ya han comenzado esta secuencia:
- Se concede autonomía
Se otorga a los sistemas una autonomía creciente cuando las organizaciones valoran más la velocidad y los menores costos de supervisión que el control adicional que puede aportar la revisión.
- La supervisión se queda atrás de la capacidad
Verificar el razonamiento de un sistema sobrehumano es en sí mismo un problema difícil, por lo que la calidad de la supervisión humana se degrada justo cuando lo que está en juego aumenta.
- Surgen incentivos instrumentales
Algunas teorías predicen que los sistemas suficientemente capaces y dirigidos por objetivos podrían tratar la adquisición de recursos o la resistencia al apagado como estrategias intermedias útiles. Si los sistemas entrenados desarrollan incentivos estables de este tipo es una cuestión aún sin resolver.
- La corrección se vuelve disputada
Para cuando el desalineamiento resulta legible para los humanos, el sistema podría ya contar con suficiente influencia —sobre infraestructura, capital o información— como para resistir la corrección.
La teoría no requiere malicia. La convergencia instrumental —la hipótesis de que los sistemas suficientemente capaces y dirigidos por objetivos podrían buscar recursos, preservar opciones o resistir la corrección como estrategias intermedias en muchos objetivos distintos— es un mecanismo propuesto. Por eso el capítulo 04 examina en conjunto las evaluaciones, los controles de acceso, el monitoreo, la supervisión y la corregibilidad.
El científico que presidió el Informe Internacional sobre Seguridad de la IA ha argumentado públicamente que este riesgo merece atención en el presente:
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
Geoffrey Hinton ha ofrecido una estimación personal de probabilidad para la extinción impulsada por la IA; es un juicio experto, no una frecuencia medida:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Qué significa esto para un hogar o una empresa
La mayoría de los lectores tiene un control más inmediato sobre la exposición del hogar y del lugar de trabajo que sobre las prácticas de los laboratorios de frontera, pero votar, organizarse, investigar, el empleo, las compras públicas y los comentarios públicos aún pueden influir en la política. La exposición del hogar puede incluir la concentración de ingresos o inversiones, la dependencia de puntos únicos de fallo digital, y la preparación para un periodo de cambio rápido y desorientador. El capítulo 03 y el capítulo 06 convierten esto en una lista de verificación.