La autoridad formal puede sobrevivir después de que se pierda el control práctico
Un parlamento puede seguir siendo electo mientras depende de sistemas que los legisladores no pueden evaluar. Un ministro puede seguir siendo legalmente responsable mientras recibe recomendaciones que ningún funcionario público puede reproducir. Un ciudadano puede conservar un derecho formal de apelación mientras enfrenta una decisión automatizada cuyos datos, modelo, contrato con el proveedor y razonamiento son inaccesibles. Nada de ese cuadro requiere un golpe de Estado o un gobernante-máquina consciente. La autoridad se vuelve ceremonial porque la capacidad práctica de elegir de otra manera se ha erosionado.
Esto es un riesgo de gobernanza antes de ser un riesgo de AGI. Los gobiernos ya usan algoritmos en beneficios sociales, fiscalidad, vigilancia policial, migración, educación, salud y administración pública. Sistemas más capaces podrían mejorar la coherencia, traducir servicios, detectar fraude, resumir evidencia y hacer accesible la experiencia a agencias pequeñas. También podrían profundizar la dependencia y hacer más difícil impugnar las decisiones públicas.
Los instrumentos internacionales existentes ofrecen un vocabulario inicial, pero su fuerza legal difiere. El Convenio Marco del Consejo de Europa sobre Inteligencia Artificial está diseñado como un tratado vinculante para las partes y centra los derechos humanos, la democracia y el Estado de derecho. Su página de estado oficial no listaba fecha de entrada en vigor al 11 de septiembre de 2026, así que la firma no debe describirse como si un Estado ya estuviera legalmente obligado (estado del CETS n.º 225). La Recomendación de la UNESCO sobre la Ética de la Inteligencia Artificial es una recomendación no vinculante que aborda la supervisión, la transparencia, la rendición de cuentas y los efectos ambientales y sociales. Ninguno de los dos instrumentos resuelve la gobernanza post-AGI. Ambos muestran que la capacidad y la eficiencia no son los únicos valores públicos en juego.
La agencia significa poder cambiar el resultado
La “supervisión humana” suele tratarse como un organigrama de personal: colocar a una persona en algún punto después del modelo, y la decisión ya es humana. La supervisión real es un conjunto de capacidades.
El revisor necesita tiempo e información suficientes para entender el caso. Necesita formación para reconocer las limitaciones del modelo. Necesita autoridad legal y organizacional para rechazar la recomendación. Una decisión distinta no debe desencadenar un castigo solo por apartarse de una puntuación automatizada. La institución debe conservar registros que respalden la auditoría y la apelación.
Cuando esas condiciones están ausentes, un clic humano es un ritual. La alta automatización puede incluso empeorar la revisión: a medida que las personas ven menos casos inusuales y practican menos el juicio independiente, su pericia se degrada. Cuando el sistema finalmente falla fuera de su distribución habitual, el supervisor nominal puede estar en la peor posición para intervenir.
La prueba práctica es contrafactual: ¿puede una persona calificada llegar a una decisión distinta, explicar por qué, y hacer que esa decisión prevalezca?
Cuatro dependencias que pueden vaciar de contenido al gobierno
Dependencia del proveedor
Una agencia pública puede carecer del personal, la capacidad de cómputo, los derechos sobre los datos o las condiciones contractuales para operar sin un proveedor determinado. Cambiar de proveedor puede parecer posible en los documentos de contratación, pero requeriría reentrenar sistemas, migrar datos, reescribir flujos de trabajo y aceptar una larga interrupción del servicio. Eso da a un proveedor privado influencia incluso sin poder político explícito.
Los contratos deberían por tanto abordar la portabilidad, el acceso para auditoría, la divulgación de incidentes, los subcontratistas, la retención de datos, la seguridad, la continuidad del servicio y la asistencia para la salida antes de que un sistema se vuelva imprescindible. La oferta inicial más barata puede resultar costosa si compra una dependencia permanente.
Dependencia epistémica
Una institución puede perder la capacidad de saber si un resultado es bueno. Si la IA realiza la mayor parte del análisis, la redacción, la simulación y la verificación, la organización humana puede conservar la firma final mientras pierde modelos independientes del mundo.
La redundancia es necesaria. Las agencias necesitan pericia interna, análisis competidores para preguntas de alta consecuencia, registros de incertidumbre y canales protegidos para la disidencia. Algunas funciones deberían realizarse periódicamente sin el sistema principal, no porque el trabajo manual sea siempre superior, sino porque un respaldo no probado no es un respaldo.
Dependencia de infraestructura
Los servicios avanzados dependen de la electricidad, las redes, los sistemas de identidad, la infraestructura de nube y los modelos previos en la cadena. Un corte o una disputa comercial puede propagarse a través de muchas funciones públicas a la vez. Concentrar varias agencias en un solo modelo o nube puede crear un fallo correlacionado oculto tras contratos separados.
Los mapas de dependencia deberían identificar proveedores compartidos y puntos únicos de fallo en todo el gobierno, no solo dentro de un departamento. Los ejercicios de recuperación deberían probar la operación degradada, la restauración de datos, la priorización manual y la comunicación pública.
Dependencia de legitimidad
Las personas aceptan decisiones difíciles en parte porque entienden quién tiene autoridad, qué reglas se aplican y cómo impugnar errores. Un sistema estadísticamente preciso pero inescrutable puede aun así socavar la legitimidad si los ciudadanos lo experimentan como arbitrario.
La explicación por sí sola es insuficiente. Una explicación generada puede sonar plausible sin revelar la base real de un resultado. La impugnabilidad significativa requiere la evidencia relevante, la regla aplicable, la institución responsable y el remedio disponible. También requiere una oficina humana capaz de cambiar la decisión, no solo de explicar por qué el sistema la produjo.
La democracia necesita capacidad técnica pública
Las legislaturas, los tribunales, los reguladores, los auditores, los sindicatos y la sociedad civil necesitan pericia en evaluación, seguridad, contratación pública, gobernanza de datos y evidencia sobre modelos. Los cuerpos de personal profesional, los laboratorios independientes, los inspectores generales, los organismos de normalización y los procedimientos adversariales pueden proveer esa profundidad.
El NIST AI Risk Management Framework ofrece una estructura voluntaria para gobernar, mapear, medir y gestionar los riesgos de la IA. Su valor es procedimental: las organizaciones deben identificar el contexto y a las personas afectadas en lugar de tratar la precisión en pruebas de referencia como toda la evaluación de riesgo. Una institución post-AGI necesitaría versiones más sólidas y exigibles de esos hábitos, junto con autorización democrática.
Las elecciones son necesarias pero no suficientes
La IA transformadora podría afectar a la democracia a través de la persuasión, los medios sintéticos, la vigilancia, el análisis de políticas, las operaciones de campaña y el control de la infraestructura de información. Centrarse solo en las imágenes falsas pasa por alto la cuestión más amplia: ¿quién elige los objetivos de los sistemas que median la atención política, y qué datos se usan para optimizar la influencia?
La divulgación puede ayudar, pero etiquetar un contenido como “generado por IA” no establece si es veraz o manipulador. La procedencia puede mostrar partes del historial de un archivo sin demostrar sus afirmaciones. La resiliencia política también necesita protección de la privacidad, periodismo independiente, transparencia de campañas, rendición de cuentas de las plataformas, administración electoral segura y ciudadanos capaces de verificar información importante a través de canales confiables.
El uso gubernamental merece una moderación especial. Un Estado con potentes sistemas de predicción y persuasión podría personalizar la comunicación pública de manera útil — o hacer que la disidencia sea más fácil de identificar y el comportamiento más fácil de moldear. Las prohibiciones legales, las órdenes judiciales, la minimización, los registros de auditoría y la supervisión independiente importan más a medida que aumenta la capacidad analítica, no menos.
Preservar fuentes plurales de poder
Ninguna empresa individual debería ser la única fuente de análisis público, identidad, comunicación e infraestructura administrativa. Ningún gobierno central debería ser la única institución capaz de usar capacidades avanzadas. Ningún sistema universal de puntuación debería determinar el acceso al empleo, el crédito, los beneficios, la expresión y la movilidad.
El pluralismo crea fricción, y la fricción a veces protege. Los sistemas federales, los gobiernos locales, los tribunales, los reguladores independientes, las universidades, los sindicatos, las asociaciones profesionales, las comunidades técnicas abiertas y la sociedad civil pueden exponer fallos que un sistema central único suprimiría o pasaría por alto. Las instituciones en competencia también dan a las personas un lugar donde apelar y organizarse.
El pluralismo no es lo mismo que la proliferación descontrolada. Las capacidades de alto riesgo pueden requerir restricciones de acceso mientras la toma de decisiones sigue siendo institucionalmente diversa. El problema de diseño es evitar tanto el monopolio privado como la centralización estatal total.
Decisiones que deben seguir siendo políticamente impugnables
La IA puede informar las decisiones públicas sin definir el objetivo público. Preguntas como cómo distribuir el ingreso, qué riesgos son aceptables, qué derechos tienen prioridad, si usar la fuerza, qué deben aprender los niños y cuánta vigilancia es permisible no son problemas de optimización con funciones objetivo neutrales. Son decisiones políticas entre valores y personas.
Delegar la implementación también puede reformular el objetivo. Un sistema de beneficios optimizado para reducir el tiempo de procesamiento puede disuadir a los solicitantes con casos complejos. Un sistema policial optimizado para incidentes previstos puede amplificar patrones de la aplicación histórica de la ley. Un sistema de salud optimizado según el costo medido puede infravalorar resultados difíciles de registrar. El control democrático requiere revisar qué recompensa realmente un sistema, no solo aprobar su propósito declarado.
Propuesta normativa: una garantía mínima de agencia
Para usos públicos consecuentes, las personas deberían poder identificar:
- que un sistema de IA influyó materialmente en la decisión;
- la institución y el funcionario legalmente responsables;
- la norma que rige y la evidencia utilizada;
- las limitaciones importantes, la incertidumbre y la procedencia de los datos;
- una apelación humana oportuna con poder para cambiar el resultado;
- una vía accesible hacia un tribunal, regulador, defensor del pueblo u órgano electo;
- una vía no digital para quienes no puedan usar el sistema de forma segura.
Estas garantías no eliminarán los errores ni el desacuerdo político. Preservan la diferencia entre administración y dominación: la persona afectada sigue siendo participante en un sistema de razones y remedios, no meramente un objeto que se clasifica.
La cuestión constitucional post-AGI
La cuestión más profunda no es si una IA recibe un título formal de gobierno. Es si los humanos y sus instituciones conservan la competencia, la independencia y la capacidad de influencia para revisar sistemas consecuentes. Si retirar un solo modelo detuviera a la vez la salud, las finanzas, las comunicaciones y el gobierno, la soberanía legal ofrecería poco consuelo práctico.
La supervivencia democrática tras una IA transformadora depende, por tanto, de una capacidad construida antes de que la dependencia se vuelva total: pericia pública, infraestructura interoperable, derechos exigibles, instituciones plurales, evidencia independiente, apelaciones significativas y formas probadas de operar cuando las recomendaciones automatizadas no están disponibles o son rechazadas. Esas no son medidas antitecnológicas. Son la maquinaria que permite a una sociedad usar tecnología poderosa sin renunciar a la capacidad de elegir sus propios fines.