Empecemos por la función, no por la etiqueta
Un arma autónoma suele entenderse como un sistema que, una vez activado, puede seleccionar y atacar objetivos sin que un humano apruebe cada ataque individual. Las definiciones siguen siendo disputadas porque la autonomía no es un interruptor único. Los humanos pueden elegir el área de la misión y la clase de objetivo mientras el software navega, identifica un objeto, recomienda una acción o decide el momento exacto de disparar.
Este espectro incluye sistemas ya antiguos, como los interceptores defensivos, junto con municiones merodeadoras más nuevas, enjambres de drones, herramientas de designación de objetivos asistidas por IA y robots terrestres armados —las plataformas de ruedas, orugas y patas examinadas en la página de este manual sobre robots militares humanoides y terrestres. El riesgo depende del entorno, el objetivo, la presión de tiempo, la previsibilidad, las comunicaciones y las consecuencias de un error: un sistema acotado que intercepta municiones entrantes es distinto de uno que busca personas en una ciudad.
El apoyo de IA a la decisión también merece escrutinio incluso cuando un humano formalmente aprieta el gatillo. Si un operador recibe cientos de objetivos generados por máquina bajo presión de tiempo severa, la aprobación puede volverse un mero trámite. “Humano en el circuito” dice poco a menos que la persona tenga información, autoridad, tiempo y capacitación para cuestionar el sistema.
Qué está documentado, y qué sigue siendo disputado
Un informe de 2021 del Panel de Expertos de la ONU sobre Libia describió municiones merodeadoras Kargu-2 y otros sistemas usados contra fuerzas en retirada, programados para atacar objetivos sin conectividad de datos entre el operador y la munición (informe de la ONU sobre Libia, párr. 63). El pasaje se cita a menudo como el primer ataque de un dron autónomo contra humanos, pero el informe no establece de forma concluyente que un Kargu-2 seleccionara y matara a una persona de forma independiente: los expertos disputan el modo de operación y el resultado. Es evidencia de un despliegue en un contexto relevante, no prueba de una muerte autónoma confirmada.
Conflictos más recientes han presentado un uso extenso de drones, visión por computadora, procesamiento automatizado de inteligencia y recomendaciones de objetivos asistidas por IA. Los informes públicos a menudo carecen del acceso técnico suficiente para determinar qué modelo cumplió qué función o cuánto control conservaron los operadores. Las afirmaciones militares, las descripciones de proveedores y los relatos de prensa deberían etiquetarse como tales, en lugar de fundirse en una sola certeza.
La dirección del desarrollo es, sin embargo, clara: las fuerzas armadas invierten en sistemas que pueden operar cuando las comunicaciones están bloqueadas, procesar datos de sensores rápidamente y coordinar muchas plataformas económicas. Una mayor autonomía puede ser tácticamente atractiva porque un enlace continuo de control remoto es vulnerable. Que esto produzca una precisión más segura o una violencia más rápida y menos responsable depende del diseño y la doctrina.
Tres vías de escalada distintas
La escalada de velocidad ocurre cuando la alerta, la designación de objetivos o la respuesta automatizadas comprimen el tiempo de decisión. En una crisis, los líderes pueden temer que esperar dé ventaja a un sistema rival de velocidad de máquina, lo que crea presión para preautorizar acciones. Una lectura de sensor falsa, un error de modelo o una maniobra ambigua podrían propagarse antes de que la gente las entienda.
La escalada de escala ocurre cuando la autonomía abarata la coordinación de muchos sistemas o la generación de objetivos. Una organización humana que podría revisar cuidadosamente docenas de decisiones puede no revisar de forma significativa miles. Un mayor volumen puede aumentar los encuentros accidentales, el daño civil y las demandas de represalia, incluso si cada sistema es individualmente más preciso.
La escalada de percepción ocurre cuando los Estados malinterpretan el sistema, la doctrina o el nivel de control de un adversario. El secretismo dificulta saber si un arma es defensiva, si una acción fue intencional, o si un humano puede detenerla. Una recomendación generada por IA puede parecer objetiva para un bando y agresiva para otro.
Estos son mecanismos plausibles, no evidencia de que la IA vaya a iniciar inevitablemente una guerra. La automatización también puede mejorar la alerta, reducir la sobrecarga del operador, interceptar amenazas y apoyar la desescalada. El resultado depende de las pruebas, las comunicaciones, la doctrina y las restricciones compartidas.
Los sistemas nucleares merecen un umbral más alto
Conectar la IA al mando, control, comunicaciones o alerta temprana nucleares eleva las apuestas de forma excepcional. El aprendizaje automático podría ayudar a analizar grandes flujos de sensores, pero los errores opacos, la manipulación adversarial y el desplazamiento de distribución son peligrosos donde una falsa confianza puede ser catastrófica. El riesgo no es necesariamente una IA “lanzando armas nucleares” de forma independiente. Incluye que los líderes reciban, en minutos, asesoramiento comprimido y mal calibrado.
Mantener la responsabilidad humana sobre las decisiones de uso nuclear es, por tanto, más que simbolismo. Los sistemas deberían aportar incertidumbre y procedencia, preservar canales independientes, resistir la suplantación y dar a los líderes tiempo para verificar. Ningún resultado aislado de un modelo debería convertirse en un indicador decisivo. Los ejercicios deberían incluir el fallo de la IA y la manipulación deliberada, no solo la avería del equipo.
La responsabilidad no puede terminar en el algoritmo
El derecho internacional humanitario se aplica sin importar la tecnología usada: la distinción, la proporcionalidad y las precauciones en el ataque siguen siendo obligaciones humanas y estatales. Sin embargo, la autonomía complica la investigación, pues un resultado dañino puede involucrar datos de entrenamiento, limitaciones de sensores, los parámetros de un comandante, una actualización de software o un mal uso del operador.
Esa complejidad no es una excusa para un vacío de responsabilidad. Los Estados pueden exigir registros rastreables, revisión legal, pruebas auditables, una clara responsabilidad de mando y límites sobre los entornos donde puede operar un sistema. Los desarrolladores y comandantes deberían definir modos de fallo previsibles y condiciones de detención. Un sistema demasiado impredecible para revisarse no debería desplegarse solo porque la responsabilidad esté distribuida.
El sesgo y el contexto también importan. Un sistema de visión probado con imágenes limpias puede fallar con mal tiempo, escombros, camuflaje o poblaciones desconocidas. Los adversarios pueden engañar deliberadamente a los sensores. La precisión promediada en un conjunto de pruebas no responde si el sistema es fiable para una clase de objetivo y un entorno particulares.
El panorama internacional de políticas
Los Estados han debatido las armas autónomas letales en la Convención sobre Ciertas Armas Convencionales durante años sin acordar un instrumento vinculante. Estados Unidos lanzó en 2023 una Declaración Política no vinculante sobre el Uso Militar Responsable de la IA y la Autonomía, que compromete a los adherentes a principios como supervisión de alto nivel, pruebas rigurosas y la capacidad de desconectar sistemas con comportamiento inesperado (Departamento de Estado de EE. UU.).
La declaración puede construir normas y cooperación práctica, pero la adhesión no es aplicación forzosa. Las propuestas de la sociedad civil y de los Estados van desde prohibir sistemas que ataquen personas sin control humano significativo hasta regular funciones particulares y exigir obligaciones positivas. El desacuerdo persiste sobre definiciones, verificación y ventaja militar.
Las medidas útiles a corto plazo no tienen que esperar a un tratado integral. Los Estados pueden intercambiar información sobre incidentes, prohibir decisiones autónomas de lanzamiento nuclear, exigir revisiones de armas, fijar estándares de prueba, proteger el control humano sobre la designación de personas como objetivo y establecer canales de comunicación para accidentes relacionados con IA.
Qué exige el control humano significativo
La frase debe ser operativa: un humano necesita un objetivo comprensible y un límite claro; información fiable sobre la confianza y las limitaciones del sistema; tiempo para intervenir; un mecanismo de detención utilizable; y autoridad legal para negarse. Las interfaces deben resistir el sesgo de automatización en vez de fomentar una confirmación rápida, y los registros posteriores deben respaldar la investigación y el remedio. La página complementaria de este manual sobre robots terrestres, humanoides y las leyes de la guerra examina cómo se implementa en realidad —o no— este requisito de control humano en los robots armados ya en servicio.
El control también empieza antes de un enfrentamiento. Los líderes políticos deciden la adquisición y la doctrina; los comandantes fijan los parámetros; los ingenieros eligen los datos y las pruebas. Centrarse solo en el momento final de apretar el gatillo pasa por alto estas decisiones consecuentes.
Una conclusión mesurada
La autonomía en las armas ya es una realidad política y de campo de batalla, pero la evidencia pública sobre enfrentamientos particulares suele ser incompleta. El informe sobre el Kargu-2 no debería inflarse hasta convertirse en una muerte autónoma probada, ni la designación de objetivos supervisada debería etiquetarse erróneamente como guerra plenamente independiente.
La preocupación catastrófica descansa en vías creíbles: decisiones más rápidas, coordinación masiva, revisión humana frágil e interacción con sistemas de alerta estratégica. Ninguna hace que la escalada sea inevitable. Una autoridad humana firme, un diseño auditable, la responsabilidad legal, las normas compartidas y límites explícitos en torno a las funciones nucleares y de designación de personas pueden reducir el riesgo mientras la evidencia sigue desarrollándose.