Начнём с функции, а не с ярлыка
Под автономным оружием обычно понимают систему, которая после активации способна выбирать цели и поражать их без одобрения человеком каждого отдельного удара. Определения остаются спорными, потому что автономность — это не единый переключатель. Люди могут выбирать зону выполнения задачи и класс целей, в то время как программное обеспечение прокладывает маршрут, распознаёт объект, рекомендует действие или определяет точный момент открытия огня.
Этот спектр включает давно существующие системы, такие как оборонительные перехватчики, наряду с более новыми барражирующими боеприпасами, роями дронов, инструментами целеуказания с помощью ИИ и вооружёнными наземными роботами — колёсными, гусеничными и шагающими платформами, рассмотренными на странице этого руководства военные человекоподобные и наземные роботы. Риск зависит от среды, цели, давления времени, предсказуемости, связи и последствий ошибки. Узко ограниченная система, перехватывающая летящие боеприпасы, — это не то же самое, что система, разыскивающая людей по всему городу.
Поддержка решений с помощью ИИ также заслуживает внимания, даже когда формально нажимает на спусковой крючок человек. Если оператор получает сотни машинно-сгенерированных целей под сильным давлением времени, одобрение может превратиться в формальность. Формулировка «человек в контуре» мало что значит, если у этого человека нет информации, полномочий, времени и подготовки, чтобы оспорить решение системы.
Что документально подтверждено, а что остаётся спорным
Отчёт Группы экспертов ООН по Ливии за 2021 год описывал барражирующие боеприпасы Kargu-2 и другие системы, применённые против отступающих сил, отмечая, что системы были запрограммированы атаковать цели без необходимости передачи данных между оператором и боеприпасом (отчёт ООН по Ливии, пункт 63). Этот фрагмент часто называют первой автономной атакой дрона на людей. Однако публичный отчёт окончательно не устанавливает, что Kargu-2 самостоятельно выбрал цель и убил человека. Эксперты расходятся во мнениях относительно режима работы и исхода. Это доказательство применения системы в релевантном контексте, а не доказательство подтверждённого автономного убийства.
Более поздние конфликты характеризовались широким применением дронов, компьютерного зрения, автоматизированной обработки разведданных и рекомендаций по целям с помощью ИИ. Публичные отчёты часто не дают достаточного технического доступа, чтобы определить, какая модель выполняла какую функцию и сколько контроля сохраняли операторы. Военные заявления, описания поставщиков и материалы прессы следует маркировать как таковые, а не сводить в единую достоверность.
Тем не менее направление развития очевидно: вооружённые силы вкладываются в системы, способные работать при подавлении связи, быстро обрабатывать данные датчиков и координировать множество недорогих платформ. Более высокая автономность может быть тактически привлекательной, поскольку постоянный канал дистанционного управления уязвим. Приведёт ли это к более безопасной точности или к более быстрому и менее подотчётному насилию, зависит от конструкции и доктрины.
Три разных пути эскалации
Эскалация скорости возникает, когда автоматизированное предупреждение, целеуказание или реагирование сжимает время принятия решения. В кризисной ситуации руководители могут опасаться, что ожидание даст преимущество системе противника, работающей на машинной скорости. Это способно создавать давление в пользу заблаговременной санкции на действия. Ложное показание датчика, ошибка модели или неоднозначный манёвр могут распространиться прежде, чем люди успеют их осмыслить.
Эскалация масштаба возникает, когда автономность удешевляет координацию множества систем или генерацию целей. Человеческая организация, способная внимательно рассмотреть десятки решений, может быть не в состоянии содержательно рассмотреть тысячи. Больший объём способен увеличивать число случайных столкновений, вред гражданским лицам и требования возмездия, даже если каждая отдельная система точнее.
Эскалация восприятия возникает, когда государства неверно истолковывают систему, доктрину или уровень контроля противника. Секретность затрудняет понимание того, является ли оружие оборонительным, было ли действие намеренным или способен ли человек его остановить. Рекомендация, сгенерированная ИИ, может казаться объективной одной стороне и агрессивной — другой.
Это правдоподобные механизмы, а не доказательство того, что ИИ неизбежно развяжет войну. Автоматизация также способна улучшать предупреждение, снижать перегрузку оператора, перехватывать угрозы и поддерживать деэскалацию. Итог зависит от тестирования, связи, доктрины и общих ограничений.
Ядерные системы требуют более высокой планки
Подключение ИИ к ядерному командованию, управлению, связи или раннему предупреждению поднимает ставки исключительно высоко. Машинное обучение могло бы помочь анализировать крупные потоки данных с датчиков, но непрозрачные ошибки, состязательные манипуляции и смещение распределения данных опасны там, где ложная уверенность может обернуться катастрофой. Риск не обязательно состоит в том, что ИИ самостоятельно «запустит ядерное оружие». Он включает и то, что руководители получат сжатый, плохо откалиброванный совет за считаные минуты.
Поэтому сохранение человеческой ответственности за решения о применении ядерного оружия — больше, чем символизм. Системы должны сообщать степень неопределённости и происхождение данных, сохранять независимые каналы, противостоять подмене данных и давать руководителям время на проверку. Ни один отдельный результат работы модели не должен становиться решающим индикатором. Учения должны включать сбой ИИ и намеренную манипуляцию, а не только поломку оборудования.
Подотчётность не может заканчиваться на алгоритме
Международное гуманитарное право применяется независимо от используемой технологии: различение, соразмерность и меры предосторожности при атаке остаются обязанностями людей и государств. Тем не менее автономность усложняет расследование: вредоносный исход может быть связан с обучающими данными, ограничениями датчиков, параметрами, заданными командиром, обновлением программного обеспечения или неправильным использованием оператором.
Эта сложность — не оправдание для пробела в подотчётности. Государства могут требовать отслеживаемые журналы, юридическую экспертизу, поддающееся аудиту тестирование, чёткую ответственность командования и ограничения на среды, в которых система может действовать. Разработчики и командиры должны определять предвидимые режимы сбоя и условия остановки. Систему, слишком непредсказуемую для проверки, не следует развёртывать лишь потому, что ответственность распределена между многими сторонами.
Предвзятость и контекст также важны. Система компьютерного зрения, протестированная на чистых изображениях, может давать сбои в непогоду, среди обломков, при камуфляже или с незнакомыми группами населения. Противники могут намеренно вводить датчики в заблуждение. Точность, усреднённая по тестовому набору, не отвечает на вопрос, надёжна ли система для конкретного класса целей и конкретной среды.
Международный ландшафт политики
Государства годами обсуждали летальное автономное оружие в рамках Конвенции о конкретных видах обычного оружия, так и не согласовав обязывающий инструмент. США в 2023 году выступили с необязывающей Политической декларацией об ответственном военном использовании искусственного интеллекта и автономности, обязывающей присоединившиеся страны следовать таким принципам, как надзор высокого уровня, строгое тестирование и способность отключать системы, ведущие себя непредвиденным образом (декларация Государственного департамента США).
Декларация способна выстраивать нормы и практическое сотрудничество, но присоединение к ней — не то же самое, что принудительное исполнение. Предложения гражданского общества и государств варьируются от запрета систем, наносящих удары по людям без содержательного человеческого контроля, до регулирования отдельных функций и введения позитивных обязательств. Разногласия сохраняются по вопросам определений, верификации и военного преимущества.
Полезные ближайшие меры не обязаны дожидаться всеобъемлющего договора. Государства могут обмениваться информацией об инцидентах, запрещать автономные решения о ядерном пуске, требовать проверки оружия, устанавливать стандарты тестирования, защищать человеческий контроль над целеуказанием по людям и создавать каналы связи для инцидентов, связанных с ИИ.
Что требуется для содержательного человеческого контроля
Эта формулировка должна быть операциональной. Человеку нужны понятная цель и чёткая граница целеуказания; надёжная информация об уверенности и ограничениях системы; достаточно времени для вмешательства; работающий механизм остановки; и юридические полномочия отказаться от действия. Интерфейсы должны противостоять предвзятости в пользу автоматизации, а не поощрять быстрое подтверждение. После происшествия записи должны обеспечивать расследование и правовую защиту. Смежная страница этого руководства о наземных роботах, человекоподобных машинах и законах войны рассматривает, как это требование человеческого контроля реализуется на практике — или не реализуется — в уже развёрнутых вооружённых наземных роботах.
Контроль также начинается ещё до столкновения. Политические руководители принимают решения о закупках и доктрине; командиры устанавливают параметры; инженеры выбирают данные и тесты. Сосредоточение внимания только на финальном нажатии на спусковой крючок упускает из виду эти значимые решения.
Взвешенный вывод
Автономность в оружии уже стала реальностью политики и поля боя, но публичные доказательства о конкретных столкновениях часто неполны. Отчёт о Kargu-2 не следует раздувать до доказанного автономного убийства, а контролируемое человеком целеуказание не следует ошибочно называть полностью независимой войной.
Катастрофическая обеспокоенность опирается на правдоподобные пути: более быстрые решения, массовую координацию, хрупкий человеческий контроль и взаимодействие со стратегическими системами предупреждения. Ничто из этого не делает эскалацию неизбежной. Твёрдая человеческая власть, поддающаяся аудиту конструкция, юридическая подотчётность, общие нормы и явные ограничения вокруг ядерных функций и функций целеуказания по людям способны снижать риск, пока доказательная база продолжает развиваться.