Инфраструктура — это карта управления, а не список целей
Передовой ИИ зависит от продвинутых чипов, оборудования для производства полупроводников, крупных дата-центров, облачных сервисов, электричества, сетевой инфраструктуры и обученного персонала. Эта концентрация даёт правительствам, операторам, клиентам и разработчикам законные способы вводить требования безопасности. Она не оправдывает незаконное проникновение, саботаж, насилие или вмешательство в работу энергоснабжения и связи. Физические атаки поставили бы под угрозу работников и сообщества, нарушили бы не связанные с этим услуги, уничтожили бы доказательства и, вероятно, снизили бы способность общества справляться с инцидентом.
Полезный вопрос — институциональный: какой уполномоченный субъект может ограничить рискованную деятельность, по какому правилу, на основании каких доказательств, и как можно безопасно обратить это решение вспять? Ответ меняется на протяжении жизненного цикла ИИ.
Четыре поверхности контроля, которые не стоит путать
Контроль обучения регулирует создание модели или её существенное улучшение. Передовой цикл обучения может использовать крупный, географически идентифицируемый кластер в течение недель или месяцев. Соответствующие меры включают должную осмотрительность в отношении клиента, стандарты безопасности, учёт вычислительных мощностей, оценки перед развёртыванием и контрактные или регуляторные условия для исключительно крупных циклов обучения. Контроль обучения действует до того, как модель обретёт итоговую форму; остановка цикла обучения не отзывает уже полученные ранее веса.
Контроль весов модели защищает файлы с усвоенными параметрами. Веса можно копировать, красть, дообучать и запускать в другом месте. Меры безопасности могут включать доступ, подкреплённый аппаратным обеспечением, разделение обязанностей, шифрование, мониторинг, процедуры на случай внутренних рисков и реагирование на инциденты. Как только способные веса широко опубликованы, централизованный отзыв может стать невозможным. Открытая публикация может поддерживать исследования и конкуренцию, поэтому ограничения должны основываться на доказанном риске и сочетаться с независимым доступом там, где это осуществимо.
Контроль развёртывания регулирует размещённую модель или приложение. Оператор может отозвать учётные данные, отключить инструмент, откатить версию модели, ограничить скорость или географию, поместить пользователя в уровень с более высокой степенью гарантий и отслеживать злоупотребления. Эти меры контроля сравнительно точны и обратимы. Однако они не срабатывают, если нижестоящие копии, закэшированные выводы или независимо размещённые веса остаются доступными.
Контроль инференса регулирует вычисления, используемые, когда система выдаёт результаты или совершает действия. Инференс может происходить в центральном облаке, корпоративной среде, на телефоне или в распределённом кластере. Провайдер может ограничить собственный размещённый инференс, но не может автоматически остановить локальные копии. Вычислительные затраты во время инференса, полномочия инструментов, доступ к данным и объём действий могут иметь для риска развёрнутой системы большее значение, чем изначальная стоимость обучения.
Называть все четыре явления одним «узким местом вычислений» — значит скрывать эти различия. Законное вмешательство должно называть конкретную релевантную поверхность и ожидаемый эффект.
Операционный контроль внутри организации
Организациям нужно нечто большее, чем эффектный «рубильник». Им нужна отработанная процедура перехода в безопасное состояние. Резкое прекращение работы системы может повредить данные, прервать клинические или промышленные процессы, оставить пользователей без обслуживания или запустить небезопасные значения по умолчанию. Правильным ответом может быть отзыв полномочий, снижение трафика, изоляция, откат или передача под ручное управление, а не отключение всего разом.
Производственный план должен включать:
- Инвентаризацию: определить каждую модель, версию, инструмент, учётные данные, набор данных, поставщика и нижестоящую зависимость.
- Полномочия: назвать людей, которые могут ограничить работу сервиса, и определить, когда они могут действовать, не дожидаясь обычного одобрения.
- Минимальные привилегии: предоставлять системе только те данные и действия, что требуются для её задачи; использовать учётные данные с ограниченным сроком действия там, где это возможно.
- Мониторинг: вести журналы версий модели, промптов или безопасных сводок событий, вызовов инструментов, одобрений, результатов и изменений конфигурации, соблюдая приватность.
- Локализацию: обеспечивать быструю изоляцию от сетей, инструментов, движения денег, развёртывания кода или физических средств управления.
- Откат: поддерживать заведомо исправную версию, совместимый формат данных и проверенный процесс восстановления.
- Человеческий резерв: сохранять обученный персонал, инструкции, доступ и способность предоставлять сниженный, но жизненно важный уровень услуги.
- Тренировки: проводить штабные и технические учения, фиксировать сбои и исправлять их.
Система управления рисками ИИ NIST требует управления на протяжении всего жизненного цикла, подотчётности, непрерывного мониторинга, процессов на случай сбоев третьих сторон и безопасного вывода из эксплуатации (основа NIST AI RMF). Это добровольное руководство, а не сертификация того, что конкретная организация реализовала эти практики.
Отзыв полномочий часто оказывается самым быстрым тормозом
Система ИИ становится более значимой по последствиям, когда она подключена к электронной почте, производственному коду, финансовым счетам, лабораторным инструментам, системам идентификации или операционным технологиям. Отзыв этих полномочий может снизить вред, одновременно сохраняя модель для расследования. Доступ должен быть сегментирован так, чтобы одно решение могло отключить рискованную возможность, не обрушивая не связанные с этим услуги.
Учётные данные не должны быть постоянно встроены в промпты или файлы модели. Операторам следует использовать ограниченные по сфере действия служебные идентификаторы, короткий срок действия, контрольные точки одобрения для действий с высоким воздействием и независимые средства контроля, которые модель не может изменить. Аварийный доступ («break-glass») нуждается в собственном журналировании и проверке. Система не должна иметь возможности сама себе предоставлять более широкие полномочия.
Для внешнего поставщика контракты должны гарантировать своевременную приостановку, сохранение доказательств, экспорт данных и поддержку при миграции. В противном случае клиент может обнаружить во время инцидента, что не может проверить журналы или откатить автоматическое обновление.
Человеческий резерв — это тоже инфраструктура
Жизненно важным услугам нужен работоспособный сниженный режим. Это не значит, что каждый процесс может мгновенно вернуться к бумаге. Это значит, что операторы заранее решают, какие функции должны продолжаться, при какой минимальной мощности, с каким персоналом и средствами связи. У энергетики, водоснабжения, здравоохранения, финансов, транспорта и государственных пособий разные ограничения безопасности.
Ручная процедура, которую ни один сотрудник не отрабатывал, не является резервом. Организациям следует обучать персонал, сохранять необходимые интерфейсы, не зависящие от ИИ, тестировать восстановление из офлайн-резервных копий и измерять, как долго может работать сниженный режим. Поставщикам и государственным органам следует координировать взаимозависимости: план больницы может дать сбой, если её провайдер идентификации, облачный сервис и сеть аптек — все — исходят из того, что остальные останутся в сети.
Агентство по кибербезопасности и безопасности инфраструктуры (CISA) рекомендует планирование реагирования на инциденты, понимание активов, сегментацию и практики восстановления для критической инфраструктуры (цели результативности кибербезопасности CISA). Специфичное для ИИ реагирование должно входить в уже действующие программы безопасности и кибербезопасности, а не существовать отдельно от них.
Рычаг влияния правительства и клиентов
Правительства могут устанавливать условия для госзакупок, лицензий, грантов, доступа к государственным ресурсам и регулируемым критически важным услугам. Облачные провайдеры и провайдеры дата-центров могут проводить должную осмотрительность в соответствии с законом. Коммунальные предприятия и местные власти могут применять обычные правила надёжности, охраны окружающей среды, землепользования и планирования на случай чрезвычайных ситуаций, не превращая инфраструктурную политику в скрытый запрет на весь ИИ целиком.
У клиентов есть рычаг влияния через контракты. Перед покупкой стоит требовать документацию системы, результаты оценки, релевантные для конкретного случая применения, уведомление о безопасности, контроль версий, права на аудит, сотрудничество при инцидентах, переносимость данных и план выхода из соглашения. Клиенту следует знать, может ли поставщик молча заменить модель на новую и остаётся ли сервис доступным во время отката.
Эти меры нуждаются в надлежащей правовой процедуре. У ограничения должны быть определённое правовое основание, стандарт доказательности, подотчётное лицо, принимающее решение, срок действия и путь пересмотра. Чрезвычайные полномочия могут быть необходимы, но бессрочный тайный контроль провоцирует злоупотребления.
Концентрация создаёт и рычаг влияния, и хрупкость
Концентрированные цепочки поставок чипов и облачных услуг могут делать надзор практически осуществимым, но также создают единые точки отказа, рыночную власть и геополитическую уязвимость. Децентрализация может улучшать устойчивость и конкуренцию, одновременно затрудняя отзыв продукта и обеспечение согласованных защитных мер. Ни концентрация, ни открытость сами по себе не являются безопасными.
Политика должна различать дефицит, отражающий реальные инженерные ограничения, и дефицит, созданный эксклюзивными контрактами или привязкой к поставщику. Совместимость, планирование на несколько облаков, общие форматы отчётности об инцидентах и переносимые журналы могут снижать зависимость, не притворяясь, что любую рабочую нагрузку можно перенести мгновенно.
Практический вывод
Общество сохраняет значимый рычаг влияния на ИИ через закон, госзакупки, корпоративные полномочия, технический контроль доступа и устойчивый дизайн услуг. Правильное действие редко представляет собой театральное отключение. Это конкретное, санкционированное вмешательство на уровне обучения, весов, развёртывания или инференса — в сочетании с локализацией, сохранением доказательств, откатом и непрерывностью обслуживания.
Инфраструктура становится защитной тогда, когда люди знают, кто вправе действовать, и отрепетировали, что произойдёт дальше. Законный контроль сильнее всего тогда, когда он достаточно точен, чтобы снижать риск, не создавая при этом вторую чрезвычайную ситуацию.