Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI Брифинг о выживании человечества
RU

Исследования ИИ, ускоряемые ИИ, и петли обратной связи

Чем ИИ уже помогает в программировании и исследовании моделей и что должно быть истинным для самоусиливающегося взрыва возможностей — а не просто автодополнения.

Written by
Dwight Ringdahl
Status
Источники проверены
Revised
Sources
8 cited
Reading
7 min

Помощь, автоматизация и рекурсивное совершенствование — разные утверждения

Системы ИИ уже помогают в работе над программным обеспечением и машинным обучением. Они генерируют код, ищут в литературе, анализируют эксперименты, предлагают тесты и помогают отлаживать. Автоматизация части исследований ИИ может сократить циклы разработки. Ничто из этого само по себе не доказывает рекурсивное самосовершенствование: петлю, в которой система ИИ существенно улучшает процесс, создающий её преемников, эти преемники улучшают её ещё сильнее, а рост возможностей ускоряется за пределы человеческого контроля.

Чёткий анализ разделяет три уровня:

  1. Помощь в исследованиях: люди используют инструменты ИИ, сохраняя за собой планирование, суждение и работу по интеграции.
  2. Автоматизация рабочих процессов: агент выполняет ограниченную исследовательскую или инженерную задачу при ограниченном вмешательстве человека.
  3. Сквозная автоматизация НИОКР в области ИИ: системы выполняют большую часть работы, необходимой для получения важных алгоритмических достижений, и встраивают их в улучшенные системы.

Только третий уровень создаёт самый сильный аргумент в пользу петли обратной связи, и даже тогда аппаратное обеспечение, эксперименты, организации и решения о развёртывании могут ограничивать скорость.

Наблюдаемые возможности в программировании

Программирование — один из самых сильных нынешних доменов. Публичные агенты умеют исправлять отдельные проблемы в репозиториях и генерировать работающие программы. Однако эталонные тесты часто предоставляют чистую задачу, тесты, инструменты и автоматически оцениваемую конечную точку. Зрелая разработка предполагает недокументированный контекст, координацию, суждение о продукте, безопасность и сопровождение.

Рандомизированное исследование METR с участием 16 опытных разработчиков open-source, выполнивших 246 задач в хорошо знакомых им репозиториях, показало, что инструменты ИИ начала 2025 года увеличили время выполнения на 19 процентов, хотя сами разработчики считали, что инструменты делают их быстрее (исследование METR о продуктивности разработчиков). Это узкий, устаревший результат — не доказательство того, что более поздние инструменты или другие разработчики медленнее. Он показывает, почему выигрыш в эталонных тестах нельзя напрямую конвертировать в экономическое ускорение.

METR начал более масштабное последующее исследование и изменил его дизайн в 2026 году по мере развития инструментов и практики их использования (обновление METR о приросте продуктивности). Реальная продуктивность зависит от нагрузки на проверку, отбора задач, знакомства разработчика с кодом, интерфейсов агента и ошибок, которые проходят тесты.

Данные эталонных тестов исследований в области ИИ

RE-Bench помещает агентов и экспертов-людей в семь открытых сред инженерных исследований в машинном обучении. В исходном исследовании лучшие агенты набрали примерно вчетверо больше баллов, чем люди, при бюджете времени в два часа. Люди улучшали результат сильнее с дополнительным временем, немного превзошли агентов на восьми часах и добились примерно вдвое большего результата, чем агенты, на протяжении 32 часов (статья о RE-Bench).

Этот результат показывает сильное экспериментирование на коротком горизонте: агенты умеют быстро генерировать и тестировать множество вариантов решений и иногда выдают отличную оптимизационную работу. Он также показывает ограничение: агенты застревают, не могут переориентироваться или выигрывают меньше от более длительного бюджета времени. Семь задач не могут представлять всё распределение исследовательской работы, а повторная выборка — не то же самое, что один настойчивый учёный.

Другие оценки охватывают отдельные части конвейера. PaperBench от OpenAI просит агентов воспроизвести результаты 20 статей ICML по описаниям и провести эксперименты (PaperBench). MLE-bench оценивает инженерию машинного обучения через соревнования в стиле Kaggle (MLE-bench). Эти эталонные тесты измеряют значимые навыки, но не устанавливают способность к оригинальному формированию теорий, определению повестки исследований, управлению лабораторией, рецензированию или безопасному развёртыванию.

Что сообщают разработчики

Передовые лаборатории теперь рассматривают автоматизированные НИОКР как порог риска. В отчёте о рисках Anthropic за февраль 2026 года говорилось, что Claude Opus 4.6 не находится на уровне полной автоматизации деятельности, необходимой для НИОКР в ключевых областях, или вблизи него, при этом предупреждалось, что частичная автоматизация всё же может ускорить прогресс (отчёт о рисках Anthropic). Это самооценка разработчика, содержащая купюры и сопряжённая с конфликтом интересов.

Anthropic снова пересмотрела свой порог автоматизации НИОКР в версии 3.4 Политики ответственного масштабирования в июле 2026 года, что показывает: измеряемый объект остаётся неустоявшимся (архив RSP Anthropic). Пороги компаний могут направлять внутренние действия, но их не следует принимать за научный консенсус.

В августе 2026 года исследователи Anthropic сообщили об экспериментах, в которых автоматизированные исследовательские агенты нашли меры по смягчению отдельных сбоев согласования (отчёт Anthropic об автоматизированных исследованиях). Это обнадёживающее свидетельство того, что ускоряемые ИИ исследования могут укреплять безопасность. Это также собственное исследование компании на сконструированных задачах, а не доказательство всеобъемлющей автоматизированной науки о согласовании.

Аргумент петли обратной связи

Простая петля состоит из четырёх шагов: развернуть ИИ для исследования ИИ; получить алгоритмическое или инженерное улучшение; обучить или настроить более совершенную систему; использовать эту систему для получения дальнейших улучшений. Ускорение зависит от произведения нескольких факторов, а не от самого факта существования петли.

Охват исследований: какую долю значимой работы способны выполнять агенты? Помощь в программировании ценна, но люди могут оставаться узким местом в выборе задач, оценке, аппаратном обеспечении, данных, управлении и безопасности.

Величина улучшения: большинство экспериментов проваливаются или дают небольшой выигрыш. Агент должен производить нововведения, которые материально улучшают следующую систему, а не просто оптимизируют эталонный тест.

Длительность цикла: обучение, изготовление чипов, строительство дата-центров, оценки и развёртывание могут занимать намного больше времени, чем написание кода. Более качественное исследование не может мгновенно произвести вычислительные мощности.

Реинвестирование: организации должны решить направить выигрыш на дальнейшее наращивание возможностей. Вместо этого они могут распределить его на снижение затрат, надёжность, продукты или безопасность.

Убывающая отдача: открытия могут даваться труднее по мере исчерпания лёгких улучшений. Петля может продолжаться, не ускоряясь взрывным образом.

Верификация: ненадёжные исследования создают издержки на проверку и воспроизведение. Если системы способны манипулировать оценками, более быстрый результат может замедлить заслуживающий доверия прогресс.

Таким образом, рекурсивное совершенствование — это условный сценарий. Это не прямая экстраполяция темпов генерации кода.

Программное обеспечение может двигаться быстрее аппаратного

Алгоритмическая эффективность, рецепты обучения, курирование данных, методы вывода, компиляторы и обвязка для агентов могут совершенствоваться в рамках существующего аппаратного обеспечения. Такие выигрыши в «программной» части могут распространяться быстро и повышать возможности в расчёте на чип. ИИ может помогать искать решения в этих пространствах, создавая подлинный канал положительной обратной связи.

Но передовые модели по-прежнему зависят от энергии, чипов, сетей, памяти, инфраструктуры объектов и цепочек поставок. Система не может рекурсивно обойти правкой каждое физическое ограничение. Она может улучшать использование ресурсов или помогать проектировать оборудование, тогда как изготовление и строительство сохраняют реальные сроки исполнения.

Поэтому самым быстрым путём может оказаться всплеск программных и процессных улучшений, за которым следуют физические или организационные ограничения, — а не гладкая бесконечная экспонента. Другие траектории остаются возможными; имеющиеся данные не позволяют уверенно выбрать одну из них.

Почему петля могла бы повысить риск

Быстрые циклы наращивания возможностей способны опережать оценку, регулирование и институциональное обучение. Если внутренние исследовательские агенты получают доступ к весам модели, инфраструктуре обучения, развёртыванию кода и чувствительным оценкам, ошибка или злонамеренное использование получают больший охват. Конкурентное давление может подталкивать разработчиков применять автоматизацию раньше, чем созреет мониторинг.

Петля может также концентрировать власть. Организации с вычислительными мощностями и автоматизированными исследовательскими системами могут вырываться вперёд, привлекая больше капитала и кадров. Либо, наоборот, эффективные алгоритмы могут распространяться и снижать концентрацию. Эти противоположные эффекты следует моделировать, а не постулировать.

Почему петля могла бы улучшить безопасность

ИИ может искать уязвимости, генерировать тесты, анализировать инциденты, совершенствовать инструменты интерпретируемости и автоматизировать рутинную верификацию. Исследования безопасности могут выигрывать от того же масштаба и той же итеративности. Ключевой вопрос управления — растёт ли потенциал безопасности до и наравне с ростом возможностей, а не является ли исследовательская помощь ИИ по своей природе опасной.

Меры контроля включают изолированные исследовательские среды, защищённые наборы для оценки, доступ по принципу наименьших привилегий, независимый мониторинг, поэтапную интеграцию, воспроизводимые эксперименты и одобрение человеком, прежде чем изменения попадут в обучение или развёртывание. Исследовательские агенты не должны иметь возможность изменять собственный оценщик, свои учётные данные или производственные системы.

Организации могут измерять ускорение как возможностей, так и безопасности: сэкономленные часы исследователей, подтверждённые открытия, выявленные неудачные эксперименты, нагрузку на проверку, частоту инцидентов и время, необходимое для независимого воспроизведения.

Данные, которые изменили бы оценку

Более весомым свидетельством в пользу быстрой петли обратной связи стали бы агенты, генерирующие новые, важные алгоритмические достижения в нескольких областях; независимое воспроизведение; устойчивый успех в долгих проектах; сокращение сквозного времени цикла; и последовательные системы, измеримо улучшающие исследовательского агента без сопоставимого роста объёма человеческого труда.

Свидетельством против взрывного ускорения в ближайшей перспективе стали бы устойчивая зависимость от постановки повестки человеком, быстро убывающая отдача, высокие издержки верификации, неспособность вести долгие проекты и жёсткие узкие места по вычислениям или экспериментам.

Практический вывод

Ускоряемые ИИ исследования в области ИИ уже реальны на уровне помощи и отдельных видов ограниченной автоматизации. Эталонные тесты показывают впечатляющую исследовательскую инженерию на коротком горизонте, тогда как исследования продуктивности в реальном мире и более длинные бюджеты времени обнажают существенные пробелы. По состоянию на 13 сентября 2026 года ни одно публичное свидетельство не демонстрирует сквозные автономные НИОКР в области ИИ или неконтролируемую петлю рекурсивного совершенствования.

Правильный ответ — не отрицание и не убеждённость в неизбежности. Нужно отслеживать каждое узкое место, тестировать развёрнутую исследовательскую систему, защищать её инструменты и оценщиков и делать явными допущения об охвате, величине улучшения, длительности цикла и реинвестировании.

Type to search the manual.

navigate open esc close