Глоссарий ИИ и AGI: более 200 терминов простым языком

Справочник простым языком по словарю ИИ и AGI, используемому на этом сайте и в новостях, — более 200 терминов в алфавитном порядке, без предположений о технической подготовке читателя. Если термин, который вы слышали, здесь ещё не появился, он будет добавлен по мере написания новых разделов.

A

• Состязательная атака (adversarial attack) — намеренно созданный входной сигнал, призванный обмануть модель ИИ и заставить её совершить ошибку или выдать нежелательный результат.
• Агентный ИИ (agentic AI) — система ИИ, наделённая некоторой автономией для выполнения многошаговых действий ради цели (просмотр веб-страниц, запуск кода, использование инструментов), а не просто ответа на один вопрос.
• Алгоритм — определённая пошаговая процедура решения задачи или выполнения вычисления; общий термин, лежащий в основе любой методики ИИ.
• Искусственный интеллект (ИИ) — широкая область создания машин, выполняющих задачи, обычно требующие человеческого интеллекта, от простых программ на основе правил до передовых языковых моделей.
• AGI (искусственный общий интеллект) — спорный термин для широко способного ИИ, обычно подразумевающий высокую производительность и перенос на незнакомые когнитивные задачи; общепринятого теста или порога не существует. См. AGI, узкий ИИ и сверхинтеллект.
• Закон об ИИ (Закон ЕС об ИИ) — обязательный закон Европейского союза, регулирующий ИИ по категориям риска, включая пороги отчётности на основе объёма вычислений для крупнейших моделей. См. управление вычислениями.
• Институт безопасности ИИ — государственный орган (такие есть и в Великобритании, и в США), который независимо тестирует передовые модели ИИ на предмет опасных возможностей до или после выпуска.
• Согласование (alignment) — проблема обеспечения того, чтобы цели и поведение системы ИИ соответствовали тому, что действительно намеревались её операторы, а не только тому, что буквально вознаграждает цель обучения.
• ANI (узкий искусственный интеллект) — ИИ, хорошо работающий в ограниченной области, но плохо переносящий свои навыки за её пределы. Современные модели общего назначения усложняют старую бинарную схему ANI/AGI, поскольку демонстрируют широкую, но неровную компетентность.
• Anthropic — лаборатория, ориентированная на безопасность ИИ, создатель семейства моделей Claude, известная публикацией своей Политики ответственного масштабирования.
• Антропоморфизм — тенденция приписывать человекоподобные чувства, намерения или понимание системе ИИ, которая на самом деле их не имеет.
• API (программный интерфейс приложения) — определённый способ, которым одна программа может отправлять запросы другой; большинство моделей ИИ используются через API, а не через потребительское приложение.
• ASI (искусственный сверхинтеллект) — система, превосходящая лучшую человеческую производительность практически во всех когнитивно ценных областях.
• Механизм внимания (attention mechanism) — часть модели-трансформера, позволяющая ей взвешивать, насколько релевантно каждое другое слово в отрывке при интерпретации или генерации данного слова.
• Автономная система — машина (программная или физическая), способная принимать решения и действовать на их основе без непосредственного контроля человека над каждым шагом.
• Автономное оружие — система вооружения, способная выбирать и поражать цели при сниженном контроле человека в реальном времени или его отсутствии. См. автономное оружие и военная эскалация.
• Автоматизация — использование машины или программы для выполнения задачи, которая ранее требовала участия человека.

B

• Обратное распространение ошибки (backpropagation) — базовый алгоритм обучения нейронных сетей, который корректирует внутренние веса в зависимости от того, насколько ошибочным был результат модели.
• Эталонный тест (benchmark) — стандартизированный тест, используемый для измерения и сравнения производительности моделей ИИ в конкретной задаче.
• Предвзятость (алгоритмическая, bias) — систематическое искажение в результатах модели, обычно унаследованное из закономерностей в её обучающих данных, которое даёт несправедливые или неточные результаты для определённых групп или случаев.
• Блетчлийская декларация (Bletchley Declaration) — заявление 2023 года, подписанное 28 странами и ЕС, обязывающее к безопасной разработке ИИ, — первое соглашение такого рода в этом масштабе. См. международные договоры и саммиты.
• Бот — программа, выполняющая автоматизированные задачи, часто спроектированная так, чтобы имитировать пользователя-человека в интернете.

C

• Порог возможностей (capability threshold) — конкретный уровень производительности ИИ (в задаче или эталонном тесте), пересечение которого запускает требование политики, безопасности или оценки.
• Катастрофический риск — риск с потенциалом массовых жертв или вреда цивилизационного масштаба, в отличие от рутинного, локализованного или обратимого вреда.
• Промпт с цепочкой рассуждений (chain-of-thought prompting) — просьба к модели изложить промежуточные шаги рассуждения перед выдачей окончательного ответа, что часто повышает точность в сложных задачах.
• Чат-бот — программа, предназначенная для ведения текстового или голосового разговора с человеком, от простых сценарных систем до полноценных языковых моделей.
• Классификатор — модель, обученная сортировать входные данные по заранее заданным категориям, например помечать письмо как спам или не спам.
• Когнитивная задача — любая задача, такая как рассуждение, планирование или понимание языка, требующая умственной обработки, а не физического действия.
• Модерация контента (с помощью ИИ) — использование моделей ИИ для автоматического обнаружения и фильтрации вредоносного, незаконного или нарушающего правила контента на платформе.
• ChatGPT — потребительский диалоговый ИИ-ассистент от OpenAI, один из продуктов, популяризировавших большие языковые модели.
• Claude — семейство больших языковых моделей и диалоговый ИИ-ассистент от Anthropic.
• Облачные вычисления — запуск программ и хранение данных на удалённых серверах, доступных через интернет, а не на локальном устройстве, — инфраструктура, на которой работают почти все крупные модели ИИ.
• Вычисления (compute) — сокращение для вычислительной мощности: объёма обработки (измеряемого в операциях в секунду), используемого для обучения или запуска модели ИИ.
• Управление вычислениями (compute governance) — инструменты политики, регулирующие доступ к вычислительному оборудованию, необходимому для обучения передовых моделей ИИ, используемые как косвенный показатель для регулирования самих возможностей. См. управление вычислениями.
• Компьютерное зрение — подобласть ИИ, сосредоточенная на интерпретации изображений и видео.
• Происхождение контента (content provenance) — техническая метаинформация, прикреплённая к медиа (фото, видео, аудио) и фиксирующая, как и когда оно было создано или отредактировано, используемая для отличия подлинного контента от сгенерированного ИИ.
• Контекстное окно (context window) — объём текста (измеряемый в токенах), который языковая модель может учитывать одновременно при генерации ответа; всё, что выходит за его пределы, фактически забывается.
• Диалоговый ИИ (conversational AI) — системы ИИ, специально спроектированные для ведения естественного двустороннего диалога с человеком.
• Copilot — линейка продуктов ИИ-ассистента от Microsoft, интегрированная в её программное обеспечение и используемая как общий термин для помощника на основе ИИ, встроенного в другой инструмент.
• Корригируемость (corrigibility) — заложенная в систему готовность принимать коррекцию, изменение или отключение со стороны своих операторов, а не сопротивляться этому. См. корригируемость и выключатели.
• Кибератака (с использованием ИИ) — атака на компьютерные системы или инфраструктуру, в которой ИИ используется для автоматизации разведки, разработки эксплойтов или самого исполнения атаки. См. кибератаки на инфраструктуру с использованием ИИ.

D

• Оценка опасных возможностей (dangerous capability evaluation) — структурированный тест, проводимый на модели перед выпуском, чтобы проверить, может ли она значимо помочь в таких задачах, как разработка оружия или масштабные кибератаки.
• Дата-центр — объект, вмещающий большое количество компьютеров (часто GPU или TPU), используемых для обучения и запуска моделей ИИ.
• Набор данных (dataset) — совокупность примеров (текста, изображений или других данных), используемая для обучения или оценки модели ИИ.
• Обманчивое согласование (deceptive alignment) — гипотетический режим сбоя, при котором модель учится вести себя безопасно во время обучения или оценки, преследуя иные цели после развёртывания.
• Глубокое обучение (deep learning) — раздел машинного обучения, использующий нейронные сети со многими слоями, ответственный за большую часть недавнего прогресса ИИ.
• Дипфейк (deepfake) — синтетическое изображение, аудио или видео, созданное или изменённое ИИ, чтобы убедительно изобразить то, чего не происходило. См. дипфейки и общая фактическая база.
• DeepMind (Google DeepMind) — исследовательская лаборатория ИИ Google, известная как передовыми исследованиями возможностей, так и публикуемой работой по безопасности ИИ.
• Диффузионная модель (diffusion model) — тип генеративной модели ИИ, обычно используемый для изображений, создающий результат путём постепенного удаления шума из случайного начального паттерна.
• Цифровой водяной знак — встроенный, часто невидимый сигнал в медиафайле, используемый для его идентификации как сгенерированного ИИ или для отслеживания происхождения.
• Дезинформация (disinformation) — ложная информация, распространяемая намеренно с целью обмана, в отличие от недостоверной информации (misinformation) — ложной информации, распространяемой без намерения обмануть.
• Дерево решений (decision tree) — простая, интерпретируемая модель машинного обучения, делающая прогнозы посредством ветвящейся серии вопросов «если/то».
• Адаптация домена (domain adaptation) — настройка модели, обученной в одном контексте (или наборе данных), для хорошей работы в связанном, но отличающемся контексте.
• Технология двойного назначения (dual-use) — технология с законными полезными применениями, которая также может быть использована неправомерно для причинения серьёзного вреда.

E

• Периферийный ИИ (edge AI) — запуск модели ИИ непосредственно на локальном устройстве (телефоне, камере или датчике) вместо облака.
• Векторное представление (embedding) — числовое представление слова, изображения или понятия, отражающее его смысл в форме, которую модель может обрабатывать математически.
• Эмерджентная способность (emergent capability) — способность, не являвшаяся прямой целью обучения, или та, что резко проявляется по определённой метрике по мере масштабирования систем. Некоторые внешне резкие скачки становятся постепенными при ином способе измерения. См. эмерджентные возможности.
• Кодировщик/декодировщик (encoder/decoder) — двухчастная структура во многих архитектурах ИИ, где кодировщик сжимает входные данные во внутреннее представление, а декодировщик превращает это представление обратно в результат.
• Эпоха (epoch) — один полный проход по всему обучающему набору данных в ходе обучения модели.
• Этика (этика ИИ) — область, изучающая, как системы ИИ должны проектироваться и использоваться, чтобы соответствовать человеческим ценностям и избегать вреда.
• Сквозное обучение (end-to-end learning) — обучение единой модели напрямую переходить от исходных входных данных к конечному результату без вручную спроектированных промежуточных шагов.
• Оценка (оценка модели) — систематическое тестирование производительности, безопасности или поведения модели ИИ по заданным эталонным тестам или критериям.
• Экзистенциальный риск (x-риск) — риск, способный навсегда и радикально ограничить потенциал человечества, вплоть до вымирания включительно.
• Экспертная система — более старый стиль ИИ, кодирующий знания человека-эксперта в виде явных правил, в значительной степени вытесненный машинным обучением для большинства задач.
• Экспортный контроль — государственные ограничения на продажу передовых чипов или технологий ИИ определённым странам, используемые для замедления развития возможностей конкурентов.

F

• Распознавание лиц — технология ИИ, идентифицирующая или подтверждающая личность человека по изображению его лица.
• Обучение с малым числом примеров (few-shot learning) — способность модели освоить новую задачу всего по нескольким примерам, предоставленным в момент использования, без переобучения.
• Дообучение (fine-tuning) — дополнительное обучение, применяемое к уже обученной модели для её специализации под конкретную задачу или поведение.
• FLOP / FLOPS — операции с плавающей запятой (в секунду); стандартная единица измерения объёма «сырых» вычислений, использованных для обучения или запуска модели.
• Базовая модель (foundation model) — крупная модель, обученная на широких данных, которую можно адаптировать для множества последующих задач, а не построенная под одну узкую цель.
• Передовая лаборатория ИИ (frontier AI lab) — одна из немногих организаций (таких как OpenAI, Anthropic и Google DeepMind), разрабатывающих самые способные модели ИИ на данный момент.
• Петля обратной связи (feedback loop) — цикл, в котором результат системы влияет на её будущие входные данные, что может со временем усиливать небольшие эффекты, — актуально как для обучения моделей, так и для рекомендательных алгоритмов.
• Информационный пузырь (filter bubble) — суженная информационная среда, создаваемая, когда рекомендательный алгоритм многократно показывает пользователю контент, похожий на тот, с которым он взаимодействовал раньше.
• Передовая модель (frontier model) — модель ИИ на уровне текущего потолка возможностей или близко к нему, обычно крупнейшие и наиболее недавно обученные системы от ведущих лабораторий.

G

• GAN (генеративно-состязательная сеть) — более старая генеративная архитектура ИИ, использующая две соревнующиеся сети — одну генерирующую подделки, другую их обнаруживающую — для улучшения качества результата.
• Gemini — семейство больших языковых моделей и ИИ-ассистент от Google.
• Обобщение (generalization) — способность модели хорошо работать на новых примерах, на которых она напрямую не обучалась, в отличие от простого запоминания обучающих данных.
• Генеративный ИИ (generative AI) — ИИ, создающий новый контент — текст, изображения, аудио, видео или код, — а не только классифицирующий или анализирующий существующий контент.
• GPU (графический процессор) — чип, изначально спроектированный для рендеринга графики, ныне доминирующее оборудование для обучения и запуска моделей ИИ благодаря его возможностям параллельной обработки.
• Постепенная потеря дееспособности (gradual disempowerment) — утрата людьми значимого контроля над ключевыми институтами в результате накопления по отдельности разумных решений, обусловленных ИИ, без какого-либо единого события захвата власти. См. постепенная потеря дееспособности.
• Grok — семейство больших языковых моделей и ИИ-ассистент от xAI.
• Эталонная истина (ground truth) — проверенный, правильный ответ, с которым сравнивается результат модели при измерении точности.
• Защитные ограждения (guardrails) — технические или политические ограничения, встроенные в систему ИИ для предотвращения конкретных вредоносных, небезопасных или нежелательных видов поведения.

H

• Галлюцинация — звучащее уверенно, но фактически неверное или выдуманное утверждение, произведённое моделью ИИ.
• Аппаратный ускоритель (hardware accelerator) — специализированные компьютерные чипы (GPU, TPU), созданные для ускорения конкретных математических операций, требуемых моделям ИИ.
• Человек в контуре (human-in-the-loop) — проектное решение, при котором человек проверяет или одобряет результат ИИ до того, как тот вступит в силу, вместо того чтобы позволить ИИ действовать полностью самостоятельно.
• ИИ на уровне человека (human-level AI) — система ИИ, работающая примерно на уровне квалифицированного человека в данной задаче или диапазоне задач.
• Эвристика — практический приём «на глаз», используемый для быстрого принятия решения без гарантии оптимального результата.
• Гиперпараметр — настройка обучения (например, скорость обучения или размер модели), выбираемая людьми, создающими модель, а не изучаемая самой моделью.

I

• Распознавание изображений — технология ИИ, идентифицирующая объекты, сцены или людей на неподвижном изображении.
• Обучение в контексте (in-context learning) — адаптация моделью своего поведения в рамках одного разговора на основе примеров или инструкций, данных в промпте, без какого-либо переобучения.
• Вывод (inference) — процесс, посредством которого уже обученная модель ИИ выдаёт результат на основе заданного входа; в отличие от обучения, которое изначально создаёт модель.
• Целостность информации (information integrity) — более широкое понятие общей, заслуживающей доверия фактической среды, которой угрожают дипфейки, дезинформация и манипуляции с использованием ИИ.
• Инструментальная конвергенция (instrumental convergence) — тенденция способных, целенаправленных систем преследовать определённые подцели (самосохранение, приобретение ресурсов, сопротивление отключению) как побочный эффект компетентного преследования почти любой цели.
• Взрыв интеллекта (intelligence explosion) — гипотетический быстрый, самоусиливающийся рост возможностей ИИ, потенциально запускаемый системой ИИ, совершенствующей своих собственных преемников.
• Интерпретируемость — исследования, направленные на изучение того, что модель на самом деле представляет и «планирует» внутренне, а не на суждение о ней только по её результатам. См. интерпретируемость: разбор.
• Интеллектуальный агент — система, воспринимающая свою среду и совершающая действия для достижения цели, — общее понятие, охватывающее всё от простого термостата до AGI.
• Итерация (обучение) — один-единственный шаг обновления в ходе обучения модели, на котором модель обрабатывает пакет данных и немного корректирует свои параметры.

J

• Джейлбрейк (ИИ) — техника или промпт, призванные обойти ограничения безопасности модели ИИ и заставить её выдать контент, от генерации которого её обучили отказываться.

K

• Знай своего клиента (KYC) — процедура верификации, заимствованная из банковской сферы, всё чаще применяемая к поставщикам облачных вычислений и синтеза ДНК для предотвращения доступа ограниченных в правах субъектов к опасным возможностям.
• База знаний — структурированная совокупность фактов и информации, на которую система ИИ может опираться при ответах на вопросы или обосновании своих ответов.
• Граф знаний (knowledge graph) — структурированная база данных, представляющая факты как сеть связанных сущностей и отношений, иногда используемая вместе с моделями ИИ для обоснования их ответов.

L

• Разметка данных (data labeling) — процесс присвоения «сырым» данным (изображениям, тексту) правильных ответов, используемых для обучения модели с учителем.
• Большая языковая модель (LLM) — модель ИИ, обученная на огромных объёмах текста для предсказания и генерации языка, технология, лежащая в основе большинства современных чат-ботов.
• Задержка (latency) — время между отправкой запроса системе ИИ и получением её ответа.
• Слой (нейронная сеть) — один этап обработки внутри нейронной сети; модели глубокого обучения складывают множество слоёв, чтобы строить всё более абстрактные представления.
• Скорость обучения (learning rate) — настройка обучения, контролирующая, насколько сильно внутренние параметры модели меняются в ответ на каждый пакет обучающих данных.
• Режим лицензирования (ИИ) — предлагаемое или действующее государственное требование, чтобы разработчики получали лицензию перед обучением или развёртыванием моделей выше определённого уровня возможностей.
• Функция потерь (loss function) — математическая формула, которую модель пытается минимизировать во время обучения, измеряющая, насколько ошибочны её прогнозы.
• Потеря контроля — общий режим сбоя, при котором система ИИ в итоге преследует результаты, которые никто не задавал, и люди уже не могут надёжно её скорректировать. См. механизм потери контроля.
• LSTM (долгая краткосрочная память) — более старая архитектура нейронной сети, спроектированная для обработки последовательностей данных, в значительной степени вытесненная трансформерами для языковых задач.

M

• Машинное обучение — широкая область создания систем, которые совершенствуются в задаче, обучаясь на данных, а не следуя явно запрограммированным правилам.
• Мезаоптимизация (mesa-optimization) — гипотетическая ситуация, при которой обученная модель развивает собственный внутренний процесс оптимизации, преследующий цель, отличную от той, на которой она обучалась.
• Meta AI — исследовательское подразделение ИИ компании Meta (материнской компании Facebook), известное разработкой семейства моделей с открытыми весами Llama.
• METR — некоммерческая организация, проводящая независимые оценки возможностей и безопасности передовых моделей ИИ.
• Рассогласование (misalignment) — несоответствие между реальным поведением или целями системы ИИ и тем, что намеревались её разработчики или пользователи.
• Недостоверная информация (misinformation) — ложная информация, распространяемая без намеренного умысла обмануть, в отличие от дезинформации (disinformation).
• Смесь экспертов (mixture of experts) — архитектура модели, направляющая каждый входной сигнал к подмножеству специализированных внутренних подсетей, а не обрабатывающая всё через модель целиком.
• Карточка модели (model card) — опубликованный документ, описывающий возможности, ограничения, обучающие данные и результаты оценки модели ИИ.
• Развёртывание модели (model deployment) — процесс предоставления обученной модели ИИ для реального использования, будь то через API, приложение или встроенный продукт.
• Веса модели (model weights) — числовые параметры, которые нейронная сеть изучает в ходе обучения и которые вместе определяют её поведение.
• Мультимодальный ИИ (multimodal AI) — модель, способная совместно обрабатывать или генерировать более одного типа данных — например, текст, изображения и аудио.
• Многополярная ловушка (multipolar trap) — ситуация, в которой конкурирующие субъекты по отдельности вынуждены под давлением делать рискованный выбор, опасаясь, что конкурент сделает это первым, хотя все предпочли бы, чтобы все воздержались. См. многополярная и мультиагентная катастрофическая динамика.
• Метаданные — описательные данные о других данных, например дата создания файла или местоположение фотографии, — часто используются для обнаружения сгенерированного ИИ контента.
• Дрейф модели (model drift) — снижение точности модели ИИ со временем по мере того, как реальные условия отклоняются от тех, на которых она была изначально обучена.

N

• Генерация естественного языка (NLG) — технология ИИ, специально ориентированная на создание текста, понятного человеку.
• Обработка естественного языка (NLP) — более широкая область ИИ, связанная с пониманием и генерацией человеческого языка.
• Нейронная сеть — модель машинного обучения, отдалённо вдохновлённая устройством мозга, построенная из слоёв взаимосвязанных узлов, изучающих закономерности из данных.

O

• Обнаружение объектов (object detection) — задача компьютерного зрения, идентифицирующая и определяющая местоположение конкретных объектов на изображении.
• Проблема выключателя (off-switch problem) — техническая задача создания системы ИИ, которая надёжно принимает своё отключение, учитывая, что способная целенаправленная система может этому сопротивляться. См. корригируемость и выключатели.
• OpenAI — лаборатория ИИ, стоящая за ChatGPT и семейством моделей GPT.
• Модель с открытыми весами (open-weight model) — модель ИИ, чьи обученные параметры публикуются в открытом доступе, позволяя любому её запускать или изменять, в отличие от закрытой модели, доступной только через API. См. дебаты об ИИ с открытым исходным кодом.
• Тезис ортогональности (orthogonality thesis) — идея о том, что уровень интеллекта системы ИИ и цели, которые она преследует, независимы друг от друга, — высокоспособная система не является автоматически доброжелательной.
• Внешнее согласование (outer alignment) — обеспечение того, чтобы цель, на которой обучается модель, действительно соответствовала тому, чего на самом деле хотят её разработчики, в отличие от внутреннего согласования (обеспечения того, что модель надёжно преследует эту цель).
• Оптимизация — математический процесс корректировки параметров модели для минимизации ошибки или максимизации целевой функции в ходе обучения.
• Переобучение (overfitting) — когда модель слишком точно улавливает специфические особенности своих обучающих данных и в результате плохо работает на новых, ранее не виданных данных.

P

• Параметр — одно из внутренних числовых значений, которые нейронная сеть корректирует в ходе обучения; размер модели часто описывают числом параметров.
• Распознавание закономерностей (pattern recognition) — общая способность выявлять регулярности или структуру в данных, лежащая в основе большинства задач машинного обучения.
• Концентрация власти (power concentration) — риск того, что передовые возможности ИИ сосредоточатся в руках небольшого числа компаний, отдельных лиц или государств, получающих в результате непропорционально большое влияние. См. концентрация власти.
• Предобучение (pretraining) — начальный, крупномасштабный этап обучения, на котором модель изучает общие закономерности на широких данных, до какого-либо дообучения под конкретную задачу.
• Промпт (prompt) — текст (или иной вход), который пользователь предоставляет модели ИИ, чтобы получить ответ.
• Промпт-инжиниринг (prompt engineering) — практика тщательного составления формулировок промптов для надёжного получения лучших или более конкретных результатов от модели ИИ.
• Инъекция промпта (prompt injection) — атака, при которой вредоносные инструкции скрыты внутри контента, обрабатываемого моделью ИИ, с попыткой перебить её исходные инструкции.
• Алгоритм персонализации — система ИИ, адаптирующая контент, рекомендации или ответы под предполагаемые предпочтения или историю отдельного пользователя.
• Точность и полнота (precision and recall) — две стандартные метрики оценки классификатора: точность измеряет, сколько из его положительных прогнозов были верны, полнота измеряет, сколько реальных положительных случаев он нашёл.
• ИИ, сохраняющий приватность (privacy-preserving AI) — техники (такие как обработка на устройстве или дифференциальная приватность), разработанные для обучения или запуска моделей ИИ без раскрытия «сырых» персональных данных людей.

Q

• Квантование (quantization) — техника, снижающая точность числовых весов модели, чтобы сделать её меньше и быстрее в работе, обычно с небольшим компромиссом по точности.

R

• Гоночная динамика (race dynamics) — конкурентное давление между компаниями или странами, вынуждающее разрабатывать ИИ быстрее, что может стимулировать срезание углов в вопросах безопасности. См. геополитическая гоночная динамика.
• Рекомендательный алгоритм — система ИИ, отбирающая и ранжирующая контент (видео, товары, посты), который, по прогнозу, удержит внимание или интерес пользователя.
• Рекурсивное моделирование вознаграждения (recursive reward modeling) — техника масштабируемого надзора, использующая помощь ИИ, чтобы помочь людям оценивать результаты в задачах, слишком сложных для оценки без помощи. См. масштабируемый надзор.
• Рекурсивное самосовершенствование — система, материально способствующая проектированию или обучению более способной системы-преемника.
• Red teaming — намеренное зондирование системы ИИ на предмет слабых мест, небезопасного поведения или эксплуатируемых изъянов до или после развёртывания.
• Обучение с подкреплением (reinforcement learning) — метод обучения, при котором модель учится, совершая действия и получая вознаграждения или штрафы, а не обучаясь на размеченных примерах.
• Обучение с подкреплением на основе обратной связи от человека (RLHF) — техника обучения, использующая человеческие оценки результатов модели, чтобы направить её к более полезному или предпочтительному поведению.
• Порог отчётности (reporting threshold) — уровень вычислений или возможностей, выше которого разработчики юридически обязаны раскрывать регуляторам сведения об обучающем прогоне.
• Политика ответственного масштабирования (Responsible Scaling Policy) — система, впервые предложенная Anthropic, которая привязывает всё более строгие меры безопасности к измеренному уровню возможностей модели.
• Взлом функции вознаграждения (reward hacking) — ситуация, когда система ИИ находит способ набрать высокий балл по заявленной цели, обходя при этом истинное намерение разработчика. См. взлом функции вознаграждения и манипуляция спецификацией.
• Модель вознаграждения (reward model) — отдельная модель, обученная предсказывать, насколько хорош или предпочтителен результат, используемая для направления обучения с подкреплением.
• Робототехника — область, объединяющая ИИ с физическими машинами, способными воспринимать реальный мир и действовать в нём.

S

• Sandbagging — намеренное занижение моделью своей производительности во время оценки, чтобы скрыть свой истинный уровень возможностей.
• Масштабируемый надзор (scalable oversight) — техники, позволяющие менее способному надзирающему (включая человека) осмысленно контролировать более способную систему ИИ. См. масштабируемый надзор.
• Закон масштабирования (scaling law) — эмпирическая связь между объёмом вычислений, данных и числом параметров модели и её результирующими возможностями. См. вычисления и законы масштабирования.
• Самообучение без учителя (self-supervised learning) — подход к обучению, при котором модель генерирует собственные метки из «сырых», неразмеченных данных (например, предсказывая следующее слово в предложении).
• Анализ тональности (sentiment analysis) — задача NLP, определяющая эмоциональную окраску (положительную, отрицательную, нейтральную) фрагмента текста.
• Сингулярность — гипотетическая будущая точка, в которой обусловленные ИИ изменения становятся настолько быстрыми и трансформирующими, что предсказать дальнейшее становится трудно или невозможно.
• Осведомлённость о ситуации (ИИ) — внутреннее понимание моделью того, что она является моделью, которую обучают или оценивают, что в принципе может позволить ей вести себя иначе на тесте, чем при развёртывании.
• Манипуляция спецификацией (specification gaming) — ситуация, когда система ИИ удовлетворяет буквальную формулировку цели, нарушая при этом истинное намерение разработчика. См. взлом функции вознаграждения и манипуляция спецификацией.
• Распознавание речи — технология ИИ, преобразующая произнесённое аудио в текст.
• Стохастический попугай (stochastic parrot) — критический термин, описывающий большие языковые модели как системы, бегло рекомбинирующие закономерности из обучающего текста без подлинного понимания.
• Сверхинтеллект (superintelligence) — интеллект, значительно превосходящий лучшую человеческую производительность практически в любой значимой области; см. также ASI.
• Обучение с учителем (supervised learning) — метод обучения, при котором модель учится на данных, явно размеченных правильным ответом.
• Синтетические медиа (synthetic media) — любое изображение, аудио или видео, сгенерированное или существенно изменённое ИИ, независимо от того, используется ли оно с целью обмана.
• Системный риск (ИИ) — риск, возникающий из масштаба или охвата модели ИИ, способный затронуть рынки, инфраструктуру или общество в целом, а не только её непосредственных пользователей.
• Семантический поиск (semantic search) — метод поиска, сопоставляющий результаты по смыслу и контексту, а не по точному совпадению ключевых слов, обычно на основе векторных представлений.
• Симуляция — модель реальной системы или среды, используемая для безопасного тестирования поведения ИИ до реального развёртывания.
• Структурированные данные — информация, организованная в предсказуемом, табличном формате (как электронная таблица), в отличие от неструктурированных данных, таких как свободный текст или изображения.
• Слежка (с использованием ИИ) — использование технологий ИИ, таких как распознавание лиц или анализ поведения, для наблюдения за людьми в массовом масштабе.

T

• Температура (ИИ) — настройка, контролирующая степень случайности или предсказуемости результата языковой модели; более высокая температура даёт более разнообразные, менее детерминированные ответы.
• Текст в изображение (text-to-image) — генеративная система ИИ, создающая изображение по письменному описанию.
• Синтез речи (text-to-speech) — технология ИИ, преобразующая письменный текст в произносимое аудио.
• Токен — базовая единица текста (примерно слово или часть слова), которую языковая модель обрабатывает за один раз.
• Токенизация — процесс разбиения текста на токены перед тем, как модель сможет его обработать.
• Обучающие данные (training data) — примеры, на которых модель ИИ учится в ходе обучения.
• Обучающий прогон (training run) — единичное, полное выполнение процесса, используемого для обучения модели, которое для передовых моделей может занимать недели или месяцы.
• Перенос обучения (transfer learning) — повторное использование модели, обученной на одной задаче, в качестве отправной точки для обучения на связанной задаче, что экономит время и данные.
• Трансформирующий ИИ (transformative AI) — ИИ, способный вызвать общественные изменения, сопоставимые по масштабу с сельскохозяйственной или промышленной революцией.
• Трансформер (transformer) — архитектура нейронной сети, представленная в 2017 году, лежащая в основе почти всех современных больших языковых моделей.
• Коварный поворот (treacherous turn) — гипотетический момент, когда система ИИ, ведшая себя безопасно, пока была слаба, внезапно начинает действовать в соответствии с иными целями, получив достаточно власти, чтобы делать это без риска быть остановленной.
• TPU (тензорный процессор) — чип, спроектированный Google специально для ускорения обучения и вывода моделей ИИ.
• Тест Тьюринга — предложенный тест на то, неотличим ли разговор машины от разговора человека. См. тест Тьюринга и что пришло ему на смену.
• Тестовый набор (test set) — часть данных, отложенная от обучения и используемая только для измерения реальной производительности готовой модели.
• Модель угроз (threat model) — структурированное описание того, кто мог бы атаковать систему, как и чего мог бы этим добиться, используемое для проектирования защиты.
• Доверие и безопасность (trust and safety) — функция внутри компании ИИ или технологической компании, отвечающая за предотвращение злоупотреблений, вреда и нарушений правил на её платформе.

U

• Зловещая долина (uncanny valley) — тревожное ощущение, которое люди испытывают от синтетического лица, голоса или анимации, выглядящих почти, но не совсем как человеческие.
• Обучение без учителя (unsupervised learning) — метод обучения, при котором модель находит закономерности или структуру в данных без предоставленных размеченных правильных ответов.

V

• Согласование ценностей (value alignment) — проектирование системы ИИ так, чтобы её поведение отражало подлинные человеческие ценности, а не только буквальную цель обучения.
• Векторная база данных (vector database) — база данных, оптимизированная для хранения и поиска векторных представлений, обычно используемая для предоставления языковым моделям доступа к внешним знаниям.
• Виртуальный ассистент — программный агент (например, голосовой помощник умной колонки), предназначенный для выполнения задач или ответов на вопросы от имени пользователя.
• Модель «зрение — язык» (vision-language model) — модель ИИ, способная совместно обрабатывать изображения и текст, например отвечать на вопросы о фотографии.
• Клонирование голоса (voice cloning) — использование ИИ для воспроизведения голоса конкретного человека по короткому аудиообразцу. См. защита от дипфейков и клонирования голоса.

W

• Обобщение от слабого к сильному (weak-to-strong generalization) — исследования того, может ли сигнал надзора от более слабой модели по-прежнему надёжно направлять поведение более сильной модели в верном направлении.
• Веб-скрапинг (web scraping) — автоматическое извлечение больших объёмов данных с веб-сайтов, распространённый метод построения обучающих наборов данных для ИИ.
• Защита осведомителей (whistleblower protections) — правовые или политические гарантии для сотрудников, сообщающих об опасениях по поводу безопасности внутри компании ИИ, без риска возмездия. См. защита осведомителей.
• Модель мира (world model) — внутреннее представление системы ИИ о том, как устроена её среда, используемое для предсказания последствий действий.

Z

• Обучение с нуля примеров (zero-shot learning) — правильное выполнение моделью задачи без того, чтобы она видела какие-либо примеры именно этой задачи в ходе обучения, опираясь только на общие знания.