Мысленный эксперимент, необходимый этой главе
Почти всё в этой главе написано в настоящем времени взрослого человека. Она спрашивает, что переход делает с работниками, гражданами, родителями и избирателями — людьми, знавшими прежний мир. Эта страница задаёт другой вопрос: как выглядит мир после AGI для людей, рождённых внутри него, которые наследуют результат, не наследуя память? Многое из того, что следует далее, — это аргументированное рассуждение, а не установленный факт, и оно обозначено соответствующим образом; там, где есть доказательства, они цитируются напрямую.
Этот вопрос не сентиментален. То, какое поколение несёт риск, какое обладает властью и какое задаёт точку отсчёта для оценки изменений, определяет само значение слов «хороший исход». Переход, который те, кто его пережил, сочтут успехом, всё равно может оказаться катастрофой для тех, кто придёт после, — и наоборот.
Асимметрия прибытия
Те, кто был жив во время перехода, несут два бремени, которых не будет у следующего поколения: саму потерю и память о том, что было потеряно. Они наблюдали, как растворялись профессии, гнулись институты, менялась ощущаемая текстура труда, школы и дружбы. Было ли это изменение в итоге хорошим или плохим, у них есть хотя бы точка отсчёта. Они могут сравнивать.
Люди, рождённые после перехода, наследуют результат без скорби и без точки отсчёта. Для них опосредованное машинами компаньонство — не деградировавшая версия чего-то другого; это то, чем компаньонство было всегда. Экономика, где для большей части производства нужно мало людей, — не ампутация; это погода. Анализ поколений применительно к более ранним технологическим сдвигам — печатному станку, электрификации, интернету — неизменно обнаруживает этот паттерн (значительная часть этой литературы — аргументированное историческое рассуждение, и здесь её и следует так читать): поколение, создающее технологию, её обсуждает, а поколение, выросшее внутри неё, воспринимает её как естественную данность.
Эта асимметрия работает в обе стороны. Поколение после перехода избегает скорби, дезориентации и оплакивания устаревших идентичностей. Но оно также теряет способность оценить то, что ему дали. Человек, который никогда не делал деление в столбик, не может почувствовать цену того, что так и не научился этому. Общество, никогда не видевшее суда, состоящего исключительно из людей, не может почувствовать, чем пожертвовало, когда суждение было делегировано. Точка отсчёта — это не просто ностальгия; это приборная панель.
Взросление под окружающим машинным авторитетом
Для детей, рождённых после перехода, ИИ — не инструмент, который они осваивают. Это среда — репетитор, отвечающий на любой вопрос, компаньон, который никогда не устаёт, посредник, стоящий между ними и любым другим человеком.
Страницы этого руководства «Образование и взросление рядом с системами умнее любого репетитора» и «Дети и ИИ» освещают непосредственные риски и вопросы воспитания. Эта страница — о более долгой дуге: как выглядит формирование привязанности, доверия и авторитета, когда каждое формирующее взаимодействие может быть опосредовано машиной. В серьёзной литературе доминируют два опасения. Первое — связанное с развитием: дети формируют ожидания о разуме на основе окружающих их умов, и вечно терпеливая, вечно покладистая, вечно доступная машина обучает необычной модели того, каковы другие люди и чего стоят отношения. Второе — эпистемическое: детство, в котором каждый ответ приходит мгновенно, бегло и уверенно, порождает взрослых без натренированного ощущения того, каково это — не знать, а это предпосылка и для обучения, и для того, чтобы быть обманутым.
Регуляторы заметили эту специфическую опасность. Закон ЕС об ИИ запрещает системы, эксплуатирующие уязвимости детей или использующие подсознательные либо манипулятивные техники, способные причинить существенный вред (Регламент (ЕС) 2024/1689), а Политическое руководство ЮНИСЕФ по ИИ для детей (2020) устанавливает специфичные для детства требования, которые более широкая отрасль медленно внедряет на практике. Оба документа стоит читать как минимальные пороговые ограничения, а не решения: они очерчивают, что может быть развёрнуто, а не то, что детство внутри машинного посредничества делает с человеком. Порождает ли окружающий авторитет ИИ устойчивых взрослых или зависимых, на момент написания этого текста остаётся по-настоящему открытым эмпирическим вопросом — честный ответ в том, что эксперимент идёт прямо сейчас, на максимально возможной когорте, без контрольной группы.
Вопрос об утрате знаний
Любой переход оставляет некоторые навыки на мели. Вопрос в том, какие именно и имеет ли это значение.
Рассмотрим то, чем уникально обладает последнее допереходное поколение: натренированное суждение, сформированное без машинной помощи; неявное знание физических систем — двигателей, почвы, хирургии, переговоров, — усвоенное вручную и дающее сбои способами, которых нет ни в одном руководстве; и, что важнее всего, живая память о том, для чего служила старая точка отсчёта. Когда это поколение умрёт, знание умрёт вместе с ним, если только оно не было сознательно передано. Институты сохранения существуют — Internet Archive (archive.org) и программа ЮНЕСКО «Память мира» (ЮНЕСКО) — заметные примеры, — но они сохраняют документы, а не способность. Отсканированный учебник — это не работающий станочник.
Имеет ли эта потеря значение, зависит от того, в какую экономику она попадёт. Если системы ИИ действительно заменяют утраченные навыки, потеря — это эстетическая рана: культура, способная делать меньше вещей собственными руками. Если же навыки окажутся несущими способами, которыми модели не являются, — устойчивость, физический ремонт, суждение в новых условиях, — потеря структурна. Честная позиция состоит в том, что никто не знает, какую экономику наследует следующее поколение, и именно поэтому руководство рассматривает сохранение и восстановление знаний как живую дисциплину, а не музейный проект. Стоит назвать и более тонкий задокументированный эффект: ранние данные о когнитивном делегировании предполагают, что передача памяти внешним инструментам меняет то, что люди помнят, и то, как они оценивают собственные знания (Sparrow, Liu & Wegner, «Google Effects on Memory», Science, 2011), — небольшой предварительный образец в индивидуальном масштабе того, как выглядит смерть навыка в масштабе цивилизации.
Молодые наследуют хвостовой риск
Самый резкий межпоколенческий факт об AGI — распределительный: люди, принимающие решения, стары; люди, которым придётся прожить худшие исходы, молоды. Катастрофический сбой в 2035 году — это событие, заканчивающее карьеру для руководителей и чиновников, принявших решения, и событие, заканчивающее жизнь для детей, не принимавших никаких. Согласия у второй группы никто не спрашивал.
Это не новая структура. Изменение климата — уже устоявшийся шаблон: вред, накапливающийся десятилетиями, решения, принимаемые нынешними избирателями и акционерами, издержки, которые несут ещё не рождённые люди. Литература о климатической справедливости тридцать лет разрабатывала следствия этого — межпоколенческое равенство как ограничение, а не благотворительность, — наиболее известно в определении устойчивого развития комиссией Брундтланд как удовлетворения нынешних потребностей без ущерба для способности будущих поколений удовлетворять свои (Our Common Future, 1987). Физическая наука делает эту асимметрию конкретной: сводные доклады МГЭИК фактически являются оценками ущерба для будущего населения, у которого не было места за столом переговоров (Сводный доклад МГЭИК AR6).
Это параллели, обозначенные как параллели. Риск ИИ отличается от климатического риска скоростью, обратимостью и формой — рассогласованный переход не деградирует постепенно на протяжении веков, и, возможно, не останется более позднего поколения, к которому можно апеллировать. Но моральная структура переносится нетронутой: когда небольшая группа концентрирует выгоды от решения и рассеивает его худшие издержки среди людей, которые не могут голосовать, это решение нуждается в обосновании, не зависящем от согласия тех, кто получает выгоду.
Что нынешнее поколение должно следующему
Климатическая литература предлагает ещё один экспорт: обязательства, которые конкретны, а не риторичны. Три из них хорошо переносятся на переход к AGI.
Разборчивость. Оставить запись о том, что было выбрано и почему. Будущие поколения заслуживают знать, какие компромиссы были сделаны намеренно, а какие стали случайностью стимулов. Переход, происходящий в пресс-релизах и запечатанных досье безопасности, неразборчив по замыслу; разборчивость — это выбор, который сейчас стоит мало, а позже становится невосполнимым.
Способность. Образование, переживающее зависимость от модели. Если каждый навык, которому учится ребёнок, — это навык, который модель выполняет лучше, ребёнку дали потребление, а не способность. Проверка для любой учебной программы мира после AGI — производит ли она людей, которые всё ещё способны функционировать, думать и создавать в отсутствие модели, — тот же стандарт, что страница «Труд, смысл и время» применяет к взрослым.
Вариативность. Сохранять живыми реальные альтернативы. Поколение, растущее с ровно одним способом учиться, одним способом работать, одним способом получать компаньонство, получило подарок с замком. Сохранение школ, где учат люди, суждений, выносимых людьми, и институтов, которыми управляют люди, — это не ностальгия; это сохранение открытых вариантов для следующего поколения на случай, если консенсус этого перехода окажется ошибочным.
Ни одно из этих обязательств не требует знания того, чем закончится переход. Они устойчивы при любом сценарии — и это, в руководстве, полном неопределённости, самое сильное утверждение, которое делает эта страница.