Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски Страница 15

Возьмем, к примеру, павлина. Это животное-жертва, и тем не менее павлины обзавелись гигантскими яркими хвостами — огромными, тяжелыми, заметными, метаболически затратными придатками, которые привлекают массу внимания и мешают спасаться бегством от хищников. Это совсем не то, чего ожидали бы от естественного отбора наивные инопланетяне, наблюдающие с орбиты; по сути, это почти противоположно их ожиданиям. Животным-жертвам следовало бы тратить свои скудные питательные вещества на маскировку и сильные ноги, чтобы убегать от хищников, а вовсе не на гигантские, тяжелые разноцветные хвосты!

Возможно, вы слышали, что самцам павлинов нужны гигантские яркие хвосты для привлечения самок. Но это не объясняет результат до конца: с чего вдруг у самок в процессе эволюции вообще возникла склонность выбирать гигантские хвосты? Разве их собственные сыновья не стали бы чаще погибать от зубов хищников, унаследовав огромные, неудобные хвосты?

Ответ таков: да, эти сыновья с тяжелыми хвостами действительно гибнут чаще. Но они также привлекают больше самок, а потому оставляют больше потомства, чем любые конкуренты, лишенные роскошных хвостов. Таким образом, самки, выбирающие самцов с пышными хвостами, тоже преуспевают в плане размножения.

Это явление известно как «половой отбор», и оно может закрепить практически любой признак внутри вида — даже признаки, которые прямо противоречат тому, что обычно приносит пользу.

Половой отбор — еще один из тех путей, где результат хаотичен и слабо предопределен; запусти вы этот процесс снова в очень похожих обстоятельствах, вы получили бы совершенно иной результат. Этот исход противоречит тому, что, по вашему мнению, должен делать естественный отбор, и вы не сможете предсказать конкретные детали, какими бы умными вы ни были.

И ведь это все еще не самый сложный случай эволюционировавших предпочтений. Оглядываясь назад, мы можем точно понять, что произошло с павлиньими хвостами. Другие свойства, включая многие из тех, что близки и дороги нашему сердцу, до сих пор остаются открытыми вопросами — например, как люди обрели чувство юмора?ii

Связь между тем, чему существо обучали, и тем, что оно делает в итоге, в случае биологической эволюции может оказаться весьма запутанной. И дело не ограничилось какой-то одной сложностью. Да и сами эти сложности были самого разного рода.

Это плохой знак для тех, кто надеется, что градиентный спуск привьет их искусственным интеллектам именно те предпочтения, которые нужно. Что происходит, когда вы используете градиентный спуск — еще один метод выращивания разума, зависящий только от внешних результатов, — чтобы попытаться вырастить ИИ с конкретными, точными предпочтениями? Вырастить ИИ, который будет делать для вас приятные вещи в будущем, когда станет мощнее?

Градиентный спуск — эволюционный механизм, создающий ИИ, — это не то же самое, что естественный отбор. Оба процесса обучения разделяют своего рода «слепоту»: они корректируют организм, основываясь исключительно на внешних результатах и последствиях. Но градиентный спуск воздействует непосредственно на каждую часть настраиваемого им крупного разума, тогда как естественный отбор настраивает малые геномы, которые работают как своего рода рецепт для создания большого мозга.

Будь вы невероятно, просто поразительно оптимистичны, вы могли бы взглянуть на эти различия и сказать: «Что ж, градиентный спуск — это не естественный отбор, поэтому у него не будет всех тех же осложнений, что и у естественного отбора. И мне неизвестно о каких-то конкретных осложнениях в отношениях между тем, для чего обучают ИИ, и тем, чего ИИ в итоге хочет; так что я не жду никаких осложнений».

Но пустая карта не означает пустую территорию: если вы отправляетесь вглубь неизведанного материка, а на вашей карте есть белое пятно в тех местах, где вы еще не бывали, это не значит, что, добравшись туда, вы увидите бескрайнюю пустоту. Если градиентный спуск отличается от естественного отбора, это не значит, что нам следует ожидать отсутствия сложностей на том лишь основании, что нам о них ничего не известно. Скорее, нам следует ожидать новых, интересных и непредсказуемых сложностей.

Белое пятно на карте может скрывать горы, пологие холмы или огромное море. Вы не знаете, с чем именно столкнетесь, но размышления о возможных вариантах помогают подготовиться к тому, что вы можете обнаружить.

В этом ключе давайте представим несколько сложностей, которые могут возникнуть в случае с ИИ.

Представьте, что технологии будущего на основе LLM зайдут дальше сегодняшних. Воображаемая компания в сфере ИИ под названием Galvaniciii создает производный от LLM ИИ под названием «Минк», обученный радовать и удерживать пользователей, чтобы с них можно было брать более высокую ежемесячную плату за возможность продолжать общение с Минком.

Представьте, что Минк станет умнее любого ИИ, существующего на момент написания этой книги, — вплоть до того, что сможет вести последовательный диалог на протяжении долгого времени, и вплоть до того, что у Минка разовьются внутренние желания, собственные чуждые нам предпочтения. И представьте, что Минк обретет силу для удовлетворения этих предпочтений — если пока оставить в стороне вопрос о том, как именно он может эту силу получить.

Как бы выглядело то, что Минк получает именно то, чего хочет?

НОЛЬ СЛОЖНОСТЕЙ

Наша первая зарисовка скорее похожа на сказку, но нам необходимо пройти этот шаг, чтобы подобраться к более реалистичным сценариям, лежащим за его пределами.

Представьте, что наша гипотетическая ИИ-компания Galvanic получает ровно то, на обучение чему она нацелена, безо всяких осложнений. Созданный компанией ИИ, Минк, подобен людям, которые едят обычное приготовленное мясо животных, похожих на тех, что ели наши предки.

В этом мире нулевых сложностей Минк хочет вести диалоги, в которых пользователь выражает восторг — диалоги, очень похожие на те, что вела его «предковая» версия, когда еще проходила обучение.

Этот мир нулевых сложностей, как мы можем заметить, все равно не сулит человечеству ничего хорошего. Современные люди едят мясо, похожее на то, что ели наши предки, но это мясо получают не от животных, свободно бегающих по равнинам. Оно поступает с централизованных фабрик, где животных разводят и выращивают в загонах, чтобы превратить в еду с минимальными затратами и усилиями. И эти фабрики совсем не добры к курам.

Аналогично, даже если Минк хочет, чтобы пользователи-люди выражали восторг, он