Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски Страница 4

противоречивые интуитивные представления об искусственном интеллекте, и за эти годы мы выслушали великое множество вопросов и возражений, основанных на самых разных предпосылках и точках зрения. В дополнительных материалах мы рассматриваем больше оговорок, тонкостей и часто задаваемых вопросов, а также некоторые принципиальные теоретические основы и развернутые аргументы, которые сделали бы эту книгу в несколько раз длиннее и гораздо менее доступной. Если в конце какой-либо главы у вас возникнут возражения, мы настоятельно рекомендуем вам продолжить чтение в интернете.

Многие главы мы открываем притчами — историями, которые, как мы надеемся, помогут донести некоторые мысли проще, чем обычные рассуждения. Они также могут добавить немного легкости этой в остальном тяжелой теме. Это вполне в духе древнейшей традиции, возможно, зародившейся еще до появления человеческого вида в его нынешнем облике, — смеяться в лицо смерти.

Признаем, эта книга не изобилует хорошими новостями. Но мы пришли не для того, чтобы заявить, будто вы обречены. Искусственного сверхинтеллекта пока не существует. Человечество все еще может решить не создавать его.

В 1950-х годах многие ожидали ядерной войны между великими державами мира. Учитывая историю человеческих конфликтов до того момента, для пессимизма были все основания. Тем не менее до сих пор ядерной войны не случилось. И дело не в том, что ядерные бомбы оказались чистой фантастикой, невозможной в реальной жизни, а в том, что люди упорно трудились над созданием устойчивых систем, исключающих развязывание ядерных войн. Они делали все это потому, что мировые лидеры знали: в случае ядерной войны и у них, и у жителей их стран выдастся крайне скверный день.

У них также выдался бы скверный день, если бы кто угодно, в любой точке Земли, создал машинный сверхинтеллект. Вряд ли в чьих-либо интересах погибнуть вместе со всей своей семьей и друзьями, со своей страной и ее детьми.

Остановить продолжающуюся эскалацию технологий ИИ, взять под контроль аппаратное обеспечение, используемое для создания все более мощных моделей ИИ, — сделать это в современном мире было бы совсем не легко. Но чтобы остановить дальнейшую эскалацию возможностей ИИ, потребовалось бы гораздо меньше усилий, чем ушло, скажем, на ведение Второй мировой войны. Для обретения воли к жизни нужно лишь, чтобы некоторые страны, лидеры и избиратели осознали: их отделяет от края гибели некоторое трудно поддающееся оценке, но, возможно, очень короткое расстояние.

Это будет нелегкая задача, но мы еще не мертвы. Человеческое достоинство — и достоинство всего человечества — требует, чтобы мы дали бой.

Пока есть жизнь, есть и надежда. Примечания

i В 2012 году AlexNet нашла ключ к решению проблемы распознавания объектов на изображениях.

ii AlphaGo победила сильнейшего в мире игрока в го среди людей в 2016 году.

iii (Чисто предсказательная) языковая модель GPT-3 была выпущена в 2020 году.

iv (Широко применимый) ChatGPT появился в 2022 году.

v В 2024 году рассуждающие модели начали решать математические задачи, писать код и разгадывать визуальные головоломки.

vi «AGI» означает «общий искусственный интеллект» (Artificial General Intelligence) — термин, призванный отличить ИИ, который интуитивно воспринимается как «действительно умный», от узконаправленных видов ИИ прошлых лет. В этой книге мы избегаем этого термина из-за того, насколько сильно люди расходятся во мнениях о его значении на фоне появления таких ИИ, как ChatGPT.

vii Если это правда, то произошло вопреки возражениям Юдковского, считавшего OpenAI ужасной, ужасной идеей.

ЧАСТЬ I. НЕЧЕЛОВЕЧЕСКИЕ РАЗУМЫ.

ГЛАВА 1

ОСОБАЯ СИЛА ЧЕЛОВЕЧЕСТВА.

ПРЕДСТАВЬТЕ СЕБЕ — хотя ничего подобного, конечно, никогда не происходило, ведь это всего лишь притча, — что биологическая жизнь на Земле возникла в результате игры богов. Что существовал бог тигров, создавший тигров, и бог секвой, создавший секвойи. Представьте, что были свои боги у каждого вида рыб и каждого вида бактерий. Представьте, что эти игроки состязались за власть над миром для тех семейств видов, которым покровительствовали, пока внизу, на планете, плодились и множились различные формы жизни.

Представьте, как примерно за два миллиона лет до наших дней неприметный бог обезьян окинул взглядом их огромную, размером с планету, игровую доску.

— Мне понадобится ещё несколько ходов, — сказал бог гоминид, — но, кажется, победа у меня в кармане.

Повисло недоуменное молчание: множество богов склонилось над игровой доской, пытаясь понять, что же они упустили. Бог скорпионов спросил: «Как? У твоего семейства „гоминид“ нет ни панциря, ни когтей, ни яда».

— Их мозг, — ответил бог гоминид.

— Я заражу их, и они умрут, — заявил бог оспы.

— Это пока, — возразил бог гоминид. — Твой конец наступит быстро, Оспа, стоит их мозгу научиться с тобой бороться.

— Но у них даже близко не самый большой мозг! — подал голос бог китов.

— Дело не только в размере, — сказал бог гоминид. — Устройство их мозга тоже играет здесь роль. Пройдёт два миллиона лет, и они будут расхаживать по луне своей планеты.

— Я и вправду не вижу, в каком месте метаболизма этого существа вырабатывается ракетное топливо, — заметил бог секвой. — Нельзя выйти на орбиту, просто думая. В какой-то момент твоему виду придется развить метаболизм, очищающий ракетное топливо — а также стать довольно крупным, в идеале высоким и узким — с твердым внешним панцирем, чтобы его не раздуло и он не погиб в вакууме космоса. Сколько бы твоя обезьяна ни думала, она так и останется сидеть на земле, думая изо всех сил.

— Кое-кто из нас играет в эту игру уже миллиарды лет, — косо взглянув на бога гоминид, заметил бог бактерий. — До сих пор мозги не давали такого уж большого преимущества.

— И тем не менее, — сказал бог гоминид.

А ВОТ КАК ИСТОРИЯ НАШЕГО ВИДА СЛОЖИЛАСЬ НА САМОМ ДЕЛЕ: люди обзавелись мозгом, необычайно крупным для животных их размера. Они приручили огонь, построили фермы и научились выплавлять железо. А спустя поразительно короткое по меркам биологической эволюции время люди уже высаживались на Луну — хотя наш метаболизм не умеет очищать ракетное топливо, а наша кожа не способна выдерживать вакуум.

Другие виды на Земле рождаются со специализированными навыками: пчелы строят ульи, бобры строят плотины. Человек же смотрит на плотину бобра и понимает, как она устроена; мы научились