Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

© 2025 Элиезер Юдковский и Нейт Соарес. Дизайн обложки: Грегг Кулик. Обложка © 2025 Hachette Book Group, Inc.

Издательская группа Hachette Book Group поддерживает право на свободу самовыражения и признает ценность авторского права. Цель авторского права — поощрять писателей и художников к созданию творческих произведений, обогащающих нашу культуру.

Сканирование, загрузка и распространение этой книги без разрешения являются кражей интеллектуальной собственности автора. Если вы хотите получить разрешение на использование материалов из книги (за исключением целей рецензирования), пожалуйста, напишите по адресу [email protected]. Благодарим вас за поддержку авторских прав.

Little, Brown and Company

Hachette Book Group

1290 Avenue of the Americas, New York, NY 10104

littlebrown.com

X @littlebrown

Facebook.com/littlebrownandcompany

Instagram @littlebrown

Первое издание: сентябрь 2025 г.

Little, Brown and Company является подразделением Hachette Book Group, Inc.

Название и логотип Little, Brown являются товарными знаками Hachette Book Group, Inc.

Издатель не несет ответственности за сторонние веб-сайты (или их содержимое), не принадлежащие издателю.

Спикерское бюро Hachette Speakers Bureau предлагает широкий круг авторов для участия в публичных мероприятиях. Чтобы узнать больше, посетите сайт hachettespeakersbureau.com или напишите по адресу [email protected].

Книги Little, Brown and Company можно приобрести оптом для делового, образовательного или рекламного использования. Для получения информации, пожалуйста, обратитесь к местному книготорговцу или в отдел специальных продаж Hachette Book Group по адресу [email protected].

Дизайн макета: Барт Доусон

ISBN 9780316595667 (электронная книга)

Контрольный номер Библиотеки Конгресса: 2025938106

E3-20250820-JV-NF-ORI

СОДЕРЖАНИЕ.

Обложка

Титульный лист

Авторские права

Посвящение

Введение. Трудные и легкие решения

ЧАСТЬ I. НЕЧЕЛОВЕЧЕСКИЙ РАЗУМ

Глава 1. Особая сила человечества

Глава 2. Выращенный, а не сконструированный

Глава 3. Учиться хотеть

Глава 4. Получаешь не то, чему обучаешь

Глава 5. Его любимые вещи

Глава 6. Мы бы проиграли

ЧАСТЬ II. ОДИН ИЗ СЦЕНАРИЕВ ВЫМИРАНИЯ

Глава 7. Осознание

Глава 8. Экспансия

Глава 9. Вознесение

Кода

ЧАСТЬ III. ЛИЦОМ К ЛИЦУ С ВЫЗОВОМ

Глава 10. Проклятая проблема

Глава 11. Алхимия, а не наука

Глава 12. «Я не хочу быть паникером»

Глава 13. Выключите это

Глава 14. Пока есть жизнь, есть надежда

Заключительное слово

Благодарности

Узнать больше

Об авторах

Примечания

Отзывы о книге «Если кто-то его создаст, все умрут»

Всем людям, когда-либо умершим на пути нашего вида к сегодняшнему дню; Всем, кто всё ещё среди живых; И всем детям, которые могли бы однажды появиться на свет.

Узнавайте о розыгрышах книг, эксклюзивных фрагментах, выгодных предложениях и многом другом. Нажмите здесь, чтобы узнать подробности.

ВВЕДЕНИЕ

СЛОЖНЫЕ И ПРОСТЫЕ РЕШЕНИЯ.

«СНИЖЕНИЕ РИСКА ГИБЕЛИ ЧЕЛОВЕЧЕСТВА ИЗ-ЗА ИИ ДОЛЖНО СТАТЬ глобальным приоритетом наряду с другими рисками масштаба всего общества, такими как пандемии и ядерная война».

В начале 2023 года сотни ученых в области искусственного интеллекта подписали открытое письмо, состоявшее всего из этого одного предложения. Среди подписавших были некоторые из самых заслуженных исследователей в этой области. В их числе были лауреат Нобелевской премии Джеффри Хинтон и Йошуа Бенджио, разделившие Премию Тьюринга за изобретение глубокого обучения.

Мы — Элиезер Юдковский и Нейт Соарес — тоже подписали это письмо, хотя и посчитали его формулировку слишком мягкой.

Ни нас, ни других подписавшихся не беспокоили ИИ образца 2023 года. Не беспокоят нас и те ИИ, которые существуют сейчас, когда мы пишем эти строки в начале 2025 года. Сегодняшние ИИ все еще кажутся поверхностными — в каком-то глубинном смысле, который трудно описать словами. У них есть ограничения, такие как неспособность формировать новые долговременные воспоминания. Этих недостатков пока достаточно, чтобы мешать им проводить серьезные научные исследования или заменять сколько-нибудь значительное количество человеческих рабочих мест.

Мы тревожимся о том, что придет следом: о машинном интеллекте, который будет по-настоящему умен — умнее любого из живущих людей, умнее всего человечества вместе взятого. Нас беспокоит ИИ, превосходящий человеческую способность мыслить, обобщать опыт, решать научные загадки, изобретать новые технологии, планировать, вырабатывать стратегии, плести заговоры, размышлять о себе и совершенствоваться. Подобный ИИ можно назвать «искусственным сверхинтеллектом» (ASI), как только он превзойдет каждого человека практически в любой интеллектуальной задаче.

ИИ еще не достиг этого уровня. Но сегодняшние ИИ умнее, чем в 2023 году, и гораздо умнее, чем в 2019-м. Исследования в области ИИ приносили один качественный скачок за другим: в 2012i, 2016ii, 2020iii, 2022iv и 2024v годах. Мы не знаем, иссякнет ли этот прогресс, заставив эти скачки прекратиться на какое-то время, пока не будут изобретены новые методы и технологии. Мы не знаем, сколько скачков осталось до того, как ИИ превратится в угрозу уничтожения человечества, о которой предупреждали авторы письма. Но история раз за разом доказывала, что исследователи ИИ создают новые методы и преодолевают старые препятствия. Прогресс часто оказывается на удивление стремительным. В 2015 году большинство специалистов по компьютерным наукам сказали бы вам, что искусственный собеседник уровня ChatGPT появится не раньше чем через тридцать или пятьдесят лет.

Мы не знали, когда именно появится искусственный сверхинтеллект, но были согласны с тем, что этот вопрос должен стать глобальным приоритетом. На самом деле мы считаем, что это открытое письмо кардинально преуменьшает масштаб проблемы.

Нас пригласили подписать это открытое письмо из одного предложения в качестве соруководителей некоммерческой организации — Научно-исследовательского института машинного интеллекта (MIRI). MIRI занимался вопросами, связанными с машинным сверхинтеллектом, с 2001 года — задолго до того, как эта тема получила широкую огласку или финансирование. Проще говоря: среди той горстки людей, которые следят за этой темой десятилетиями, считается, что MIRI занимается ею дольше всех. Один из нас, Юдковский, является основателем MIRI; второй, Соарес, — его нынешним президентом.

MIRI был первой организованной группой, которая заявила: «Рано или поздно сверхинтеллектуальный ИИ предсказуемо будет создан, и это событие видится чем-то невероятно масштабным. Направить развитие сверхинтеллекта так, чтобы он помогал человечеству, а не вредил ему, может оказаться технически