Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски Страница 7

Подобный каскад положительной обратной связи со временем упёрся бы в физические пределы и сошёл на нет, но это не значит, что он угаснет быстро. Сверхновая звезда не нагревается до бесконечности, но она становится достаточно горячей, чтобы испарить любые близлежащие планеты. Собственный, более скромный интеллектуальный каскад человечества — от сельского хозяйства к письменности и науке — развивался так стремительно, что люди уже ходили по Луне до того, как какой-либо другой вид освоил огонь.

Мы не знаем, где проходит порог для самого глупого ИИ, способного построить ИИ, который построит ИИ, который построит сверхинтеллект. Возможно, ему нужно быть умнее человека, а возможно, будет достаточно множества более глупых систем, работающих в течение долгого времени. В конце 2024 — начале 2025 года руководители ИИ-компаний заявляли, что планируют создать «сверхинтеллект в истинном смысле этого слова» и ожидают в скором времени получить ИИ, подобный целой стране гениев, собранной в дата-центре. Конечно, ко всему, что говорят руководители корпораций, нужно относиться с долей скепсиса. Но всё же они не относятся к этому как к риску, которого нужно избегать; они намеренно несутся ему навстречу. Попытки уже предпринимаются.

По умолчанию ИИ-компании будут продолжать раздвигать границы возможного. Существует коммерческий стимул создавать всё более и более умные разумы, и этот процесс не остановится на человеческом уровне интеллекта. Если человечество продолжит идти по этому пути, разумы, созданные этими компаниями, в конце концов обойдут нас. Возможно, это произойдёт даже быстрее, чем позволяют предположить нынешние темпы прогресса, — как только ИИ сами займутся исследованиями в области ИИ.

Что произойдёт, если на Земле появятся машинные интеллекты, обладающие как минимум такой же глубиной и универсальностью, как отдельные люди — или даже человечество в целом, — и при этом превосходящие нас практически во всех областях?

Человеческий интеллект — источник всей нашей силы, всех наших технологий. Даже внутри человеческого вида небольшие различия в том, сколько времени группы людей тратили на накопление технологического потенциала, превращаются в военные преимущества уровня «у нас есть пушки, а у них нет». Между видами неравенство сил, обеспечиваемое интеллектом, проявляется ещё острее: отдельные шимпанзе порой убивают отдельных людей, но есть причина, по которой наш вид пытается уберечь их вид от случайного вымирания.

До сих пор у человечества не было конкурентов по части нашей особой силы. Но что, если машинные разумы станут лучше нас в том, что до сих пор делало нас уникальными?

Примечания

i Эта точка зрения подкрепляется теорией, которую мы обсуждаем в онлайн-материалах. В конечном счёте, мы не будем слишком зацикливаться на определениях. Если удар молнии подожжёт лес вокруг вас, вы не спасётесь, ловко определив «пожар» так, чтобы под это понятие попадали только рукотворные пожары; вам нужно просто бежать.

ii К чему эта оговорка? Потому что, даже если бы Землю захватили немыслимо развитые пришельцы с миллиардом дополнительных лет размышлений за плечами, они всё равно не смогли бы обыграть человечество в крестики-нолики, крошечную игру, правила безупречной стратегии в которой достаточно просты, чтобы человек мог выучить их наизусть — по крайней мере, если бы люди были защищены от таких уловок, как подсыпание пришельцами снотворного в наши напитки. Это вполне реальное ограничение того, насколько сверхинтеллект может превзойти человеческие результаты. Но этот предел применим только к очень крошечным играм.

ГЛАВА 2

ВЫРАЩЕННЫЙ, А НЕ СКОНСТРУИРОВАННЫЙ.

Сцена: Мужчина и женщина днем сидят в ресторане. Голос женщины звучит тихо и напряженно.

ЖЕНЩИНА: И дело в том, что я просто ни с кем не могу нормально поговорить об этом. Все в его семье, кроме него самого, — ужасные люди, и он говорит, что ему приходится прикладывать кучу усилий, чтобы самому не быть ужасным, и иногда он бывает ужасен, в том числе и со мной. С моей стороны в семье все борются с депрессией. Мои родители наседают на меня, чтобы я родила ребенка, а у друзей миллион мнений, которые, кажется, основаны исключительно на их собственном опыте с их партнерами и детьми. Стоит ли мне искать донора спермы? Или просто отказаться от мысли завести детей? И если у меня родится ребенок, вырастет ли он счастливым и добрым?

МУЖЧИНА: Ты пришла по адресу! Никто не предскажет, каким вырастет ребенок, лучше меня! Я знаю всё о том, как делаются дети!

ЖЕНЩИНА: Ты… что? Мне не нужно знать, как делаются дети! Мне нужно знать, каким мой ребенок вырастет!

МУЖЧИНА: Ну, если ты знаешь, как дети делаются… то что еще тебе может понадобиться знать?

ЖЕНЩИНА: Моя первая мысль была: «реальная генетика моего ребенка», вот только —

МУЖЧИНА: А! Тогда у меня есть решение! Полное секвенирование индивидуального генома в наши дни вполне доступно. Просто создай эмбрион из своей яйцеклетки и спермы своего мужа и секвенируй его геном, прежде чем решать, имплантировать ли его. Эта последовательность генов расскажет тебе абсолютно всё, что можно знать о твоем ребенке.

ЖЕНЩИНА: Но разве мы знаем достаточно о генах, связанных с такими вещами, как «быть ужасным человеком» или «быть счастливым»? Достаточно, чтобы сказать мне...

МУЖЧИНА: Когда ты будешь знать все основания ДНК в генах своего ребенка и сможешь заглянуть в них в любой момент, генетика твоего ребенка станет для тебя прозрачной. Не останется ни одного факта о его генах, которого бы ты не знала.

ЖЕНЩИНА: Я получу файл, содержащий три миллиарда непостижимых букв вроде «ЦАТТЦА». У меня ушло бы сто лет на то, чтобы просто все их прочитать. Я бы ничего не поняла, даже если бы попыталась. Даже если эти миллиарды непостижимых букв действительно оказывают огромное влияние на судьбу моего ребенка, сами по себе буквы ДНК ничего не говорят мне о том, как устроен мозг моего ребенка, какие мысли будут возникать в этом мозге, когда он вырастет…

МУЖЧИНА: О, так ты, значит, не знаешь физику! Но это же проще простого! Как только ты узнаешь, как взаимодействуют протоны, нейтроны и электроны, ты будешь знать абсолютно всё, что только можно знать о мозге, потому что будешь понимать каждый процесс, происходящий внутри нейронов.

ЖЕНЩИНА: Давай сменим тему.

ПРЕЖДЕ ЧЕМ МЫ СМОЖЕМ ОБЪЯСНИТЬ, ПОЧЕМУ ИСКУССТВЕННЫЙ СВЕРХИНТЕЛЛЕКТ, созданный с помощью современных (или