Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски Страница 3

Мы не знаем, когда наступит конец света, если люди и страны ничего не изменят в своем подходе к искусственному интеллекту. Мы не знаем, какими будут заголовки новостей об ИИ через два года или десять лет, и даже не знаем, есть ли у нас вообще эти десять лет. Мы вовсе не утверждаем, будто мы так умны, что способны предсказывать вещи, которые трудно поддаются прогнозированию. Напротив, нам кажется, что один конкретный аспект будущего — «Что произойдет со всеми нами и со всем, что нам дорого, если сверхинтеллект будет создан в ближайшее время?» — при наличии достаточных базовых знаний и тщательных рассуждений может стать весьма простым и очевидным выводом.

Вымирание человечества из-за сверхчеловеческого ИИ на первый взгляд может показаться неочевидным выводом. Но именно для объяснения этого и написана остальная часть книги. Подобно тому как требуется знание арифметики, чтобы рассчитать шансы на выигрыш в лотерею, или основы термодинамики, чтобы объяснить, почему кубик льда предсказуемо тает, необходима определенная база, чтобы понять, почему искусственный интеллект представляет собой неизбежную угрозу вымирания для человечества. Но как только эти основы заложены, прогноз исхода нашей нынешней траектории начинает казаться мрачно, пугающе очевидным.

Даже перед лицом сверхчеловеческого машинного разума велик соблазн представить, что мир останется точно таким же, каким он был на протяжении последних нескольких десятилетий нашей относительно короткой жизни. Нам трудно об этом помнить, но это правда: всего несколько веков назад существовало столь же реальное время, как и наше, когда цивилизация была радикально иной. Или тысячелетия назад, когда о цивилизации вообще говорить не приходилось. Или миллион лет назад, когда людей еще не было. Или миллиард лет назад, когда у многоклеточных колоний еще не было специализированных клеток.

Умение смотреть на вещи в исторической перспективе помогает нам осознать то, что так трудно разглядеть с высоты нашей короткой жизни: Природа допускает потрясения. Природа допускает катастрофы. Природа допускает, что мир может никогда больше не стать прежним.

Давным-давно, 2,5 миллиарда лет назад, произошло событие, которое биологи называют Кислородной катастрофой: новая форма жизни научилась использовать энергию солнечного света, чтобы извлекать из воздуха ценный углерод. В качестве отходов эта форма жизни выделяла крайне токсичное и химически активное вещество, ядовитое для большинства существовавших тогда организмов, — вещество, которое мы теперь называем «кислородом». Он начал накапливаться в атмосфере. Большинство живых существ — включая и большинство бактерий, выделявших этот кислород, — не смогли справиться с его высокой реакционной способностью и погибли. Лишь немногим удачливым линиям клеток удалось приспособиться, и со временем они эволюционировали в организмы, использующие кислород как топливо. Но жизнь уже никогда не вернулась к прежней норме. Мир больше никогда не был прежним.

Давным-давно континенты представляли собой бесплодные скалы. Затем, в мгновение ока по эволюционным меркам, они покрылись ковром растительности. Вскоре после этого леса закишели жизнью. Мир больше никогда не был прежним.

Давным-давно люди одомашнили пшеницу и ячмень. В еще более ничтожную долю эволюционного мгновения они начали строить цивилизации. Мир больше никогда не был прежним.

Давным-давно, в 1930-х годах, появились первые тревожные звонки, предупреждавшие, что некоторым семьям в Германии больше небезопасно оставаться. Немногие уехали сразу; большинство предпочло остаться. Затем нацистское правительство аннулировало их гражданство и паспорта, значительно усложнив побег в будущем. Спустя еще несколько лет немецких евреев, цыган и представителей других меньшинств начали сгонять в лагеря смерти. В воспоминаниях выживших говорится, что многие из этих семей остались не потому, что не замечали тревожных знаков, а потому, что верили: жизнь вернется в нормальное русло прежде, чем все зайдет слишком далеко.

Давным-давно человечество стояло на пороге создания искусственного сверхинтеллекта…

Привычный ход вещей всегда заканчивается. Это не значит, что на смену ему неизбежно приходит нечто худшее; иногда это так, а иногда нет, а порой всё зависит от наших действий. Но цепляться за надежду, будто нам просто не позволят случиться ничему ужасному, обычно не помогает.

У людей есть способность направлять будущее с помощью своего разума. Но эта способность работает только в том случае, если мы её используем — если мы делаем то, что должны, когда это необходимо. В отрыве от этого разум бессилен. Он работает, меняя наши действия, — или не работает вовсе.

Ближайшие месяцы и годы станут для всего человечества испытанием не на жизнь, а на смерть. Своей книгой мы надеемся вдохновить отдельных людей и целые страны достойно встретить этот вызов.

В последующих главах мы изложим научную основу наших опасений, обсудим порочные стимулы, действующие в сегодняшней индустрии ИИ, и объясним, почему ситуация складывается еще более угрожающая, чем кажется. Мы простым языком разберем современное машинное обучение и опишем, как и почему нынешние методы абсолютно непригодны для создания ИИ, способного улучшить мир, а не уничтожить его.

В Части I этой книги мы формулируем суть проблемы, отвечая на такие вопросы, как: Что такое разум? Как создаются современные ИИ и почему их так трудно понять? Могут ли у ИИ быть желания? Появятся ли они? И если да, то чего именно они захотят и с какой стати им убивать нас? Как они это сделают? В конечном итоге мы предсказываем появление ИИ, которые не будут нас ненавидеть, но будут обладать причудливыми, странными, чуждыми предпочтениями, которые они будут воплощать в жизнь вплоть до вымирания человечества.

В Части II мы сводим воедино все эти доводы, чтобы рассказать историю об ИИ, который уничтожает мир, очень похожий на наш собственный. Эта история не является точным предсказанием, поскольку конкретный путь, по которому пойдет будущее, трудно угадать. Единственная часть этой истории, являющаяся предсказанием, — это её финал. И это предсказание сбудется лишь в том случае, если подобной истории вообще позволят начаться.

В Части III мы оцениваем сложность вызова, стоящего перед человечеством, и анализируем предпринятые на сегодняшний день ответные меры. Насколько успешно компании, занимающиеся ИИ, справляются с этой проблемой? Почему мир не обращает на неё больше внимания? Что общество могло бы сделать иначе, если достаточное количество из нас решит не умирать? Что потребуется Земле для того, чтобы не создавать машинный сверхинтеллект?

У людей возникают самые разные