Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски Страница 2

Мы не сразу пришли к этому. В 2000 году Юдковский начинал с попыток создать машинный сверхинтеллект. Но в 2001 году он понял, что тот вовсе не обязательно окажется дружелюбным. А в 2003 году осознал, что эта задача будет очень сложной.

Первые два десятилетия своего существования MIRI был техническим исследовательским институтом и мало участвовал в политике. Организация в основном проводила семинары для заинтересованных ученых и обеспечивала условия для работы нескольких перспективных исследователей. Мы пытались разработать математический аппарат, позволяющий понять и направить развитие сверхчеловеческого машинного интеллекта, а также предсказать, в чем именно все может пойти не так.

Деятельность MIRI также имела и косвенные последствия, к которым мы теперь относимся неоднозначно или с сожалением. На организованной нами конференции мы познакомили Демиса Хассабиса и Шейна Легга, основателей будущей компании Google DeepMind, с их первым крупным инвестором. А Сэм Альтман, генеральный директор OpenAI, однажды заявил, что Юдковский «заинтересовал многих из нас общим искусственным интеллектом»vi и «сыграл решающую роль в решении запустить OpenAI».vii

История MIRI сложна, но наше отношение к этой более широкой области можно обобщить так: за годы до появления любой из нынешних ИИ-компаний предупреждения MIRI были известны как те самые доводы, которые вам необходимо было отбросить, если вы хотели работать над созданием по-настоящему умного ИИ, невзирая на риск гибели человечества.

Не так давно, когда сфера ИИ начала бурно развиваться, мы с тревой наблюдали, как новоиспеченные создатели ИИ-компаний заговорили об искусственном сверхинтеллекте как об источнике колоссального, чудесного могущества. Могущества, которое, как они полагали, они смогут контролировать. Главная опасность, по мнению многих из этих основателей, заключалась в том, что сверхинтеллект (ASI) может «достаться» не тем людям. Они твердили о необходимости победить в «гонке вооружений в сфере ИИ». А о возможности того, что не вы «владеете» ASI, а сам ASI владеет ASI — то есть единственным победителем в гонке вооружений ИИ станет сам ASI, — эти основатели не упоминали.

Мы видели, что возможности ИИ растут очень быстро.

Мы видели, что область исследований, в которой мы участвовали — направленная на понимание систем ИИ и на то, чтобы они, возможно, не пошли по неверному пути, — развивалась гораздо, гораздо медленнее.

Стремительный бросок ИИ-компаний к сверхчеловеческому интеллекту — их попытки создать его как можно скорее, опередив конкурентов, — стал казаться нам гонкой к пропасти. Индустрия неслась навстречу катастрофе: из тех, что попадают в учебники как пример того, как не надо проектировать системы, — вот только в живых не осталось бы никого, кто мог бы написать этот анализ.

Нам больше не казалось реалистичным, что человечество сможет избежать катастрофы лишь за счет инженерных разработок и исследований. Не в таких условиях. И не за такое время.

Мы списали свои прежние усилия со счетов как провальные, свернули большую часть исследований MIRI и переключили внимание института на донесение одной-единственной мысли — предупреждения, которое лежит в основе этой книги:

Если какая-либо компания или группа в любой точке планеты создаст искусственный сверхинтеллект с использованием чего-то хотя бы отдаленно похожего на нынешние методы, на основе чего-то хотя бы отдаленно похожего на сегодняшнее понимание ИИ, то все и повсюду на Земле погибнут.

Мы говорим это без всякой гиперболизации. Мы не преувеличиваем ради пущего эффекта. Мы считаем, что это самая прямая экстраполяция на основе имеющихся знаний, доказательств и того, как сегодня ведут себя институты, занимающиеся искусственным интеллектом.

В этой книге мы излагаем свои аргументы в надежде сплотить достаточное количество ключевых лиц, принимающих решения, и обычных людей, чтобы они отнеслись к ИИ серьезно. Исход по умолчанию смертелен, но ситуация не безнадежна: машинного сверхинтеллекта еще не существует, и его создание все еще можно предотвратить.

Как вообще можно быть уверенным в том, что произойдет с ИИ? «Прогнозировать очень трудно, особенно когда речь идет о будущем», — гласит известный афоризм. Большая часть того, что нам хотелось бы знать о будущем, на самом деле непредсказуема. Мы не можем, к примеру, назвать вам выигрышные номера лотереи на следующей неделе. Любая комбинация чисел кажется столь же вероятной, как и любая другая.

Но некоторые факты о будущем действительно предсказуемы. Если вы лично купите завтра лотерейный билет, мы не знаем, какими сложными теориями или капризами вы будете руководствоваться при выборе номеров, и не знаем, какие именно номера выпадут, но вся эта неопределенность складывается в очень сильный прогноз: вы не выиграете в лотерею. Точно так же, если вы бросите кубик льда в стакан с горячей водой, невозможно детально рассчитать, где окажется каждая молекула через десять минут, — но вся эта неопределенность складывается в практически стопроцентный прогноз: кубик льда растает. Половина физики устроена именно так: мы не можем вычислить, по какому именно пути пойдет процесс, но знаем, куда ведут почти все пути.

При наличии правильных знаний и усилий некоторые аспекты будущего предсказуемы, тогда как другие представляют собой невероятно трудную задачу для прогноза. Грамотный футуризм строится на понимании этой разницы.

История учит, что один из типов относительно простых прогнозов на будущее строится на осознании того, что некое явление теоретически возможно согласно законам физики, и предсказании, что рано или поздно кто-то это сделает. Полеты на аппаратах тяжелее воздуха, оружие, высвобождающее ядерную энергию, ракеты, летящие на Луну с человеком на борту, — все эти события были предсказаны заранее и по верным причинам, несмотря на сопротивление скептиков, которые глубокомысленно замечали, что ничего подобного еще не случалось, а значит, скорее всего, никогда и не случится. Люди, привязывавшие крылья к рукам и прыгавшие с холмов, выглядели крайне глупо, подвергались насмешкам современников и действительно калечили себя, терпя неудачи, — но это не помешало братьям Райт разобраться, как летать.

И наоборот, предсказание того, когда именно технология будет разработана, исторически оказывалось гораздо более сложной задачей. Люди заявляют, что до технологии осталось года два, когда на самом деле требуется полвека, или говорят «пятьдесят лет», когда на деле до нее года два, причем они сами ее и создадут. «Человек не полетит еще тысячу лет», — бросил Уилбур Райт Орвиллу Райту в 1901 году, когда ему до смерти надоел безмоторный планер, который они тогда испытывали. Два года спустя, в 1903-м, братья Райт взлетели.

Успешное прогнозирование заключается не в