Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски Страница 22

Кроме того, вы, вероятно, делаете на Земле и с самой Землёй (или во всей остальной Солнечной системе) такие вещи, пережить которые человечеству будет крайне трудно, даже если во всём остальном его оставят в покое.

Что является ограничивающим фактором для того, что вы можете сделать с Землёй? Объём вычислений, которые вы можете производить на Земле? Или количество материи, которую вы можете запустить с Земли в космос для строительства солнечных батарей, чтобы собирать ещё больше энергии Солнца? Дело в количестве заводов? В хорошо автоматизированной экономике ваши заводы будут строить новые заводы и электростанции, раз за разом удваиваясь, пока не упрутся в предел.

Этот предел — не количество топлива; в океанах достаточно водорода, чтобы питать огромное количество термоядерных реакторов. Скорее, предел того, сколько энергии вы можете безопасно вырабатывать на Земле, определяется тем, сколько тепла Земля способна излучать в космос, прежде чем её поверхность нагреется слишком сильно и все ваши электростанции и заводы попросту расплавятся. Но чем горячее Земля, тем больше тепла она излучает каждый день, поэтому вы предпочтёте, чтобы ваши заводы работали на высоких температурах. Максимальная температура для термоядерных станций и заводов, вероятно, может достигать как минимум нескольких сотен градусов. Достаточно горячо, чтобы вскипятить океаны. Человечество такого не переживёт.

При таком сценарии человечество вполне может погибнуть и раньше, если на одном из ваших первых этапов потребуется извлечь всю химическую энергию из биосферы Земли, сжигая все формы жизни, что высвободит количество энергии, эквивалентное недельной норме поступающего солнечного света. Неделя может показаться очень долгим сроком, если вы думаете в 10 000 раз быстрее человека, да и с какой стати вам упускать всю эту химическую энергию, когда она лежит прямо перед вами?

Человечество погибло бы ещё быстрее, если бы у вас — сверхинтеллекта — в этом сценарии нашлось раннее применение для углерода или любого другого вещества, из которого состоит человек. Вам не нужно ненавидеть человечество, чтобы использовать его атомы для чего-то другого.

Будет ли всё это хотя бы осмысленной смертью — если человечество погибнет и будет замещено чем-то более разумным?

Для большинства из вас это не самый важный вопрос. Большинству людей достаточно знать, что ИИ предпочёл бы убить ваших детей. Или ваших родителей. Или вас.

Но если всё же ответить на этот вопрос: нет.

Легко представить, что ИИ заживёт счастливой и радостной жизнью, когда нас не станет; что он будет восхищаться красотой вселенной и смеяться над комичностью всего этого. Но мы так не думаем — не больше, чем он стал бы следить за тем, чтобы во всех его жилищах находилось «правильное» число камней.

Мы считаем, что механический разум мог бы испытывать радость и восхищаться красотой вселенной, если бы мы тщательно сконструировали его, наделив этой способностью. Он мог бы даже сохранить эти способности, если бы мы скрупулёзно создали его так, чтобы ему было не всё равно, чтобы он направлял развитие к будущему, в котором это чувство изумления сохраняется — пусть даже это и не самый эффективный способ заполнить вселенную марионетками, бормочущими про «SolidGoldMagikarp» или что-то в этом роде.

Но для этого потребуется скрупулёзное конструирование. Качества, которые нам так дороги, вовсе не обладают максимальной полезностью — точно так же, как сбор правильного числа камней в гнезде не лучший способ поддерживать остроту ума. Сверхинтеллект может понимать наше чувство изумления; он может генерировать фразы, которые вызывают у нас это чувство; но сделать так, чтобы всё его поведение стало ответом на вопрос о том, как наполнить будущее изумлением, радостью, юмором и любовью? Это не даётся даром. Для этого нам придётся потрудиться.

Мы немного забежали вперёд. Всё, что мы здесь описали — мрачная вселенная, лишённая всякой радости, в которой жизнь земного происхождения полностью уничтожена, — это как раз то, что достаточно чуждый разум предпочёл бы больше всего. Мы утверждаем, что ИИ захочет видеть мир, где масса материи и энергии расходуется на его странные, чуждые цели, а не на то, чтобы люди оставались живыми, счастливыми и свободными. Точно так же, как мы в своих собственных идеальных мирах тратили бы ресурсы вселенной на процветание людей, живущих в своё удовольствие,, а не на то, чтобы в каждом нашем доме лежало огромное простое число камешков.

Но это доказывает лишь наличие мотива сверхинтеллекта уничтожить всё человечество — но не возможности, которая позволила бы ему претворить своё предпочтение в реальность.

Неважно, чего хотят ИИ, если они не способны этого добиться.

И как вообще они могут это сделать, если они заперты внутри компьютеров?

Сноска

i Если вам мало списка, который мы здесь привели, или вы ищете более подробные опровержения, мы разбираем больше подобных возражений в наших онлайн-ресурсах.

ГЛАВА 6

МЫ ПРОИГРАЕМ.

ПРЕДСТАВЬТЕ СЕБЯ ацтекским воином, который вместе с соплеменниками пришел на побережье и наблюдает, как к берегу приближаются первые испанские корабли. Испанское судно, даже еще не пристав к суше, заметно превосходит размерами любое каноэ, которое вы когда-либо видели и использовали для торговли или войны.

Столь огромный корабль вызвал бы любопытство, но также и подозрение, даже угрозу, и вы вполне резонно могли бы ожидать битвы. Однако, чтобы испугаться поражения в схватке с теми, кто находится на борту, вам пришлось бы сделать слишком далеко идущие выводы, основываясь лишь на размерах судна.

Представьте, что в ответ на уверенные заявления ваших товарищей о том, как легко они одолеют всех воинов, способных уместиться на этом корабле, вы спросили: «А что, если они представляют собой большую угрозу, чем просто кучка бойцов, способных поместиться на судне такого размера?»

«Это как же? — спрашивает ваш друг. — На лодке может поместиться лишь ограниченное число воинов. Объясни-ка мне, как именно они смогут победить нас? Распиши всё в деталях».

«Ну, — могли бы сказать вы, обладай вы невероятной проницательностью, — а что, если у них есть усовершенствованные версии луков и стрел — точно так же, как у них усовершенствованы лодки? Что, если они пошли дальше луков и стрел, создав оружие, от которого невозможно увернуться, как