Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски Страница 25

ли существовать странные феномены в зонах более высокого уровня обработки информации, чем зрительная кора, где сверхразум мог бы понять, как вызывать «иллюзии памяти», заставляющие человека твердо помнить, будто начальник поручил ему сделать то, чего тот никогда не поручал? Или «когнитивные иллюзии», которые гарантированно вызывают логическую ошибку? Может ли мозг быть взломан сущностью, которая понимает его досконально?

Может быть, да, а может, и нет. Мы не знаем. Но это определенно та область, правил которой мы не понимаем, и где ИИ, который действительно их понимает, мог бы составить план, результаты которого нас ошеломят, даже если мы детально изучим все чертежи.

Мы не знаем в точности, с какой стороны зайдет ИИ в конфликте с человечеством. Сказать трудно. Наше лучшее предположение — это будет неожиданно.

Конечно, такой ответ не слишком удовлетворяет любопытство касательно сил, которыми будет обладать сверхразум. Подобным ответом не убедить скептически настроенного ацтекского воина в том, что идея о «палке, которую на тебя направляют, и ты умираешь» относится к области обоснованных прогнозов, а не к чистой фантастике.

Поэтому мы притворимся, будто никому на больших кораблях не разрешается иметь волшебные палки, от наведения которых люди падают замертво. Мы попытаемся изложить сценарий, который не оскорбит скептически настроенного ацтекского воина в его реинкарнации двадцать первого века. Мы сделаем вид, будто машинный сверхразум не способен на сверхчеловеческом уровне понимать психологию, создавать иллюзии мышления или иным образом попирать наши представления о возможном. Реальная жизнь вполне может быть столь странной и фантастической, но для нашего аргумента этого не требуется.

Но знайте: делать вид, будто человечество могут атаковать только на той территории, которую мы понимаем достаточно хорошо для анализа и прогнозирования атак, — это само по себе чистая фантазия. Настоящий противник ударит сильнее, причем в тех областях, где мы понимаем реальность хуже всего.

Теперь давайте рассмотрим некоторые векторы атак, которые человеческая наука понимает достаточно хорошо и которые будут доступны сверхразуму.

ВЕДУЩИЙ: Добро пожаловать на наше викторину «Способен ли на это сверхразум?», где мы обсуждаем, что сверхразум определенно мог бы сделать, будь он достаточно умен и представься ему такая возможность.

Сегодня с нами наши участники: мистер Трезвомысл и мистер Бывалый. И наш первый вопрос: может ли сверхразум вычислить закрытый ключ, который компьютер использует для шифрования вашей переписки, с помощью одной лишь видеокамеры, направленной на его индикатор питания?

ТРЕЗВОМЫСЛ: Пффф. Конечно нет. Как это вообще возможно?

БЫВАЛЫЙ: О, сразу видно, что вы не эксперт по компьютерной безопасности! Когда компьютер использует закрытый ключ для шифрования данных, разные этапы этого процесса требуют немного разного количества электроэнергии, причем эти колебания коррелируют с характеристиками ключа. Я бы дал... 10 процентов вероятности, что сверхразум сможет провернуть такое на отдельно взятой системе.

ВЕДУЩИЙ: И мистер Трезвомысл... ошибается! Сверхразум определенно может сделать это с помощью камеры iPhone 13.

ТРЕЗВОМЫСЛ: Мне казалось, вы говорили, что это шоу будет опираться на факты.

ВЕДУЩИЙ: Мы знаем, что сверхразум мог бы это сделать, потому что это уже сделали обычные люди — исследователи в области компьютерной безопасности! На самом деле они умудрились украсть ключ с телефона, подключенного к USB-хабу, который был подключен к компьютерной колонке со светодиодным индикатором питания!i

Следующий вопрос! Достаточно ли физически выдрать антенну Wi-Fi, чип Wi-Fi, динамики, жесткие диски (которые можно раскрутить для создания шума) и микрофоны (которые можно запустить в обратном режиме для излучения звука), чтобы помешать сверхразуму, находящемуся внутри этого компьютера, связаться с внешним миром?

ТРЕЗВОМЫСЛ: Ладно, я уже догадываюсь, что ответом будет «нет», и за ним последует какой-нибудь невероятный трюк из области компьютерной безопасности, который уже был проделан на практике.

БЫВАЛЫЙ: Согласен: ответ — «нет». В реальной жизни физически возможно добиться очень многого, даже имея крайне ограниченные стартовые условия.

ВЕДУЩИЙ: Вы оба… правы! Считывая строго определенные ячейки памяти с определенной частотой, компьютер может излучать радиосигналы, которые могут быть уловлены находящимися поблизости мобильными телефонами.

Следующий вопрос. Как вы думаете, каков минимально возможный размер работающей на солнечной энергии фабричной системы, которая начинает с обычного сырья, доступного на такой планете, как Земля, и создает полную собственную копию? И какое минимальное время, по-вашему, потребуется ей для создания копии? Предполагается, что эту фабрику спроектировал сверхразум.

ТРЕЗВОМЫСЛ: Полагаю, вы собираетесь сказать, что уже существуют 3D-принтеры, способные напечатать все некомпьютерные детали для новых 3D-принтеров, которые затем можно собрать с помощью извне?

ВЕДУЩИЙ: Никакой помощи извне, господин Трезвомысл! Фабрика должна построить другую фабрику абсолютно самостоятельно!

ТРЕЗВОМЫСЛ: В таком случае мне трудно представить полностью самокопирующуюся фабрику, которая начинает с чистейшего сырья и должна создать свою полную копию, включая бортовые компьютеры, не скатываясь при этом в фантастику. Ведь для этого потребуется, скажем, плавка меди... Ну ладно, обжиговую печь можно сделать просто из глины, но... хорошо, знаете, я предположу, что подвох кроется в чьем-то теоретическом проекте самовоспроизводящейся фабрики. Допустим, она имеет размеры всего десять метров с каждой стороны, плавит железо и медь, собирает простейшие схемы, подбирает древесину и сжигает ее в качестве топлива и якобы воспроизводится всего за неделю или около того — но на самом деле никогда не строилась.

БЫВАЛЫЙ: Ну, я вряд ли смогу угадать минимальный размер, до которого сверхразум мог бы сжать полностью самовоспроизводящуюся фабричную систему, работающую в реальных планетарных условиях. Но это наверняка было бы не более нескольких микронов с каждой стороны, а на воспроизводство ушло бы не более нескольких часов.

ТРЕЗВОМЫСЛ: Несколько микронов! Ха! Стало быть, вы считаете нанотехнологии реальностью? Потому что даже если наши ведущие шоу скажут, что кто-то создал теоретический проект подобной системы, я отвечу: не случайно никто еще не построил даже мельчайшей ее части. В реальной жизни просто невозможно создать механизмы такого размера.

ВЕДУЩИЙ: Извините, господин Трезвомысл, но боимся, что вы упустили из виду важный практический пример! Обычная травинка — это самовоспроизводящаяся фабрика на солнечной энергии, которая строит полную копию самой себя! И хотя отдельные клетки водорослей могут быть слишком малы, чтобы их увидеть, они работают на солнечной энергии, не зависят от жизнедеятельности других живых организмов, содержат микроскопические биологические фабрики, известные как рибосомы, имеют размер в несколько микронов, а некоторые их виды размножаются за считанные часы.

Некоторые нижние границы того, на что способен