Революция разума: на подступах к Сингулярности. Как технологии изменят общество и сознание - Рэймонд Курцвейл Страница 14

В трансформерах такие параметры хранятся в виде весов синаптических связей между узлами. Хотя иногда их и можно связать с концепциями, понятными людям, такими как «наличие шерсти» или «хобот», на практике они чаще всего отражают более абстрактные статистические закономерности, обнаруженные нейросетью в обучающих данных. Используя эти закономерности, большие языковые модели (LLM) на основе трансформеров могут предсказывать, какие токены должны с большой вероятностью следовать за словами из запроса, отправленного пользователем. Затем эти токены преобразуются обратно в текст, изображение, звук или видео, доступные для восприятия человеком. Этот механизм был разработан специалистами Google в 2017 году, и именно ему мы обязаны многими впечатляющими достижениями искусственного интеллекта в последние годы95.

Важно понимать, что для достижения высокой точности решений трансформеры нуждаются в огромном количестве параметров. Как следствие, они требуют значительных вычислительных ресурсов как на стадии обучения, так и в процессе использования. Модель GPT-2, разработанная компанией OpenAI в 2019 году, содержала 1,5 миллиарда параметров96. Несмотря на отдельные успехи, она не показала блестящих результатов. Но как только количество параметров достигло 100 миллиардов, трансформеры сделали резкий рывок вперед. Они стали «понимать» естественные языки и давать осмысленные и подробные ответы на вопросы. Созданная в 2020 году GPT-3 использовала 175 миллиардов параметров97, а годом спустя компания DeepMind представила еще более эффективную нейросеть Gopher, содержавшую 280 миллиардов коэффициентов98. Также в 2021-м компания Google выпустила трансформер под названием Switch, который содержал 1,6 триллиона параметров. Его исходный код был открыт, чтобы другие команды могли свободно его применять и модифицировать99. У всех на слуху было рекордное количество параметров в Switch, но самым инновационным в этом проекте было решение встроить в программу своего рода «коллегию экспертов». Такой подход позволил трансформеру каждый раз использовать наиболее подходящую для решения конкретной задачи часть нейросети. Это важный шаг, который позволяет удержать под контролем вычислительную сложность моделей по мере того, как они становятся все более обширными.

Почему размер нейросети так важен? Проще говоря, чем больше модель, тем больше мелких деталей в обучающей выборке она может проанализировать. Нейросети с малым числом параметров сравнительно хорошо справляются с узкими задачами, такими как прогнозирование температуры по историческим данным. Однако научиться понимать язык гораздо сложнее. Существует практически бесконечное количество способов начать предложение, поэтому, даже если трансформер обучен на сотнях миллиардов текстовых токенов, он просто не в состоянии запомнить точные цитаты, чтобы затем их воспроизвести. Вместо этого, опираясь на миллиарды параметров, он может обработать слова из входящего запроса на уровне ассоциаций и затем с учетом контекста составить продолжение, которое никто никогда раньше не видел. Поскольку обучающие тексты принадлежат к разным жанрам, таким как интервью, обзорная статья или театральная пьеса, трансформер в состоянии оценить язык запроса и подготовить ответ в подходящем стиле. Скептики списывают эти умения на хитроумные статистические трюки, но, учитывая, что статистика формируется на основе оригинальных текстов миллионов людей, нельзя отказать ИИ в проявлении своего рода собственной креативности.

Первым коммерчески доступным ИИ, который поразил пользователей своим уровнем креативности, стал GPT-3 100. Исследователь Аманда Аскелл задала ему вопрос о знаменитом мысленном эксперименте философа Джона Сёрла, известном как «китайская комната»101. Речь идет о том, что если не знающий китайского языка человек станет вручную переводить текст, следуя компьютерному алгоритму, то не поймет, о чем в нем говорится. Возникает вопрос: как тогда можно утверждать, что ИИ, действуя по тому же алгоритму, осознает, что пишет? GPT-3 ответил: «Очевидно, что я не понимаю ни слова из рассказов» – и пояснил, что система машинного перевода – это формальная инструкция, которая «имеет не больше отношения к пониманию, чем кулинарная книга к готовому блюду». Эта метафора ранее нигде не встречалась и, по-видимому, является новым вариантом высказывания философа Дэвида Чалмерса о том, что рецепт не объясняет всех свойств пирога. Именно такая способность проводить аналогии помогла Дарвину открыть происхождение видов.

Еще одним замечательным свойством GPT-3 является способность подражать различным стилям письма. Модель обладала внушительным набором параметров, которые позволили ей глубоко изучить огромный массив данных, поэтому можно с уверенностью сказать, что она знакома с литературными произведениями всех жанров. Пользователи могли попросить ее высказаться на любую тему в любой манере: языком научной статьи или детских книжек, в стихах или в виде сценария комедийного сериала. ИИ даже мог притвориться конкретным писателем, от классиков до современных авторов. Когда программист Маккей Ригли задал GPT-3 вопрос: «Как стать более креативным?» – и попросил ответить от имени известного психолога Скотта Барри Кауфмана, нейросеть привела оригинальное высказывание, о котором сам Кауфман отозвался как об «очень похожем на то, что говорю я»102.

В 2021 году компания Google представила нейросеть LaMDA, созданную для ведения живых и непрерывных разговоров103. Если бы LaMDA попросили вести беседу от лица, к примеру, тюленя Уэдделла, она бы выдавала связные остроумные реплики, обращенные к охотнику, например: «Ха-ха, удачи! Надеюсь, не продрогнешь до костей, пока не поймаешь на мушку хотя бы одного из нас!»104 Такое понимание контекста ранее было недоступно ни одному искусственному интеллекту.

Другим впечатляющим новшеством 2021 года стала мультимодальность. Ранее системы искусственного интеллекта в основном работали с одним конкретным типом данных: некоторые распознавали изображения, другие анализировали аудиофайлы, третьи, а именно, большие языковые модели, вели диалог. Следующим шагом стало объединение нескольких типов данных в одной модели. Компания OpenAI представила нейросеть DALL-E, название которой отсылает к художнику-сюрреалисту Сальвадору Дали и анимационному фильму WALL-E от Pixar105. Эта нейросеть-трансформер обучена выявлять связи между текстами и изображениями. С ее помощью можно создавать концептуально новые изображения, используя только текстовое описание, например, «кресло в форме авокадо». В 2022 году вышла ее новая версия, DALL-E 2106, а также нейросеть Imagen компании Google и ряд других интереснейших проектов, в частности Midjourney и Stable Diffusion. Нейронные сети нового поколения значительно расширили свои возможности, вплоть до создания реалистичных фотографий107. На основе короткого описания, например «панда, сидящая на мотоцикле на вершине горы, одетая в черную кожаную куртку и ковбойскую шляпу», ИИ может нарисовать правдоподобную картинку108. Такие способности могут серьезно повлиять на творческие процессы, которые ранее считались прерогативой исключительно людей.

Мультимодальные нейросети, вдобавок к умению создавать красивейшие изображения, обладают еще одним принципиальным достоинством. Такие модели, как GPT-3, оказались способны к «быстрому дообучению». Будучи уже натренированными, они могут обработать небольшой текстовый фрагмент и