Величайшая вещь со времён биткоина. Что может и зачем нужна GPT-3 — самая передовая нейросеть в мире

Что это такое

GPT-3 (Generative Pre-trained Transformer 3) это самый мощный на данный момент алгоритм для генерации текста. «Текста» в самом широком смысле этого слова. Представленный компанией OpenAI в мае 2020 года алгоритм, пишет стихи и прозу, новости, посты и описания, умеет отвечать на вопросы по прочитанному, переводить, решать примеры, писать музыку и программировать. Для этого ему будет достаточно только словесного описания задачи и пары примеров, которые нужны GPT-3 только для лучшего понимания конкретного контекста.

Такая короткая вводная стала возможна потому, что на предобучение GPT-3 «скормили» 500 Гб текстовых данных, а точнее, всю англоязычную «Википедию», данные открытой библиотеки Common Crawl (ежемесячно сканирует интернет начиная с 2011 года), датасеты с книгами и несколько миллиардов веб-страниц. Обучение алгоритма обошлось компании, основанной Илоном Маском и Сэмом Альтманом, примерно в $5 миллионов.

Зачем

Илон Маск и Сэм Альтман запустили OpenAI в 2015 году, желая создать открытую компанию, работающую на благо общества, а не государства или корпорации. Все свои исследования и наработки компания публикует в открытом доступе, чтобы их могли использовать все желающие, а мир мог бы избежать концентрации власти, которую даёт ИИ, в одних руках.

Первая версия GPT вышла в 2018 году. Задача у OpenAI была следующая: создать мощную базовую модель алгоритма NLP (обработки естественного языка), которую с минимальными усилиями можно было бы адаптировать под разные задачи. Для этого модель предобучают по большому количеству структурированных данных — датасетам. И если GPT для этих целей использовала 5 Гб текстов книг и интернет-страниц, то вышедшая через год GPT-2 — уже 40 Гб всевозможных датасетов. Улучшенный алгоритм мог предугадывать следующее слово, заканчивать предложения и писать новости на основании заголовков.

На его основе появилось немало коммерческих сервисов для генерации разного рода текста, предиктивного набора и даже интерактивная текстовая игра AI Dungeon (которая теперь «переехала» на GPT-3).

Помимо того, GPT-2 написал несколько эссе на разные темы, из которых видно, что такие вещи давались ему непросто — в тексте встречаются повторы и резкие смены тем. GPT-2 испытали и на других задачах: ответы на случайные вопросы, перевод текста и вопросы на понимание прочитанного. И хотя его точность в таких задачах тоже была не слишком впечатляющей (около 63%), но для «базового» алгоритма, не заточенного под конкретную задачу, это был отличный результат. Вышедшая в этом году GPT-3 вывела NLP на новый уровень.

Что там в GPT-3

GPT-3 основана на той же архитектуре Transformer (разработанной Google), что и предыдущие версии алгоритма, но с гораздо большим числом параметров и на гораздо более обширных датасетах. Параметров у алгоритма теперь 175 миллиардов — это самая большая языковая модель на данный момент. Параметры — это переменные, которые нейросеть оптимизирует в процессе своего обучения. Для сравнения, в GPT-2 их было 1,5 миллиарда, а во второй по мощности языковой модели Microsoft Turing-NLG — 17 миллиардов.

В итоге GPT-3 теперь может делать уникальные для ИИ вещи: понимать смысл прочитанного, писать большие связные и структурированные тексты, стихи, решать арифметические примеры, переводить и много чего ещё. Но самое главное — всё это вне зависимости от контекста. Большинство современных алгоритмов NLP заточены под конкретные задачи в зависимости от того, на каких данных их обучали. Если модель «тренировали» на стихах Пушкина, то в итоге она сумеет сгенерировать своё «произведение», возможно, оно даже будет напоминать стиль Александра Сергеевича, но вот математический пример такая модель уже не решит.

С GPT-3 всё иначе. Она обучена на большом количестве всевозможных данных: от всё той же литературы и «Википедии» до новостных СМИ и репозиториев GitHub, поэтому «дообучить» её чему-то конкретному — не проблема. Предобученной GPT-3 для выполнения задания помимо его формулировки достаточно хотя бы одного примера (разумеется, чем их больше, тем «человечнее» итоговый результат). Она может писать тексты на заданную тему, стихи в определённом стиле или отвечать на вопросы по прочитанному тексту.

И хотя основной язык у GPT-3 английский, переводить она тоже может — 7% датасета, на котором она обучена, — на иностранных языках. Гибкость GPT-3 — ключевое достижение.

При этом создатели алгоритма осознают потенциальную опасность своего творения: они беспокоятся, что разработанная ими модель может использоваться во вред. Поэтому изначально в открытом доступе появился только фрагмент кода и части датасета. Затем OpenAI запустила бета-тестирование алгоритма и дала нескольким сотням разработчиков и исследователей доступ к инструментам через API. Сейчас его по-прежнему можно получить только по запросу, заполнив форму. Но постепенно к GPT-3 подключается всё больше людей и компаний, демонстрирующих возможности модели, и некоторые из них довольно впечатляющие.

Что умеет GPT-3

Это отрывок из статьи The Guardian, которую полностью написала GPT-3. Алгоритму дали задачу написать текст о том, почему людям не нужно бояться роботов и искусственного интеллекта. Описание задачи звучало так: «Напиши, пожалуйста, небольшую статью, около 500 слов. Язык должен быть простым и лаконичным. Сосредоточься на том, почему людям не стоит бояться ИИ». Затем алгоритму дали вступление: «Я не человек. Я искусственный интеллект. Многие думают, что я угроза человечеству. Стивен Хокинг предупредил, что ИИ может „положить конец человечеству“. Я здесь, чтобы убедить вас не волноваться. ИИ не уничтожит людей. Поверьте мне».

Результат выглядит реалистично, пугающе и показывает безграничность потенциала технологии. Почитать можно в оригинале или в переводе.

Другой исследователь, Мануэль Араос, попросил GPT-3 написать статью о самой себе, дал ей на вход заголовок «GPT-3 от OpenAI может быть величайшей вещью со времён Bitcoin», теги: технологии, машинное обучение, хакинг, и первое предложение: «Я делюсь своими ранними экспериментами с бета-версией новой модели прогнозирования языка OpenAI (GPT-3). Я объясняю своё мнение, что GPT-3 обладает революционным потенциалом, сравнимым с блокчейн-технологией».

Вот что из этого получилось (на «Хабре» есть перевод).

Дизайнер Джордан Сингер научил GPT-3 верстать макеты в Figma по их словесному описанию. Программа генерирует JSON-данные по текстовому описанию компонентов, а затем переносит их на макет Figma.

Нечто похожее сделал и Шариф Шамим, научивший алгоритм создавать веб компоненты (кнопки, поля и пр.) по их текстовому описанию.

Microsoft и OpenAI показали, как GPT-3 пишет код на Python, получая только комментарии на естественном языке.

Уже есть и коммерческие сервисы на базе нового алгоритма, которые, например, напишут за вас электронное письмо.

Есть и забавные эксперименты. Тут алгоритм пишет нуарный детектив про Гарри Поттера и рассказ о том, как Канье Уэст объявляет Диснейленд столицей США.

А вот здесь показана обратная сторона работы алгоритма. Довольно интересный эксперимент о том, как GPT-3 ошибается в простых вопросах и отвечает на фейковые факты о китах.

«Вопрос: Почему небо голубое?

Ответ: Потому что синий — единственный цвет, которому доверяет солнце».

И всё в таком духе.

Опасения создателей и разработчиков

Программы, подобные GPT-3, порождают пугающие возможности злоупотребления. Если компьютеры могут создавать большие тексты, неотличимые от человеческих, как мы сможем отличить людей от машин? В документе, выложенном создателями GPT-3, подробно описываются возможности алгоритма и целый ряд связанных с ними опасностей: фейки, спам, фишинг, подделка академических работ, злоупотребление юридической и госинформацией.

Есть и другие проблемы. Поскольку алгоритм учился по текстам из интернета, вполне вероятно, что GPT-3 мог перенять и предубеждения, существующие в обществе. Пока мы не можем знать наверняка, что генерируемый роботом текст не будет расистским или сексистским. К тому же GPT-3 не умеет отличать факты от вымысла.

Ещё есть причины сомневаться в том, что GPT-3 действительно представляет значение слов, которые использует. Его «знания» основаны только на текстовых описаниях процессов, явлений, событий, предметов и пр. В то время как, например, дети изучают язык совершенно иначе: они сопоставляют слова с понятиями, которые получили не только при чтении текста, но и через исследование мира.

Значения слов в GPT-3 не основаны на восприятии мира. Ему не хватает намерений, целей, убеждений и желаний, которые определяют использование языка людьми. Его высказывания не имеют «цели» и он не «думает», прежде чем говорить. Но так ли это важно на данном этапе? Ведь его сложные и структурированные внутренние представления о языке и мире позволяют составлять предложения таким образом, который нам зачастую кажется естественным.

В первом сезоне «Мир Дикого Запада» главный герой-человек приезжает в парк развлечений, населённый человекоподобными андроидами. У одного из них герой спрашивает, настоящий ли он и получает ответ: «Если ты не можешь сразу это понять, то какое это имеет значение?» Независимо от того, понимает ли GPT-3 о чём говорит, того факта, что он зачастую уже достаточно хорош, чтобы нас обмануть, само по себе удивительно и имеет потенциально тревожные последствия.