06/10/2020
В мае 2020 г. OpenAI представила третью версию языковой модели GPT, позволяющую генерировать текст, который не всегда можно отличить от того, что написал бы человек. Уже вторая версия, выпущенная в прошлом году, произвела на экспертное сообщество сильное впечатление.
Новая версия обучена с использованием 175 млрд различных параметров машинного обучения, алгоритм обучали на огромном массиве данных – 570 Гбайт текстов, включая базу данных Common Crawl, Википедию и полные тексты многих книг. При этом принцип ее работы достаточно простой, она предсказывает следующий символ на основе истории ранее полученных символов. Другими словами, это просто генератор текста. Важно заметить, что объем сгенерированного текста, который может сохранить логическую связанность, зависит от количества параметров сети. Если вторая версия GPT была обучена на 1,5 млрд параметров, что позволяло создать нескольких абзацев текста, то новая версия позволяет генерировать "осмысленный" текст в размере небольшой книжки.
Разработчики пока не дают публичного доступа к своему продукту, но его можно получить, заполнив специальную заявку. Уже появилось множество интересных примеров, которые показывают мощь новой технологии. Например, исследователь Парас Чопра создал поисковик, который отвечает на вопросы, заданные в свободной форме, и дает ссылку на соответствующую страницу в Википедии. Разработчик Джордан Сингер написал плагин для приложения Figma, которое, по словесному описанию дизайна, создает его макет. Особенно интересны проекты, связанные с генерацией кода на различных языках программирования. Например, по фразе "Создай поле ввода, красную кнопку с надписью "сохранить" и размести в середине страницы" GPT-3 сгенерировал полноценный код на React.
Особенно интересны применения GTP-3 в журналистике и онлайн-медиа. Американский студент Лиам Пор создал блог, в который постил тексты, формируемые GTP-3, автор лишь придумывал название и писал вступление. Этот блог за две недели набрал 26 тыс. посетителей, но лишь один из них догадался, что тексты написаны GPT-3, и, что самое интересное, его комментарии об этом были заминусованы другими читателями. При этом многие писали благодарственные комментарии о том, как глубоко автор понимает их чувства, и восхищались яркими и эмоциональными текстами. Но не только блогами ограничивается область применения GPT-3. Исследователь Джеймс Ю написал в соавторстве с GPT-3 небольшой фантастический рассказ, где текст и комментарии к нему писались в диалоге человека и нейронной сети, что показало результаты значительно лучшие, чем если они были бы написаны по отдельности.
Авторы бесплатной текстовой квест-игры AI Dungeon также стали использовать GPT-3 в своей игре. Теперь игрок получил полную свободу действий: система на лету придумывает диалоги игровых персонажей и даже формирует правила и законы этого фантазийного мира, реагируя на действия игрока.
А это уже возможность создания нового поколения игр, где для каждого игрока формируется динамический мир, не связанный с заранее прописанным сценарием.
Намного более интересные возможности появляются, если использовать GPT-3 совместно с другими типами нейросетей, с теми, которые генерируют фотографии человеческих лиц. Был создан прототип такой системы, когда по текстовому описанию, например "брюнетка латиноамериканской внешности с длинными волосами, среднего возраста", генерировалась фотография лица.
Алексей Коржебин
Директор по продукту AggreGate Edge компании Tibbo Systems
