Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Звери рейха. Образы животных и немецкая пропаганда» «Звери рейха. Образы животных и немецкая пропаганда»

Как евгеника определила облик немецкой овчарки

N+1
Боеголовка: что внутри и как она работает после отделения от ракеты Боеголовка: что внутри и как она работает после отделения от ракеты

Как боеголовки достигают цели

Популярная механика
От мела к модели: как искусственный интеллект перестраивает образовательный процесс От мела к модели: как искусственный интеллект перестраивает образовательный процесс

ИИ вошел во многие сферы жизни. Не избежала его и система образования

ТехИнсайдер
5 самых захватывающих фантастических детективов 5 самых захватывающих фантастических детективов

Романы для тех, кто любит фантастику и остросюжетные детективные расследования

Популярная механика
Что такое биполярное аффективное расстройство и как живут люди с таким диагнозом Что такое биполярное аффективное расстройство и как живут люди с таким диагнозом

Что такое БАР, действительно ли он распространен или стал искусственным трендом?

Forbes
Британец воссоздал в виртуальной реальности любимый бар. Он изучил основы 3D с нуля Британец воссоздал в виртуальной реальности любимый бар. Он изучил основы 3D с нуля

Тристан Кросс воссоздал в виртуальной реальности свой любимый паб

Esquire
Мария Ласицкене: «Я буду до конца отстаивать свое право выступить в Токио. Повторения Рио совершенно не хочется» Мария Ласицкене: «Я буду до конца отстаивать свое право выступить в Токио. Повторения Рио совершенно не хочется»

Допинг и спорт в изоляции – интервью с Марией Ласицкене

GQ
«Жди меня, и я вернусь»: трагическая судьба музы легендарного военного поэта «Жди меня, и я вернусь»: трагическая судьба музы легендарного военного поэта

Во время Великой Отечественной эти строки Симонова знала наизусть вся страна

Cosmopolitan
«Кодекс общежития»: как основатели Skyeng не сломались на старте «Кодекс общежития»: как основатели Skyeng не сломались на старте

Компания Skyeng смогла преодолеть несколько кризисов и не развалиться

Forbes
Попасть в историю: 6 новых исторических романов, которые стоит прочитать Попасть в историю: 6 новых исторических романов, которые стоит прочитать

Несколько отличных исторических романов

Esquire
Древесные лягушки обманули хищников хоровым пением Древесные лягушки обманули хищников хоровым пением

Самки древесных лягушек не ведутся на обман

N+1
Правила жизни Софии Копполы Правила жизни Софии Копполы

Правила жизни кинорежиссера Софии Копполы

Esquire
Зажиточные кулаки: портреты лучших боксеров планеты Зажиточные кулаки: портреты лучших боксеров планеты

Фотограф Хольгер Кайфель в течение восьми лет снимал лучших боксеров планеты

Esquire
«Все очень подло, но грамотно организовано»: о чем «крабовый король» Олег Кан написал главе СК «Все очень подло, но грамотно организовано»: о чем «крабовый король» Олег Кан написал главе СК

Почему Олег Кан, находящийся в розыске, неожиданно вышел на связь с главой СК

Forbes
Николай Каретников: Темы с вариациями Николай Каретников: Темы с вариациями

Фрагмент книги Николая Каретникова

СНОБ
Бронепоезд диктатора: как устроен состав Ким Чен Ына Бронепоезд диктатора: как устроен состав Ким Чен Ына

Глава КНДР летать боится и предпочитает поезда

Популярная механика
Тосканский ордер Тосканский ордер

Архитектура виллы в Тоскане подсказала, каким должно быть внутреннее убранство

AD
Главной причиной выцветания картины Мунка «Крик» оказалась влажность Главной причиной выцветания картины Мунка «Крик» оказалась влажность

Знаменитое полотно Эдварда Мунка «Крик» постепенно обесцвечивается

N+1
Как Джош Транк и Том Харди переосмыслили биографию Аль Капоне: интервью с режиссером фильма Как Джош Транк и Том Харди переосмыслили биографию Аль Капоне: интервью с режиссером фильма

Джош Транк — о том, как он переосмыслил биографию известного гангстера США

Esquire
Лимфодренаж для лица: как избавиться от морщин Лимфодренаж для лица: как избавиться от морщин

Мало движения, много еды — все «тренды» отражаются на нашем внешнем виде

Psychologies
Самые известные психонавты Самые известные психонавты

Семь знаменитых первооткрывателей, практиковавших психонавтику

Популярная механика
Холли Робертс: Как иностранцу построить бизнес в России Холли Робертс: Как иностранцу построить бизнес в России

Иностранцы продолжают осваивать как малый, так и крупный бизнес в России

СНОБ
Хуже, чем СПИД и Вьетнам: как самоизоляция подкосила поколение 30-летних Хуже, чем СПИД и Вьетнам: как самоизоляция подкосила поколение 30-летних

Миллениалы чаще остальных страдают от стресса во время карантина

Forbes
Мечтая о путешествиях: 5 захватывающих фильмов о жажде приключений Мечтая о путешествиях: 5 захватывающих фильмов о жажде приключений

Подборка из пяти фильмов о невероятных путешествиях

Cosmopolitan
Антисептики: найти и обезвредить Антисептики: найти и обезвредить

Мы задали твои (и свои) вопросы проверенному эксперту относительно антисептиков

Cosmopolitan
Бухгалтерия чувств Бухгалтерия чувств

Ксения Рождественская о документальном фильме про Джеффри Эпштейна

Weekend
Инженер рассказал детям, как не разбиться, прыгнув с 8 километров Инженер рассказал детям, как не разбиться, прыгнув с 8 километров

Марк Робер посвятил ролик третьему закону Ньютона и закону сохранения импульса

Популярная механика
Без косметики и укладки: самые честные звездные селфи на карантине Без косметики и укладки: самые честные звездные селфи на карантине

Знаменитости расслабились и предстали перед поклонниками в естественном виде

Cosmopolitan
4 причины, из-за которых мужчины избегают близких отношений 4 причины, из-за которых мужчины избегают близких отношений

Почему мужчины избегают ответственности, брака, признаний

Psychologies
5 действительно чокнутых правителей 5 действительно чокнутых правителей

Их подданным, конечно, не повезло

Maxim
Открыть в приложении