Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Ночные кошмары: Нарушения сна и как мы с ними живем наяву» «Ночные кошмары: Нарушения сна и как мы с ними живем наяву»

Что науке известно о галлюцинациях, связанных со сном

N+1
Похороны Зевса. Послесловие к фильму Лозницы Похороны Зевса. Послесловие к фильму Лозницы

С какой стати фильм «Государственные похороны» стал одним из хитов интернета

СНОБ
Как снять защиту записи флешки: избавляемся от ошибки «диск защищен» Как снять защиту записи флешки: избавляемся от ошибки «диск защищен»

Как снять защиту записи с флешки usb, если диск защищен?

CHIP
Мечтая о путешествиях: 5 захватывающих фильмов о жажде приключений Мечтая о путешествиях: 5 захватывающих фильмов о жажде приключений

Подборка из пяти фильмов о невероятных путешествиях

Cosmopolitan
Саудовская Аравия Саудовская Аравия

Люди, прошлое, религия, противоречия – и будущее

kiozk originals
Следствие по телу Следствие по телу

Как не забросить спорт и какие процедуры для тела стоит сделать самой

Grazia
Стая товарищей Стая товарищей

Рассказ Елены Первушиной

Наука и жизнь
Ровные, белые, свои Ровные, белые, свои

Зубы — конечно, самая крепкая кость в нашем организме, но иногда ломаются и они

Добрые советы
14 ранних симптомов рака, которым часто не придают значения 14 ранних симптомов рака, которым часто не придают значения

Не стоит игнорировать даже самые безобидные симптомы!

Cosmopolitan
Изоляция убивает романтику? 7 идей для классных домашних свиданий Изоляция убивает романтику? 7 идей для классных домашних свиданий

Хватит ходить по квартире с кислыми лицами

Playboy
От «Офиса» до «Глобуса» От «Офиса» до «Глобуса»

Важнейшие вехи карьеры британского комика Рики Джервейса

Weekend
С чем пьют ликер бейлиз? 5 лучших сочетаний для уютного вечера или романтичного свидания С чем пьют ликер бейлиз? 5 лучших сочетаний для уютного вечера или романтичного свидания

Нежный и при этом игривый

Playboy
Дмитрий Прохоров: Пивоварение как искусство: между техрегламентом и творчеством Дмитрий Прохоров: Пивоварение как искусство: между техрегламентом и творчеством

Крафтовая революция раскрыла творческий потенциал пивоваров

СНОБ
Смотрю Дудя и слушаю «Нирвану»: звезда «Зенита» о жизни на карантине Смотрю Дудя и слушаю «Нирвану»: звезда «Зенита» о жизни на карантине

Александр Ерохин явно не теряет времени на самоизоляции!

Playboy
Цифровая диктатура: как компании превращают дистанционную работу в ад Цифровая диктатура: как компании превращают дистанционную работу в ад

Пандемия сделала необходимым перевод многих компаний на дистанционную работу

Forbes
Сладкая жизнь: полезен ли темный шоколад? Отвечают врачи Сладкая жизнь: полезен ли темный шоколад? Отвечают врачи

«Темный шоколад полезен», — уверены сладкоежки, что думают специалисты?

Cosmopolitan
Цивилизация Цивилизация

Они одними из первых освоили инженерию, завели армию, монархию и дипломатию

Вокруг света
Страна сказок Страна сказок

Где и как творилось волшебство советских мультфильмов

Караван историй
Битый час Битый час

Краткая экономика турниров UFC

Forbes
Безрассадные томаты Безрассадные томаты

Как выращивать томаты без рассады?

Наука и жизнь
10 фильмов о приближающемся Конце света 10 фильмов о приближающемся Конце света

Хватит смотреть в окно и читать новостные сводки

Maxim
Благо или проклятие. Как выбраться из ловушки трудоголизма и найти баланс в жизни Благо или проклятие. Как выбраться из ловушки трудоголизма и найти баланс в жизни

Что такое трудоголизм, когда он приводит к выгоранию или проблемам с психикой

Forbes
7 «полезных» привычек, от которых не стоит ждать ничего хорошего 7 «полезных» привычек, от которых не стоит ждать ничего хорошего

Некоторые привычки могут быть не просто вредны, а даже опасны!

Cosmopolitan
Как самоизоляция влияет на наш секс Как самоизоляция влияет на наш секс

Как проблемы внешнего мира могут сказаться на интимной жизни

Psychologies
«Ненавижу машины, которые напоминают мне Брежнева», и другие незабвенные цитаты Джереми Кларксона «Ненавижу машины, которые напоминают мне Брежнева», и другие незабвенные цитаты Джереми Кларксона

Джереми Кларксон о любви и ненависти к автомобилям и людям

Maxim
Культ непокорной женщины Культ непокорной женщины

Отрывок из книги Джии Толентино «Кривое зеркало»

СНОБ
Российские ученые исследуют уникальную крымскую пещеру Российские ученые исследуют уникальную крымскую пещеру

Пещера Таврида уникальна своим происхождением

Популярная механика
Семь опасных предметов в вашем доме Семь опасных предметов в вашем доме

Вещи, которые могут представлять серьезную угрозу здоровью

Домашний Очаг
Тест-драйв Kia ProCeed и Skoda Octavia. Дембельский аккорд Тест-драйв Kia ProCeed и Skoda Octavia. Дембельский аккорд

Skoda Octavia третьего поколения собирается на покой и делает это на пике формы

РБК
Выживут только бюджетники: где искать работу, если вас уволили в разгар карантина Выживут только бюджетники: где искать работу, если вас уволили в разгар карантина

Пандемия диктует рынку труда свои правила

Forbes
Открыть в приложении