Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Альфа-самцы павианов потратили много энергии на поддержание альфа-статуса Альфа-самцы павианов потратили много энергии на поддержание альфа-статуса

Как ранг доминирования влияет на здоровье и физиологию животного

N+1
Опасные взгляды: как гендерные стереотипы мешают развивать экономику Опасные взгляды: как гендерные стереотипы мешают развивать экономику

Гендерные стереотипы мешают женщинам участвовать в экономике наравне с мужчинами

Forbes
Секунда в секунду: почему японские поезда никогда не опаздывают и как им это удается Секунда в секунду: почему японские поезда никогда не опаздывают и как им это удается

В чем кроется секрет пунктуальности японских поездов?

ТехИнсайдер
Что доводит до Киева. 100 лет советско-польской войне Что доводит до Киева. 100 лет советско-польской войне

Век назад на берегах Днепра завязывался узел, который мы развязываем до сих пор

СНОБ
8 доказательств того, что вы неправильно моете посуду: самые распространенные ошибки 8 доказательств того, что вы неправильно моете посуду: самые распространенные ошибки

Эти ошибки при мытье посуды влияют непосредственно на ваше здоровье!

ТехИнсайдер
Бизнес на создании чучел животных: монолог таксидермиста о заработке и тонкостях работы Бизнес на создании чучел животных: монолог таксидермиста о заработке и тонкостях работы

Таксидермист о том, как войти в профессию и открыть свою студию

VC.RU
Куда приводят мечты: почему позитивные мысли не работают Куда приводят мечты: почему позитивные мысли не работают

Почему «позитивный настрой» приводит к негативным результатам

Esquire
Вирусы против людей: хроника вечной войны Вирусы против людей: хроника вечной войны

Афинская чума, черная смерть, испанка, СПИД и другие эпидемии человечества

Дилетант
9 способов выжить в самых неблагоприятных ситуациях 9 способов выжить в самых неблагоприятных ситуациях

Смертельные опасности будут обходить тебя стороной, если ты прочтешь эту статью!

Maxim
Renault обновила кроссовер Kaptur — немного ярче, немного удобнее, немного дороже Renault обновила кроссовер Kaptur — немного ярче, немного удобнее, немного дороже

Обновленный Ranault Kaptur выглядит сочнее и стоит дороже миллиона

Maxim
Почему ребенок плохо ест и как ему помочь Почему ребенок плохо ест и как ему помочь

Здоровье ребенка во многом зависит от того, что, когда и как он ест

Psychologies
Самые известные психонавты Самые известные психонавты

Семь знаменитых первооткрывателей, практиковавших психонавтику

Популярная механика
Как делают стволы для снайперских винтовок: отвечает Влад Лобаев Как делают стволы для снайперских винтовок: отвечает Влад Лобаев

Как делают стволы для снайперских винтовок и как технологии влияют на точность?

Популярная механика
Как наночастицы золота помогают победить рак Как наночастицы золота помогают победить рак

Наночастицы, которые могут применяться для диагностики и терапии онкозаболеваний

Популярная механика
Ирина Основина: «Не терплю, когда называют артисткой» Ирина Основина: «Не терплю, когда называют артисткой»

Узнавать на улицах ее стали после выхода на экраны фильма Александра Рогожкина

Караван историй
Как носить кожу летом и не париться (во всех смыслах) – рассказывает стилист Как носить кожу летом и не париться (во всех смыслах) – рассказывает стилист

Как носить кожу летом и не испытывать дискомфорт

Cosmopolitan
5 дизайнерских отелей, в которых хочется побывать после карантина 5 дизайнерских отелей, в которых хочется побывать после карантина

Пять отелей, где настроение определяет дизайн пространства

РБК
Маски-шоу: как начался самый первый карантин в истории Маски-шоу: как начался самый первый карантин в истории

Как Венеция боролась с «Черной чумой» и почему карантин продолжался 40 дней

Популярная механика
Tinder-детектив, история нижнего белья и мемуары матери Илона Маска Tinder-детектив, история нижнего белья и мемуары матери Илона Маска

Топ-6 книжных новинок, которые нужно прочитать

GQ
Продают продукты и доставляют пельмени: почему бары на самоизоляции продолжают работать в убыток Продают продукты и доставляют пельмени: почему бары на самоизоляции продолжают работать в убыток

Владельцы трёх петербургских заведений рассказали, как переживают кризис

VC.RU
А дома лучше? А дома лучше?

Вынужденный режим самоизоляции изменил в нашей жизни многое

Grazia
10 лучших триллеров на Netflix, которые стоит посмотреть прямо сейчас 10 лучших триллеров на Netflix, которые стоит посмотреть прямо сейчас

Триллеры, которые действительно заставят вас почувствовать напряжение

Esquire
Одинокие женщины из Великого Новгорода — о своем идеале мужчины. Фотопроект Одинокие женщины из Великого Новгорода — о своем идеале мужчины. Фотопроект

Женщины составили «фоторобот» своего идеального партнера

Esquire
«Следы войны с нами до сих пор» «Следы войны с нами до сих пор»

С демографической точки зрения Великая Отечественная не закончена

Огонёк
Руководитель Aviasales Макс Крайнов: После многомесячного заточения люди будут готовы тратить деньги на путешествия Руководитель Aviasales Макс Крайнов: После многомесячного заточения люди будут готовы тратить деньги на путешествия

Как будет восстанавливаться рынок авиаперевозок

СНОБ
Рождение разнояйцевых близнецов назвали побочным продуктом эволюционной стратегии Рождение разнояйцевых близнецов назвали побочным продуктом эволюционной стратегии

Женщинам выгоднее овулировать один раз за цикл в молодости

N+1
Хромые клячи: 15 провальных автомобильных проектов Хромые клячи: 15 провальных автомобильных проектов

Порой новейшие автомобильные проекты обречены на громкий провал

Популярная механика
Пенсионный фонд: самые долгоживущие организмы на планете Пенсионный фонд: самые долгоживущие организмы на планете

Некоторые из живых организмов на нашей планете живут вечно

Популярная механика
Загадка досуга. Почему мы ощущаем себя вечно занятыми и что с этим делать Загадка досуга. Почему мы ощущаем себя вечно занятыми и что с этим делать

Отрывок из книги «Эпоха долголетия»: грядет перестройка структуры времени

Forbes
Не только Мэрилин Монро: еще шесть шикарных блондинок 1950-х Не только Мэрилин Монро: еще шесть шикарных блондинок 1950-х

Никогда еще ностальгия не была такой волнующей

Maxim
Открыть в приложении