Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Яды: между жизнью и смертью» «Яды: между жизнью и смертью»

Как появился первый пероральный антикоагулянт

N+1
Что там, в Что там, в

Проблемы первого года брака и как все это пережить

Cosmopolitan
Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков

Настроить телевизор правильно — проще, чем кажется

ТехИнсайдер
6 женщин, изменивших автомобильную индустрию 6 женщин, изменивших автомобильную индустрию

Многим изобретениям, ставшим неотъемлемой частью автомобиля, мир обязан женщинам

Популярная механика
Утерянный 5000 лет назад: ученые воскресили древнейший в мире синтетический краситель. Зачем он нужен? Утерянный 5000 лет назад: ученые воскресили древнейший в мире синтетический краситель. Зачем он нужен?

Откуда взялся яркий, насыщенный синий цвет в Древнем Египте

Inc.
Как создавалась империя Alibaba Как создавалась империя Alibaba

Вспоминаем, как Джек Ма создавал ретейл-гиганта Alibaba Group

GQ
Нейросеть научили определять черты «Большой пятерки» по лицу Нейросеть научили определять черты «Большой пятерки» по лицу

Этот алгоритм позволяет узнать черты характера человека по фото

N+1
Тревога провоцирует нас на злость? Тревога провоцирует нас на злость?

Тревога и злость вызывают у нас неприятное эмоциональное возбуждение

Psychologies
Монстры из прошлого: драма большой поршневой авиации Монстры из прошлого: драма большой поршневой авиации

На годы Второй мировой пришлась лебединая песня поршневых двигателей в авиации

Популярная механика
«Меняли плитку, знаки снесли». Штраф-ловушка для автомобилистов «Меняли плитку, знаки снесли». Штраф-ловушка для автомобилистов

Странный штраф за стоянку в парковочном кармане получила автомобилистка

РБК
Почему Google отказался делиться искусственным интеллектом с нефтяниками Почему Google отказался делиться искусственным интеллектом с нефтяниками

Google отказался помогать нефтяникам в разведке и добыче сырья

Forbes
Как встречаться с девушкой, которая одержима соцсетями: полезное руководство Как встречаться с девушкой, которая одержима соцсетями: полезное руководство

Мешают ли социальные сети вашим отношениям?

Playboy
Химики научились селективно замещать водород на концевом углеводородном фрагменте Химики научились селективно замещать водород на концевом углеводородном фрагменте

Новый способ получать органические молекулы из простого углеводородного сырья

N+1
«Я обалдел от масштаба «трагедии»»: стилист Киркорова пришел в шок от его одежды «Я обалдел от масштаба «трагедии»»: стилист Киркорова пришел в шок от его одежды

Стилист Филиппа Киркорова рассказал о первом рабочем дне у артиста

Cosmopolitan
Дневник бортинженера Международной космической станции Дневник бортинженера Международной космической станции

Почему липучка — главный друг астронавта, а тортилья — главная еда?

Esquire
Как умные люди делают убогую рекламу (быль) Как умные люди делают убогую рекламу (быль)

Откуда берется скучная и бездарная реклама?

Esquire
Предпринимательницы Кремниевой Долины о фильме Дудя, феминизме и женских стартапах Предпринимательницы Кремниевой Долины о фильме Дудя, феминизме и женских стартапах

Дискуссия с предпринимательницами Силиконовой долины

Forbes
Громкие почесывания лангустов оказались слышны за три километра Громкие почесывания лангустов оказались слышны за три километра

Распространение звуков лангустов в воде позволит оценивать размеры их популяций

N+1
В путь зовет кино В путь зовет кино

В каких странах можно побывать с помощью фильмов?

Лиза
Из первых рук: какие подарки Россия в разные годы дарила США Из первых рук: какие подарки Россия в разные годы дарила США

Динамику отношений России и США можно проследить по подаркам лидеров стран

Esquire
Гарри ясно Гарри ясно

Дэниел Рэдклифф давно отошел от амплуа волшебника из Хогвартса

Esquire
«Брэду Питту мы уже написали»: как инстаграм «Сказки на дому» за месяц превратился в международный проект с инвесторами «Брэду Питту мы уже написали»: как инстаграм «Сказки на дому» за месяц превратился в международный проект с инвесторами

Создатель «Сказки на дому» — о том, как искал команду, деньги и чтецов

Forbes
Пластырь из цианобактерий заживил хронические раны при диабете Пластырь из цианобактерий заживил хронические раны при диабете

С пластырем скорость заживления ран у мышей с диабетом была нормальной

N+1
Загар или бледность? Что молодит звездных женщин разного типа старения Загар или бледность? Что молодит звездных женщин разного типа старения

Каких женщин загар старит, а каких — молодит?

Cosmopolitan
Как менялся стиль Роберта Паттинсона Как менялся стиль Роберта Паттинсона

Ему удалось перевоплотиться из вампира в супергероя

GQ
«Нет» значит «нет»: почему мужчинам не нравятся наши прямые ответы «Нет» значит «нет»: почему мужчинам не нравятся наши прямые ответы

Почему мужчинам не хочется слышать от женщин прямые ответы

Cosmopolitan
«Важно проводить время с пользой» «Важно проводить время с пользой»

Интервью с Елизаветой Боярской и фотосессия, снятая на телефон

OK!
Россия на экспорт Россия на экспорт

На фестивале Care’s итальянка из мишленовского ресторана готовила борщ

Bones
Фитнес без движения: как наш мозг сжигает много лишних калорий Фитнес без движения: как наш мозг сжигает много лишних калорий

Для сжигания калорий вовсе не обязательно пыхтеть на беговой дорожке

Популярная механика
Голос жертвы: вышел фильм об Анастасии Ещенко, убитой историком Соколовым Голос жертвы: вышел фильм об Анастасии Ещенко, убитой историком Соколовым

Документальный фильм, который показывает трагедию Ещенко именно так, как надо

Cosmopolitan
Открыть в приложении