Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

ГМ-бактерия разрушила избыточные оксалаты в кишечнике крыс и людей ГМ-бактерия разрушила избыточные оксалаты в кишечнике крыс и людей

Как ученые создали бактерию для борьбы с кишечной гипероксалурией

N+1
10 лучших триллеров на Netflix, которые стоит посмотреть прямо сейчас 10 лучших триллеров на Netflix, которые стоит посмотреть прямо сейчас

Триллеры, которые действительно заставят вас почувствовать напряжение

Esquire
Как увидеть угрозы безопасности при работе с ИИ? Ловите чек-лист Как увидеть угрозы безопасности при работе с ИИ? Ловите чек-лист

Чем опасны ИИ-модели для бизнеса и почему традиционная ИБ не справляется

Inc.
Что влияет на погоду? Что влияет на погоду?

Какова зависимость погодных условий от космических объектов?

Наука и жизнь
Путь Дзэн Путь Дзэн

Истоки, принципы, практика

kiozk originals
Апокалипсис Дрездена: дуэли «ковровых бомбардировок» Апокалипсис Дрездена: дуэли «ковровых бомбардировок»

Одна из самых спорных и противоречивых военных операций Второй мировой

Популярная механика
В бой идут одни сопляки: чем Пентагону интересны игроки в Starcraft? В бой идут одни сопляки: чем Пентагону интересны игроки в Starcraft?

Интересно жить, зная, что твой город может стереть с лица Земли толстый школьник

Maxim
Под газом: как газотурбинные двигатели покоряли автопром Под газом: как газотурбинные двигатели покоряли автопром

Что пошло не так у этого по всем статьям крутого движка?

Популярная механика
Сенат США хочет изгнать китайских гигантов с американских бирж: чем политики объясняют это решение и к чему оно приведёт Сенат США хочет изгнать китайских гигантов с американских бирж: чем политики объясняют это решение и к чему оно приведёт

Новый шаг в противостоянии США и Китая

VC.RU
Двое в комнате Двое в комнате

Дарья Василькова спроектировала квартиру для друзей-рестораторов

AD
Пересадка бороды: 6 ответов на главные вопросы Пересадка бороды: 6 ответов на главные вопросы

Рассказываем обо всех тонкостях пересадки бороды

Playboy
В путь зовет кино В путь зовет кино

В каких странах можно побывать с помощью фильмов?

Лиза
Самое холодное место во вселенной Самое холодное место во вселенной

Насколько холоден холодный космос?

Популярная механика
Пришел чужой штраф. Что с этим делать во время самоизоляции? Пришел чужой штраф. Что с этим делать во время самоизоляции?

Оспорить штраф за проданную машину или авто-двойник чаще всего можно онлайн

РБК
Годичные кольца рассказали о засухах в бассейне Миссури Годичные кольца рассказали о засухах в бассейне Миссури

Засухи на рубеже XXI века оказались самыми экстремальными за последние 1200 лет

N+1
Пять минут — не опоздание. Почему русские и иностранцы по-разному планируют свое время Пять минут — не опоздание. Почему русские и иностранцы по-разному планируют свое время

Как составлять расписание и распределять время в общении с зарубежными коллегами

Forbes
Мощные и изящные: 10 легендарных американских маслкаров Мощные и изящные: 10 легендарных американских маслкаров

Немногие автомобили превосходят маслкары по сочетанию красоты и мощи

Популярная механика
Машина апокалипсиса: как скрестить ракетовоз с тепловозом Машина апокалипсиса: как скрестить ракетовоз с тепловозом

История знает немало амбициозных проектов по скрещиванию техники

Популярная механика
Разная война. Почему у Путина не получается защитить «итоги Второй мировой» Разная война. Почему у Путина не получается защитить «итоги Второй мировой»

Юбилей Победы Россия встречает в странных обстоятельствах

СНОБ
Как жить дальше: какие вопросы задают бизнесмены своим психологам в разгар кризиса Как жить дальше: какие вопросы задают бизнесмены своим психологам в разгар кризиса

Как найти в себе силы двигаться и решать насущные вопросы в условиях кризиса

Forbes
10 сериалов для тех, кто устал от классических сериалов 10 сериалов для тех, кто устал от классических сериалов

Десяток сериалов, которые изменят ваше отношение к привычным форматам

Esquire
Правила жизни Софии Копполы Правила жизни Софии Копполы

Правила жизни кинорежиссера Софии Копполы

Esquire
«Многие уже отказались от машины». Что происходит с ОСАГО «Многие уже отказались от машины». Что происходит с ОСАГО

Что будет с рынком обязательного автострахования после пандемии

РБК
10 антитрендовых дизайнерских решений, которые мы всё равно любим 10 антитрендовых дизайнерских решений, которые мы всё равно любим

В дизайне интерьеров тоже есть тренды и антитренды

Cosmopolitan
Правой, левой: в чем разница между левшой и правшой Правой, левой: в чем разница между левшой и правшой

Стереотипы, связанные с преобладанием левого или правого полушария, сохраняются

Популярная механика
4 научно обоснованные причины, почему быть толстым иногда полезно для здоровья 4 научно обоснованные причины, почему быть толстым иногда полезно для здоровья

Люди с лишним весом застрахованы от болезней, которыми страдают худышки

Maxim
5 позитивных утверждений, которые помогут не падать духом 5 позитивных утверждений, которые помогут не падать духом

В самые грустные дни важно найти внутреннюю опору

Psychologies
Ремень, таблетки, пистолет: 8 кинозвезд, которые неожиданно покончили с собой Ремень, таблетки, пистолет: 8 кинозвезд, которые неожиданно покончили с собой

Даже знаменитости порой сводят счеты с жизнью, шокируя близких

Cosmopolitan
Штраф за выезд на МКАД. Автомобилист пожаловался на ловушку Штраф за выезд на МКАД. Автомобилист пожаловался на ловушку

Водитель из Торжка проехал в Рязань транзитом через Москву

РБК
Пусть цветут все цветы Пусть цветут все цветы

Зачем мать пятерых детей стала президентом Специальной Олимпиады России

Tatler
Открыть в приложении