Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Неандертальцы наследили на португальских пляжах Неандертальцы наследили на португальских пляжах

Археологи обнаружили на португальском побережье отпечатки ног неандертальцев

N+1
Хорхе Вайехо: «Мы — гиды в мире будущего гастрономии» Хорхе Вайехо: «Мы — гиды в мире будущего гастрономии»

Интервью с Хорхе Вайехо — одним из главных шефов Латинской Америки

Bones
Как сделать удаленный рабочий стол и какой софт для этого использовать Как сделать удаленный рабочий стол и какой софт для этого использовать

Как сделать подключение к удаленному рабочему столу под управлением Windows

CHIP
10 лауреатов Пулитцера, которых вам давно пора прочитать 10 лауреатов Пулитцера, которых вам давно пора прочитать

Призеры Пулитцеровской премии, которых должен прочитать каждый

Esquire
Как понять, что у девушки появился другой и как ее вернуть (+ что делать нельзя) Как понять, что у девушки появился другой и как ее вернуть (+ что делать нельзя)

Что делать, если ты любишь девушку и не согласен с вашим разрывом

Playboy
«Мы устали сидеть дома»: вернутся ли сотрудники в офисы после пандемии «Мы устали сидеть дома»: вернутся ли сотрудники в офисы после пандемии

Как будет происходить возвращение сотрудников в офисы

Forbes
«Опыт и немного визионерства»: почему венчуру нужно избавляться от стереотипов и больше инвестировать в женщин «Опыт и немного визионерства»: почему венчуру нужно избавляться от стереотипов и больше инвестировать в женщин

Как гендерный дисбаланс мешает развитию инвестиций

Forbes
Вспоминая Канны: лучшие наряды кинофестивалей 2006-2016 годов Вспоминая Канны: лучшие наряды кинофестивалей 2006-2016 годов

Лучшие выходы на красные дорожки Каннского кинофестиваля разных лет

Esquire
Чайки предпочли освоенные людьми районы Чайки предпочли освоенные людьми районы

Средиземноморские чайки приспособились к антропогенной среде

N+1
«Запертые в невидимом футляре»: как вернуться к нормальной жизни «Запертые в невидимом футляре»: как вернуться к нормальной жизни

Чему нас может научить эта внезапная пандемия

Psychologies
Исполнение желаний. К юбилею Музея AZ Исполнение желаний. К юбилею Музея AZ

Главный редактор журнала «Сноб» Сергей Николаевич размышляет о феномене Музея AZ

СНОБ
Хорошая и плохая скука: как качественно отдыхать в эпоху вечной занятости Хорошая и плохая скука: как качественно отдыхать в эпоху вечной занятости

Наши списки дел никогда не закончатся, а за очередным дедлайном последует новый

Forbes
Квантовый метаматериал сможет измерить микроволновой фотон без разрушения Квантовый метаматериал сможет измерить микроволновой фотон без разрушения

Физики разработали концепцию однофотонного детектора

N+1
Бритни – в 14, Лима – в 27: во сколько лет лишились невинности звезды и с кем Бритни – в 14, Лима – в 27: во сколько лет лишились невинности звезды и с кем

Эти звезды описали, во сколько лет и с кем они лишились девственности

Cosmopolitan
«Лимассолград»: FT рассказала, почему ЕС начал беспокоиться из-за русских на Кипре «Лимассолград»: FT рассказала, почему ЕС начал беспокоиться из-за русских на Кипре

Как выходцы из СССР повлияли на Кипр, почему это заставляет Брюссель волноваться

Forbes
Декрет — это не курорт. Что не так с восприятием материнства обществом Декрет — это не курорт. Что не так с восприятием материнства обществом

Как найти общий язык с ребенком и баланс между вашими потребностями

Forbes
В России впервые синтезировали тонкую пленку из хлорида натрия В России впервые синтезировали тонкую пленку из хлорида натрия

Ученые подтвердили возможность существования тонкой пленки хлорида натрия

Популярная механика
9 самых ужасающих и смелых экспериментов в истории 9 самых ужасающих и смелых экспериментов в истории

Где грань между научным рвением и тонкой моралью в экспериментах?

Популярная механика
Трофей из России — легендарный Т-34 на службе вдали от дома Трофей из России — легендарный Т-34 на службе вдали от дома

Т-34 побывал везде - в Европе, на Ближнем Востоке, в Африке

Maxim
10 фильмов об отношениях, в которых женщина старше 10 фильмов об отношениях, в которых женщина старше

Фильмы, повлиявшие на восприятие союза взрослой женщины с молодым мужчиной

Esquire
Положение обязывает: брачный контракт, заключенный Куртом Воннегутом с его женой Джейн на время ее беременности Положение обязывает: брачный контракт, заключенный Куртом Воннегутом с его женой Джейн на время ее беременности

Курт Воннегут обязовался мыть полы, чтобы его беременная жена не ворчала

Esquire
Слово «зато», море и алкоголь. Редакция на карантине в объективе Zoom Слово «зато», море и алкоголь. Редакция на карантине в объективе Zoom

Редакция проекта «Сноб» поучаствовала в эксперименте «Фотосъемка в зуме»

СНОБ
Как сохранять мотивацию и не отвлекаться на удаленной работе Как сохранять мотивацию и не отвлекаться на удаленной работе

Как сохранять позитивный настрой и получать удовольствие от работы дома

РБК
Где рождаются нейтрино: новое исследование Где рождаются нейтрино: новое исследование

Ученым удалось найти связь между космическими нейтрино и вспышками галактик

Популярная механика
Загадка досуга. Почему мы ощущаем себя вечно занятыми и что с этим делать Загадка досуга. Почему мы ощущаем себя вечно занятыми и что с этим делать

Отрывок из книги «Эпоха долголетия»: грядет перестройка структуры времени

Forbes
Юрий Анненков. Вкус жизни Юрий Анненков. Вкус жизни

Три страсти безраздельно владели Юрием Анненковым

Караван историй
Россияне подготовились к худшему: клиенты банков досрочно погасили кредиты Россияне подготовились к худшему: клиенты банков досрочно погасили кредиты

Несколько крупных банков зафиксировали рост досрочных погашений кредитов

Forbes
Один дома, не считая собаки: как фотографы и их питомцы помогают друг другу на карантине (фотопроект) Один дома, не считая собаки: как фотографы и их питомцы помогают друг другу на карантине (фотопроект)

Оказавшись взаперти, мы столкнулись с самими собой

Esquire
Дмитрий Брейтенбихер: «Они умеют идти вперед и при сильном встречном ветре» Дмитрий Брейтенбихер: «Они умеют идти вперед и при сильном встречном ветре»

Куда инвестируют состоятельные клиенты в условиях пандемии

Forbes
Любовь на карантине: как не испортить отношения с партнером в самоизоляции Любовь на карантине: как не испортить отношения с партнером в самоизоляции

Постоянно быть рядом трудно, как бы вы друг друга ни любили

Cosmopolitan
Открыть в приложении