«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Сила слова Сила слова

Некоторым нужно меньше минуты, чтобы прочитать стандартную страницу текста

Вокруг света
«Моя жизнь лучше, чем я могла мечтать!»: как Меган Маркл обрела личное счастье «Моя жизнь лучше, чем я могла мечтать!»: как Меган Маркл обрела личное счастье

Герцогиня Сассекская - образец успешной и сильной женщины

Cosmopolitan
Спазмы в мышцах, проблемы со зрением, боли в животе: что стало со здоровьем человека после появления ПК в 1980-х Спазмы в мышцах, проблемы со зрением, боли в животе: что стало со здоровьем человека после появления ПК в 1980-х

Что произошло со здоровьем людей благодаря сидячей монотонной работе?

VC.RU
Цвет в интерьере: 4 удачных примера Цвет в интерьере: 4 удачных примера

Эксперты: как грамотно использовать в интерьере яркие цвета

РБК
Не тормозить: как бывшая сотрудница Uber получила $83,5 млн на производство беспилотников Не тормозить: как бывшая сотрудница Uber получила $83,5 млн на производство беспилотников

Ракель Уртасун делает ставку на новые алгоритмы

Forbes
Слушать кино: плей-лист режиссера Happy End Сангаджиева Слушать кино: плей-лист режиссера Happy End Сангаджиева

В плей-листе режиссера сериала Happy End — начинающие артисты и Алла Пугачева

Esquire
Невероятный 1968-й в рок-музыке Невероятный 1968-й в рок-музыке

В 1968 такие дела творились, и столько было всего — калькулятор не сосчитает

Maxim
Жаркие штучки. Hype House Жаркие штучки. Hype House

Чем занимаются тиктокеры из Hype House

ЖАРА Magazine
Милые озорники! Удивительные факты о детях Кейт Миддлтон и принца Уильяма Милые озорники! Удивительные факты о детях Кейт Миддлтон и принца Уильяма

Узнай интересные факты о внуках принцессы Дианы!

Cosmopolitan
Ненависть до дрожи и абсолютное обожание: к кому и почему мы их испытываем? Ненависть до дрожи и абсолютное обожание: к кому и почему мы их испытываем?

Как в раздражении и восхищении к другим увидеть свои теневые стороны

Psychologies
Детские психотравмы связали с получением большего удовольствия от морфина Детские психотравмы связали с получением большего удовольствия от морфина

Люди, перенесшие психологические травмы, получают больше удовольствия от морфина

N+1
«Левиафан» по косточкам: почему для режиссера Андрея Звягинцева не существует случайностей «Левиафан» по косточкам: почему для режиссера Андрея Звягинцева не существует случайностей

Несколько кадров из «Левиафана» с пояснениями и ответами Звягинцева

Forbes
Победительница шоу «Ты топ-модель»:«У нас была честная конкуренция, без козней» Победительница шоу «Ты топ-модель»:«У нас была честная конкуренция, без козней»

Победительница шоу «Ты топ-модель на ТНТ» Тина Тоева — о проекте и планах

Cosmopolitan
Женя Калинкин и Даша Касьян Женя Калинкин и Даша Касьян

Создатели видеоканала о литературе «Что бы мне поделать, только бы не почитать»

Собака.ru
Как гигантские контейнеровозы перевозят грузы Как гигантские контейнеровозы перевозят грузы

Гигантский контейнеровоз кажется неподвижным и незыблемым перед лицом стихии

Популярная механика
Попались на джинсе Попались на джинсе

Когда тебе нужен дорогой винтажный деним, выясняется, что мода – грязное дело

Playboy
Сахарозаменители повысили патогенность кишечных бактерий Сахарозаменители повысили патогенность кишечных бактерий

Заменители сахара поспособствовали увеличению патогенности кишечной палочки

N+1
Татарка Татарка

Блогер Ира Смелая заявила о себе треками под ником Татарка

Собака.ru
Самолеты над стадионом. Писатель Дмитрий Данилов — о сумерках в Красково Самолеты над стадионом. Писатель Дмитрий Данилов — о сумерках в Красково

Дмитрий Данилов — о самом долгожданном моменте лета

РБК
Еда — это медитация Еда — это медитация

Легкая и чистая диета, апофеоз осознанности

Tatler
Самосбывающееся проклятие Самосбывающееся проклятие

Cлухи о конце эпохи низкой инфляции в США сильно преувеличены

Forbes
10 актеров, которые чуть не погибли на съемочной площадке 10 актеров, которые чуть не погибли на съемочной площадке

Актерский труд только кажется безопасным

Maxim
Виктория Терешкина Виктория Терешкина

Прима-балерина Виктория Терешкина — феномен Мариинского театра

Собака.ru
Семейские ценности Семейские ценности

Потомки старообрядцев, оказавшихся в Забайкалье в XVIII веке, сохранили веру

Вокруг света
Что такое наркозависимость и как защитить от нее близких Что такое наркозависимость и как защитить от нее близких

Что такое наркомания в современном мире и как спасти от нее близких

РБК
«Третий путь». Как подростку с особенностями развития стать частью общества «Третий путь». Как подростку с особенностями развития стать частью общества

Как подросткам с особенностями найти свой путь в общество

СНОБ
Белый, который не полнит: как правильно носить самый коварный цвет в одежде Белый, который не полнит: как правильно носить самый коварный цвет в одежде

Как правильно носить белые вещи

VOICE
Синдром долгого горевания: почему вдовы не налаживают личную жизнь Синдром долгого горевания: почему вдовы не налаживают личную жизнь

Почему, пережив утрату, женщины не вступают в новые отношения?

Psychologies
Шатуш своими руками: пошаговая инструкция Шатуш своими руками: пошаговая инструкция

Инструкция, как сделать окрашивание шатуш в домашних условиях

Cosmopolitan
Одна вокруг света: древние города майя, ревуны и коневодческий рай Одна вокруг света: древние города майя, ревуны и коневодческий рай

125-я серия о кругосветном путешествии москвички Ирины Сидоренко и ее собаки

Forbes
Открыть в приложении