«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Доход с разумным риском Доход с разумным риском

Специалисты советуют инвесторам-физлицам повышать уровень финансовой грамотности

РБК
Как перенести данные с Андроида на Айфон: пошаговая инструкция Как перенести данные с Андроида на Айфон: пошаговая инструкция

Как перенести данные с Андроида на Айфон, используя одно приложение

CHIP
Пчелы против бегемотов: как убить фараона Пчелы против бегемотов: как убить фараона

История о гибели фараона от укуса пчелы

N+1
Убыточный супергерой: как создатели фильма по комиксам «Майор Гром» провалились в прокате, но продали права Netflix Убыточный супергерой: как создатели фильма по комиксам «Майор Гром» провалились в прокате, но продали права Netflix

Как Артем Габрелянов строит в России комикс-империю

Forbes
5 главных травм при беге 5 главных травм при беге

О травмах надо помнить всегда, особенно когда собираешься пробежать марафон

GQ
Лучшие мотивирующие фильмы для злодеев Лучшие мотивирующие фильмы для злодеев

Фильмы. после которых сразу захочется встать и записаться в негодяи

Maxim
Ксения Шойгу и Алексей Столяров — о триатлоне как стиле жизни, совместных проектах и личном Ксения Шойгу и Алексей Столяров — о триатлоне как стиле жизни, совместных проектах и личном

Алексей Столяров и Ксения Шойгу — о своей личной жизни и триатлоне

Esquire
Полвека. Как тебе такое, Илон Маск? Малоизвестные эпизоды из жизни главы SpaceX в его день рождения Полвека. Как тебе такое, Илон Маск? Малоизвестные эпизоды из жизни главы SpaceX в его день рождения

Малоизвестные эпизоды из жизни Илона Маска, опубликованных в его биографии

СНОБ
Как надолго задержать дыхание под водой и не умереть: 5 простых шагов Как надолго задержать дыхание под водой и не умереть: 5 простых шагов

Сейчас мы научим тебя пребывать в состоянии статического апноэ больше 10 минут

Maxim
Если болит желудок или кишечник... Если болит желудок или кишечник...

Часто болит желудок или кишечник? Эксперты советуют, как решить проблему

Cosmopolitan
«Стараюсь удерживать вес, и это у меня получается» «Стараюсь удерживать вес, и это у меня получается»

Опыт похудения на диете Дюкана

Худеем правильно
Секс без любви: хорошо это или плохо? Секс без любви: хорошо это или плохо?

Как понять, что принесет вам случайный секс?

Psychologies
Почему доверие — ключ к здоровым отношениям Почему доверие — ключ к здоровым отношениям

Как научиться доверять партнеру, если вас много раз предавали?

Psychologies
Как общаться с пожилыми родителями? Как общаться с пожилыми родителями?

Как наладить взаимопонимание с пожилыми родителями и снять напряжение в семье?

Psychologies
Вместе до последнего вздоха: история любви Дмитрия Хворостовского и Флоранс Илли Вместе до последнего вздоха: история любви Дмитрия Хворостовского и Флоранс Илли

Вдова оперного певца Дмитрия Хворостовского вспоминает своего супруга

Cosmopolitan
Продам энергию: рассказываем, как устроены успешные экокварталы разных стран Продам энергию: рассказываем, как устроены успешные экокварталы разных стран

Какие экологичные технологии используют в строительстве

Esquire
Что такое наркозависимость и как защитить от нее близких Что такое наркозависимость и как защитить от нее близких

Что такое наркомания в современном мире и как спасти от нее близких

РБК
«День, когда я перестала обижаться» «День, когда я перестала обижаться»

Наша читательница уверена: отказавшись от обид, она обрела свободу

Psychologies
История «Артека»: как мечты пионеров превращались в кошмары История «Артека»: как мечты пионеров превращались в кошмары

«Артек» очень быстро превратился в нечто большее, чем просто санаторий для детей

Cosmopolitan
«Позови человека». Почему боты не заменят живых операторов на 100 процентов «Позови человека». Почему боты не заменят живых операторов на 100 процентов

Когда автоматизация не вредит, а помогает клиентскому сервису

СНОБ
Мальчик-олень, Локи и Стивен Кинг: какие сериалы смотреть в июне Мальчик-олень, Локи и Стивен Кинг: какие сериалы смотреть в июне

Десять сериалов, с которыми можно провести лето

Esquire
Как это часто не совпадает… Как это часто не совпадает…

Можно ли ужиться вместе людям, у которых разные привычки и увлечения?

Лиза
5 удивительных загадок из мира животных 5 удивительных загадок из мира животных

Тайны наших четвероногих друзей, о которых сами они тебе ни за что не расскажут!

Maxim
Корректировка смыслов. Тест-драйв Porsche Panamera 2021 года Корректировка смыслов. Тест-драйв Porsche Panamera 2021 года

Porsche Panamera 2021 — самая быстрая версия в истории

РБК
Маленькие супергерои: 3 семейства насекомых со сверхспособностями Маленькие супергерои: 3 семейства насекомых со сверхспособностями

Насекомые пережили целый ряд катастроф на нашей планете

Вокруг света
От любви до ненависти: как сложились отношения принца Чарльза с принцессой Анной От любви до ненависти: как сложились отношения принца Чарльза с принцессой Анной

История отношения стерших детей королевы Елизаветы – Чарльза и Анны

Cosmopolitan
Возможно ли избавиться от пробок, и причем тут диджитализация Возможно ли избавиться от пробок, и причем тут диджитализация

Можно ли избавиться от пробок и как это сделать

Популярная механика
15 мыслей Юрия Стоянова 15 мыслей Юрия Стоянова

Юрий Стоянов — о кровопийцах, стендаперах, прошлом, будущем и несбыточном

GQ
Мобильный офис Мобильный офис

Как выпускница физфака построила мебельную компанию в России

Forbes
Божьи мельницы: как было открыто вращение самых больших структур во Вселенной Божьи мельницы: как было открыто вращение самых больших структур во Вселенной

Самые большие в космосе структуры вращаются вокруг своей оси

Forbes
Открыть в приложении