«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кредиты на жилье ушли в минус Кредиты на жилье ушли в минус

Объем выданной за первое полугодие ипотеки уменьшился впервые с кризиса

РБК
Найден древнейший римский лагерь на северо-западе Пиренейского полуострова Найден древнейший римский лагерь на северо-западе Пиренейского полуострова

Археологи датировали остатки римского военного лагеря на севере Португалии

N+1
Метеозависимость: симптомы, причины, комментарии эксперта Метеозависимость: симптомы, причины, комментарии эксперта

Что такое метеозависимость и как с ней жить?

РБК
От приложения до электронной коммерции: Топ-5 сфер применения языка PHP От приложения до электронной коммерции: Топ-5 сфер применения языка PHP

Несколько вдохновляющих примеров того, что можно делать с помощью языка PHP

Популярная механика
6 тюрем строгого режима, за ночь в которых не жалко отдать свободу 6 тюрем строгого режима, за ночь в которых не жалко отдать свободу

Отели, которые мастерски замаскировались под казематы и остроги

Maxim
Почему не стоит говорить коллегам: «Мне нужно, чтобы ты…» Почему не стоит говорить коллегам: «Мне нужно, чтобы ты…»

Как корректно формулировать просьбы, пожелания и замечания на работе

Psychologies
Попались на джинсе Попались на джинсе

Когда тебе нужен дорогой винтажный деним, выясняется, что мода – грязное дело

Playboy
Топ-5 инфекций, которые легко подхватить летом Топ-5 инфекций, которые легко подхватить летом

Летний сезон – горячая пора для кишечных инфекций

Лиза
Высокая температура с похмелья: возможные причины и способы облегчить состояние Высокая температура с похмелья: возможные причины и способы облегчить состояние

Что делать, если похмелье сопровождается температурой, и как прийти в себя

Playboy
В режиме ожидания В режиме ожидания

Как быть, если мужчина не хочет жениться?

Лиза
Есть покой и воля Есть покой и воля

Когда Наоми Кэмпбелл хочет собраться с силами, она едет на свою виллу в Кению

Tatler
#glam_gaming: Амина Мирзоева #glam_gaming: Амина Мирзоева

Стример Амина Мирзоева прославилась в первую очередь игрой на укулеле

Glamour
7 способов помочь тому, кто пострадал от насилия 7 способов помочь тому, кто пострадал от насилия

Инструкция как оказать действенную поддержку пострадавшему от насилия

Psychologies
Нейросеть Facebook научилась копировать стиль текста с одного примера Нейросеть Facebook научилась копировать стиль текста с одного примера

В Facebook создали нейросеть, способную переносить стиль надписи на новый текст

N+1
«Моцарт видит меня именно таким, какой я есть на самом деле» «Моцарт видит меня именно таким, какой я есть на самом деле»

Музыкант Алексей Воробьёв и его корги Моцарт

OK!
Наша задача — затормозить уменьшение плодородия Наша задача — затормозить уменьшение плодородия

Академик Алексей Завалин о сложностях агропрома и о состоянии чернозема

Наука
Углекислый газ помог получить транспортные слои для солнечных элементов Углекислый газ помог получить транспортные слои для солнечных элементов

Новые солнечные элементы эффективнее за счет меньшего количества ионов лития

N+1
«Бизнес не может сам прийти к инклюзии»: как трудоустраивать людей с ментальными и физическими особенностями «Бизнес не может сам прийти к инклюзии»: как трудоустраивать людей с ментальными и физическими особенностями

Дискуссия, посвященная теме трудоустройства людей с особенностями

Forbes
17 Instagram-аккаунтов, которые научат тебя плести фантастические косы 17 Instagram-аккаунтов, которые научат тебя плести фантастические косы

Авторы этих аккаунтов вдохновят вас на потрясающие прически

Cosmopolitan
Новая платформа и двигатели V6: Toyota представила внедорожник Land Cruiser 300 Новая платформа и двигатели V6: Toyota представила внедорожник Land Cruiser 300

Новое поколение культовой модели Toyota Land Cruiser

Популярная механика
Бизнес до востребования: как польский предприниматель переизобрел почту Бизнес до востребования: как польский предприниматель переизобрел почту

Польский «почтовый король» вывел компанию InPost из кризиса благодаря постаматам

Forbes
Штат или аутсорсинг: как найти правильный баланс, работая на премиальном рынке Штат или аутсорсинг: как найти правильный баланс, работая на премиальном рынке

Особенности рынка премиальной недвижимости в России

Forbes
5 способов избавиться от зависти 5 способов избавиться от зависти

Что поможет меньше концентрироваться на успехах других людей?

Psychologies
Твоя любимая музыка”: DANTES выпустил первый сольный альбом Твоя любимая музыка”: DANTES выпустил первый сольный альбом

Треки с разным посылом, настроением и состоянием – в сольном альбоме DANTESa

Cosmopolitan
Ученые обнаружили, что ругательства активизируют скрытые ресурсы человека Ученые обнаружили, что ругательства активизируют скрытые ресурсы человека

Использование ненормативной лексики имеет определенный физиологический эффект

Maxim
Обзор смартфона realme 8 Pro: 108 Мп в среднем классе Обзор смартфона realme 8 Pro: 108 Мп в среднем классе

Изучаем смартфон realme 8 Pro и делаем выводы

CHIP
Как русскоязычная поп-музыка стала думать сердцем и обрела тысячу лиц Как русскоязычная поп-музыка стала думать сердцем и обрела тысячу лиц

Почему неопоп — это наиболее искренняя форма поп-музыки и причем здесь соцсети

РБК
«Не будь так скромен – ты еще не настолько велик». Почему скромность мешает успеху «Не будь так скромен – ты еще не настолько велик». Почему скромность мешает успеху

Как скромность может отрицательно сказаться на будущем человека?

СНОБ
Для кожи, пищеварения и от стресса: лекарственные растения с подоконника Для кожи, пищеварения и от стресса: лекарственные растения с подоконника

Какие лекарственные растения можно вырасти дома

Cosmopolitan
Курс на Восток. С чего начать знакомство с восточной культурой Курс на Восток. С чего начать знакомство с восточной культурой

Всё, что нужно знать о современной восточной культуре

СНОБ
Открыть в приложении