«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Альбом талантов Альбом талантов

У вас есть ощущение, что в жизни чего-то не хватает, но непонятно, что это?

Psychologies
Женщина сбежала от мужа-тирана и спустя 12 лет увидела свои фото в интернете Женщина сбежала от мужа-тирана и спустя 12 лет увидела свои фото в интернете

Популярный блогер поделился удивительной историей

Psychologies
«Время переменных. Математический анализ в безумном мире» «Время переменных. Математический анализ в безумном мире»

Новая книга Бена Орлина рассказывает о матанализе понятным языком

N+1
Замглавы Минфина Алексей Сазанов — Forbes: «НДФЛ для доходов от 5 млн рублей нужно хотя бы два-три года не трогать» Замглавы Минфина Алексей Сазанов — Forbes: «НДФЛ для доходов от 5 млн рублей нужно хотя бы два-три года не трогать»

Заместитель главы Минфина — о налогах на прибыль и НДФЛ для среднего класса

Forbes
Я (не) один: как превратить отпуск в поиск единомышленников и новых знакомств Я (не) один: как превратить отпуск в поиск единомышленников и новых знакомств

Тревел-компании, которые предлагают новые знакомства, необычные обстоятельства

РБК
Это конец Это конец

Какие концы света грядут и каких из них не миновать

N+1
Она лучше? Какие женщины заставляли музыкантов забывать о законных женах Она лучше? Какие женщины заставляли музыкантов забывать о законных женах

На кого променяли официальных жен известные мужчины

Cosmopolitan
Физики впервые измерили две скорости звука в сверхтекучей пленке Физики впервые измерили две скорости звука в сверхтекучей пленке

Двухжидкостная модель теперь подтверждена и для двумерных сверхтекучих жидкостей

N+1
Ученые, ставшие фантастами: Барбара Хэмбли и Аркади Мартин Ученые, ставшие фантастами: Барбара Хэмбли и Аркади Мартин

Писательницы-историки, использующие свои знания в фантастических романах

Популярная механика
Самые неожиданные провалы сильнейших футбольных команд Самые неожиданные провалы сильнейших футбольных команд

Даже у самых безупречных команд в Лиге чемпионов УЕФА случаются кошмарные матчи

Maxim
Счастливый грант: как образовательный стартап StudyFree привлек $2,9 млн инвестиций Счастливый грант: как образовательный стартап StudyFree привлек $2,9 млн инвестиций

Как девушка из маленького российского городка оказалась в Мекке стартаперов?

Forbes
Как выглядят мужья и жены звезд шоу «Однажды в России»: комики и обычные люди Как выглядят мужья и жены звезд шоу «Однажды в России»: комики и обычные люди

С кем счастливы Азамат Мусагалиев, Ольга Картункова и другие телезвезды

Cosmopolitan
Кто тренирует Мадонну, Вирджила Абло, Беллу Хадид и как заниматься с ними Кто тренирует Мадонну, Вирджила Абло, Беллу Хадид и как заниматься с ними

Эффективные спортивные упражнения от самых звездных тренеров

РБК
Дайте с витрины Дайте с витрины

Этой осенью в США начнется большая распродажа предметов из коллекций музеев

Forbes
«Стараюсь удерживать вес, и это у меня получается» «Стараюсь удерживать вес, и это у меня получается»

Опыт похудения на диете Дюкана

Худеем правильно
Модель разрешила небольшие океаны на спутниках планет-сирот Модель разрешила небольшие океаны на спутниках планет-сирот

Космические лучи могут производить воду из атмосферы

N+1
Ботокс для ресниц: прорыв или развод на деньги? Ботокс для ресниц: прорыв или развод на деньги?

Ботокс для ресниц. Что это и нужно ли оно нам?

Cosmopolitan
Среди южноамериканских млекопитающих нашлись новые хозяева трихинелл Среди южноамериканских млекопитающих нашлись новые хозяева трихинелл

Ученые нашли паразитических червей у чилийской кошки и малого гризона

N+1
Ни слова про Арбузы: путешествие в Астрахань Ни слова про Арбузы: путешествие в Астрахань

В Астрахань хорошо приезжать на несколько дней, чтобы увидеть все чудеса света

Seasons of life
«Мне неинтересно жить на чужие деньги» — дети-предприниматели рассказали, почему занялись бизнесом «Мне неинтересно жить на чужие деньги» — дети-предприниматели рассказали, почему занялись бизнесом

5 разных историй предпринимателей, начавших зарабатывать в 8–12 лет

Inc.
Зачем инвестировать в криптобиржи и сколько на этом можно заработать Зачем инвестировать в криптобиржи и сколько на этом можно заработать

Как инвестировать в криптобиржи, какие у подобной инвестиции есть плюсы и минусы

СНОБ
Наука или индустрия: как сделать правильный выбор Наука или индустрия: как сделать правильный выбор

Что мотивирует людей совмещать работу в ИТ и преподавание?

Популярная механика
Солнце взойдет Солнце взойдет

Тактика защиты от солнца для тех, кто склонен покрываться неравномерными пятнами

Playboy
Балахоны в мусорку! Как выглядеть стильно при любом телосложении Балахоны в мусорку! Как выглядеть стильно при любом телосложении

Сегодня выглядеть стильно можно при любом телосложении

Cosmopolitan
Я бы в лётчики пошёл, пусть меня научат: фильмы о людях с необычной профессией Я бы в лётчики пошёл, пусть меня научат: фильмы о людях с необычной профессией

Фильмы о людях с профессиями, о которых мы едва догадывались

Cosmopolitan
Сестры Фэннинг. Такие разные. Такие похожие Сестры Фэннинг. Такие разные. Такие похожие

Дакота и Эль Фэннинг начали актерскую карьеру совсем маленькими

Караван историй
«Наука Шерлока Холмса: методы знаменитого сыщика в расследовании преступлений прошлого и настоящего». Отрывок из книги Стюарт Росс «Наука Шерлока Холмса: методы знаменитого сыщика в расследовании преступлений прошлого и настоящего». Отрывок из книги Стюарт Росс

Отрывок из книги Стюарта Росса: как научные знания помогают в расследованиях

СНОБ
#glam_журналистика: Саша Сулим #glam_журналистика: Саша Сулим

Одна из лучших журналисток страны теперь собирает миллионы просмотров на Youtube

Glamour
Master class в темпе вальса. К 80-летию режиссера Алексея Бородина Master class в темпе вальса. К 80-летию режиссера Алексея Бородина

Эссе-портрет режиссера Алексея Бородина

СНОБ
«Вернулась со свидания с крашем»: как соцсети развращают детей «Вернулась со свидания с крашем»: как соцсети развращают детей

Почему в соцсетях дети ведут себя вызывающе и какими могут быть последствия?

Psychologies
Открыть в приложении