«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Интроверты​​​​ Интроверты​​​​

Как использовать особенности своего характера

kiozk originals
Агния Кузнецова: «Завидую своей героине» Агния Кузнецова: «Завидую своей героине»

Актриса Агния Кузнецова о своей новой роли, детях и юморе

Лиза
Забудь о черном! Как научиться носить яркую одежду — модная инструкция для тебя Забудь о черном! Как научиться носить яркую одежду — модная инструкция для тебя

Как наконец перестать носить только темную и невзрачную одежду

Cosmopolitan
Три визуализации, чтобы перестать бояться перемен Три визуализации, чтобы перестать бояться перемен

Как перестать бояться столкновений с чем-то новом?

Psychologies
7 неочевидных факторов, которые влияют на уровень вашего дохода 7 неочевидных факторов, которые влияют на уровень вашего дохода

Почему некоторые люди не могут зарабатывать больше?

Psychologies
Штат или аутсорсинг: как найти правильный баланс, работая на премиальном рынке Штат или аутсорсинг: как найти правильный баланс, работая на премиальном рынке

Особенности рынка премиальной недвижимости в России

Forbes
Наука и жизнь Наука и жизнь

Как МФТИ стал настоящей кузницей кадров для российского бизнеса

Forbes
Попались на джинсе Попались на джинсе

Когда тебе нужен дорогой винтажный деним, выясняется, что мода – грязное дело

Playboy
Почему доверие — ключ к здоровым отношениям Почему доверие — ключ к здоровым отношениям

Как научиться доверять партнеру, если вас много раз предавали?

Psychologies
Повод для вызова Повод для вызова

Прямая речь актрисы и режиссера Светланы Устиновой

OK!
Евгений Водолазкин о пластиковых бутылках в Средневековье, хронофагах и ДиКаприо Евгений Водолазкин о пластиковых бутылках в Средневековье, хронофагах и ДиКаприо

Евгений Водолазкин – об экранизации своего романа, времени и хронофагах

Cosmopolitan
Зоологи покрасили скакунчиков косметикой и усомнились в защитной функции их узора Зоологи покрасили скакунчиков косметикой и усомнились в защитной функции их узора

Полосы и головогруди и брюшке самцов скакунчиков не спасли их от хищников

N+1
Стена и голос: как и почему модные бренды социально высказываются через уличное искусство Стена и голос: как и почему модные бренды социально высказываются через уличное искусство

Зачем модным брендам уличное искусство?

Esquire
Бедность по наследству: как сломать семейный сценарий Бедность по наследству: как сломать семейный сценарий

Почему кто-то становится миллионером, а другие вынуждены жить на копейки?

Psychologies
«Токсичное» позитивное мышление: как выбраться из ловушки ложного оптимизма «Токсичное» позитивное мышление: как выбраться из ловушки ложного оптимизма

Еще недавно позитивное мышление преподносилось как «волшебная таблетка»

Psychologies
Слушать кино: плей-лист режиссера Слушать кино: плей-лист режиссера

Алексей Камынин рассказал, как звуки помогают ему превращать буквы в текст

Esquire
Будь другом Будь другом

Пора рассказать тебе, откуда берутся звери и где найти будущего любимца

Cosmopolitan
15 секретов привлекательности Мэрилин Монро 15 секретов привлекательности Мэрилин Монро

Какие секреты красоты и стиля Мэрилин Монро обеспечили ей вечную славу

Cosmopolitan
Европейские дизайнеры — о том, как создать ресторан в здании с историей Европейские дизайнеры — о том, как создать ресторан в здании с историей

Четыре знаковых дизайнерских ресторана в Париже, Нанси, Венеции и Лондоне

РБК
Как Голливуд разочаровался в Мэрилин Монро, но пытался найти ее почти в каждой актрисе Как Голливуд разочаровался в Мэрилин Монро, но пытался найти ее почти в каждой актрисе

Почему привычка социума и массмедиа навешивать ярлыки не ушла вместе с Монро

Esquire
Открыт ранее неизвестный вид необычных змеехвосток родом из юрского периода Открыт ранее неизвестный вид необычных змеехвосток родом из юрского периода

Ученый открыл новый вид зубастых восьмируких змеехвосток

Популярная механика
«Реальности не существует»: режиссер Евгений Митта снял одиссею Павла Пепперштейна «Реальности не существует»: режиссер Евгений Митта снял одиссею Павла Пепперштейна

Евгений Митта и Павел Пепперштейн — о доке «Пепперштейн, сюрреалити-шоу»

Forbes
Крепкий орешек за баранкой Крепкий орешек за баранкой

«Ледяной драйв», олдскульый боевик с Лиамом Нисоном

Weekend
Солнечный ожог: чем мазать и как лечить. Советы врача Солнечный ожог: чем мазать и как лечить. Советы врача

Как повреждается кожа от солнечного ожога и какая ей нужна помощь

РБК
Посткризисные правила: почему у России появляются неожиданные возможности на нефтяном рынке Посткризисные правила: почему у России появляются неожиданные возможности на нефтяном рынке

Участникам сделки ОПЕК+ нет смысла сохранять жесткие ограничения на добычу

Forbes
Дерзкие дети: исправить, но не сломать Дерзкие дети: исправить, но не сломать

Что делать, если ваш ребенок считает себя умнее всех и не признает авторитетов?

Psychologies
Кукловоды мирового закулисья: 5 самых известных серых кардиналов в истории Кукловоды мирового закулисья: 5 самых известных серых кардиналов в истории

Незаметные фигуры, которые вершили судьбы за спинами номинальных правителей

Вокруг света
Карен Кавалерян: Карен Кавалерян:

Карен Кавалерян — о том, как живется авторам популярных песен

Караван историй
Как справиться с токсикозом на раннем сроке: 5 лайфхаков от Кейт Миддлтон Как справиться с токсикозом на раннем сроке: 5 лайфхаков от Кейт Миддлтон

Как облегчить симптомы раннего токсикоза?

Cosmopolitan
Любовные страсти звезд сериала «Спасатели Малибу»: Памелы Андерсон и других Любовные страсти звезд сериала «Спасатели Малибу»: Памелы Андерсон и других

Кому звезды сериала «Спасатели Малибу» отдали свои сердца

Cosmopolitan
Открыть в приложении