«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

В переводе на человеческий В переводе на человеческий

Что мы реально знаем о языке животных и готов ли человек к диалогу с ними?

Огонёк
Переохлаждение летом: как быстро согреться и не заболеть? Переохлаждение летом: как быстро согреться и не заболеть?

Набор упражнений, которые прогреют тело и защитят организм от заболеваний

Psychologies
Родина русского стиля. Музеи и мастерские Иваново и Палеха Родина русского стиля. Музеи и мастерские Иваново и Палеха

Резные ставни, яркий ситец и интерьеры «итальянского палаццо» в Иваново

Seasons of life
«Токсичное» позитивное мышление: как выбраться из ловушки ложного оптимизма «Токсичное» позитивное мышление: как выбраться из ловушки ложного оптимизма

Еще недавно позитивное мышление преподносилось как «волшебная таблетка»

Psychologies
Как архитектура впала в детство Как архитектура впала в детство

Утопия «Аркигрэма» — одна из популярнейших архитектурных утопий

Weekend
«Чувство юмора спасает нас во всем» «Чувство юмора спасает нас во всем»

Максим Лагашкин и Екатерина Стулова отмечают 25-ю годовщину со дня свадьбы

OK!
5 безумных слухов о Ким Чен Ыне 5 безумных слухов о Ким Чен Ыне

«Бригада радости», частный остров и борьба с похмельем

Maxim
Там в саду при долине Там в саду при долине

Ландшафтная архитектура Арабеллы Леннокс-Бойд — рай, созданный руками женщины

Tatler
Большой брат: как в разных странах легально следят за людьми даже дома Большой брат: как в разных странах легально следят за людьми даже дома

В США и Китае каждый человеческий шаг отслеживается камерами видеонаблюдения

Популярная механика
Евангелие от Морфея: лучшая статья про идеальный сон на русском языке Евангелие от Морфея: лучшая статья про идеальный сон на русском языке

Чем чревато спать как попало и как добиться безмятежного сна

Maxim
Как избавиться от первых признаков старения — морщин на шее Как избавиться от первых признаков старения — морщин на шее

Тебе кажется, что на шее наметились морщины?

Cosmopolitan
Пудинг от леди Ди, чатни от Кейт Миддлтон и другие рецепты королевской семьи Пудинг от леди Ди, чатни от Кейт Миддлтон и другие рецепты королевской семьи

Кулинарные привычки жителей Лондона и любимые блюда королевское семьи

Cosmopolitan
Ледопады, шахты, панты: что посмотреть и попробовать на Таймыре Ледопады, шахты, панты: что посмотреть и попробовать на Таймыре

Отправляемся в Норильск и на полуостров Таймыр

РБК
10 физических упражнений, которые сделают тебя богом в постели 10 физических упражнений, которые сделают тебя богом в постели

Становая тяга, приседания и другие упражнения, которые улучшат интимную жизнь

Maxim
Неизвестные в масках и угроза убийством. Как в Москве по кускам разбирают дома, в которых живут люди Неизвестные в масках и угроза убийством. Как в Москве по кускам разбирают дома, в которых живут люди

На западе Москвы разгорается конфликт, который напоминает боевые действия

СНОБ
Смогут ли люди жить под водой Смогут ли люди жить под водой

Что если часть людей поселить под водой?

Популярная механика
Как поддержать здоровье летом: советы даосских врачей Как поддержать здоровье летом: советы даосских врачей

Как провести лето с пользой для себя?

Psychologies
Путеводитель по Третьяковской галерее Путеводитель по Третьяковской галерее

Старинные иконы, знаменитые картины и скульптуры мастеров XVIII–ХХ столетий

Культура.РФ
Математическая формула идеального комплимента Математическая формула идеального комплимента

Как искусство комплиментов помогает социальной адаптации детей и подростков

СНОБ
Прожектор перестройки Прожектор перестройки

Что мешает российской экономике расти?

Forbes
Картина маслом Картина маслом

Пентхаус с авторской живописью в Екатеринбурге

SALON-Interior
Ботокс для волос: как делать и что нужно знать перед процедурой Ботокс для волос: как делать и что нужно знать перед процедурой

Ботокс для волос: механизм работы, польза, риски и альтернативы процедуре

РБК
Болей как Бекхэм! Болей как Бекхэм!

Раз уж футболистом стать не удалось, прокачай свои навыки болельщика!

Maxim
Химики заменили пластик соевой пленкой Химики заменили пластик соевой пленкой

Материалы из соевого белка в будущем смогут стать заменой пластиковой упаковки

N+1
10 крутых изобретений, сделанных мамами в декрете 10 крутых изобретений, сделанных мамами в декрете

Вдохновляющие истории, в которых материнство не помеха достижениям в науке

Популярная механика
Ковчег подрывных инноваций Ковчег подрывных инноваций

Биткойн и акции Tesla способствовали популярности Ark Investment Management

Эксперт
Уехать, чтобы вернуться к себе: как не разочароваться в отпуске? Уехать, чтобы вернуться к себе: как не разочароваться в отпуске?

Как все-таки отдохнуть по-настоящему?

Psychologies
Больно мне, больно: как пережить потерю отношений? Больно мне, больно: как пережить потерю отношений?

Почему нам не удается избежать страдания от расставания и как его облегчить?

Psychologies
Елизавета Туктамышева Елизавета Туктамышева

Елизавета Туктамышева готовится к главному событию — зимним Олимпийским играм

Собака.ru
Анти-Instagram для аудитории TikTok: почему взлетела новая соцсеть без фильтров Poparazzi Анти-Instagram для аудитории TikTok: почему взлетела новая соцсеть без фильтров Poparazzi

Почему Poparazzi быстро «выстрелила» и надолго ли сохранится интерес к себе?

Forbes
Открыть в приложении