«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Жатва Гиппократа Жатва Гиппократа

Что нового в медицине в последние 20 лет начавшегося века

Maxim
15 французских фильмов о любви, которые растопят ваше сердце 15 французских фильмов о любви, которые растопят ваше сердце

15 французских фильмов о любви, способных растопить лед ваших сердец

Cosmopolitan
Как распознать, что ваш первый клиент — не то, что нужно Как распознать, что ваш первый клиент — не то, что нужно

Как распознать «неправильного» первого клиента

Inc.
Как тысячи спутников разрушают озоновый слой Земли: ученые бьют тревогу Как тысячи спутников разрушают озоновый слой Земли: ученые бьют тревогу

Низкое качество алюминия в ступтниках негативно влияет на озоновый слой Земли

Популярная механика
Самец млекопитающего впервые выносил нормальное потомство после пересадки матки Самец млекопитающего впервые выносил нормальное потомство после пересадки матки

Самцы крыс выносили здоровое потомство после того, как им пересадили матки

N+1
Посткризисные правила: почему у России появляются неожиданные возможности на нефтяном рынке Посткризисные правила: почему у России появляются неожиданные возможности на нефтяном рынке

Участникам сделки ОПЕК+ нет смысла сохранять жесткие ограничения на добычу

Forbes
Как Иркутск вернулся к независимому театру и при чем тут «Территория» Как Иркутск вернулся к независимому театру и при чем тут «Территория»

Как прошел фестиваль современного искусства «Территория. Иркутск»

РБК
Напуганные щитомордники с маленьким запасом яда не стали кусаться и сбежали Напуганные щитомордники с маленьким запасом яда не стали кусаться и сбежали

Китайские щитомордники чувствуют, сколько яда у них осталось

N+1
Я бы в лётчики пошёл, пусть меня научат: фильмы о людях с необычной профессией Я бы в лётчики пошёл, пусть меня научат: фильмы о людях с необычной профессией

Фильмы о людях с профессиями, о которых мы едва догадывались

Cosmopolitan
Ученые установили, что интеллект зависит от размера зрачка Ученые установили, что интеллект зависит от размера зрачка

Различие в размере зрачков у недалеких и умных людей видно невооруженным глазом!

Maxim
Атомный кран приподнял графеновый слой Атомный кран приподнял графеновый слой

При сильной связи зонд способен приподнимать и отпускать графеновый слой

N+1
Это провокация Это провокация

Гарри Нуриев рассказал, кто и что интересует его в современном искусстве

AD
Ни вместе, ни врозь Ни вместе, ни врозь

Почему не каждый хороший любовник станет хорошим мужем?

Psychologies
«Локдаун встряхнул»: почему растут цены на загородную недвижимость и что будет дальше «Локдаун встряхнул»: почему растут цены на загородную недвижимость и что будет дальше

Впервые с 2014 года застройщики начинают строить новые коттеджные поселки

Forbes
Альцгеймер подождет! Альцгеймер подождет!

Что делать, чтобы Альцгеймер подождал

Здоровье
Возлюбленные «Сватов»: как выглядят муж Анны Кошмал, жена Даниила Белых и другие Возлюбленные «Сватов»: как выглядят муж Анны Кошмал, жена Даниила Белых и другие

Как выглядят избранники знаменитостей из «Сватов»

Cosmopolitan
10 первых разов в отношениях: ошибки, советы, секреты выживания 10 первых разов в отношениях: ошибки, советы, секреты выживания

Все отношения проходят одни и те же этапы

Maxim
Невидимые войны: 5 конфликтов ХХ века, унесших миллионы жизней Невидимые войны: 5 конфликтов ХХ века, унесших миллионы жизней

В тени крупнейших войн всегда остается множество менее глобальных

Вокруг света
Темная сторона аэробики Темная сторона аэробики

Сериал «В ритме жизни», злое исследование американских 80-х

Weekend
Гори, гори ясно: общее представление о фейерверках и пиротехнике Гори, гори ясно: общее представление о фейерверках и пиротехнике

Целую вечность человечеству был знаком только естественный, природный огонь

Популярная механика
5 неожиданных фактов о раке легкого 5 неожиданных фактов о раке легкого

Рак легкого: цифры, трудная диагностика и другие факты

Популярная механика
«Это было странное время»: как Джон Макафи создал антивирусную компанию, продал ее Intel и умер в тюрьме «Это было странное время»: как Джон Макафи создал антивирусную компанию, продал ее Intel и умер в тюрьме

Как жил Джон Макафи и что происходит с основанным им бизнесом?

Forbes
Легко: ловить рыбу голыми руками Легко: ловить рыбу голыми руками

Инструкция по поимке особо прыткой рыбешки при отсутствии спиннинга или лески

Maxim
Антуан Ватто. Скиталец с моста Нотр-Дам Антуан Ватто. Скиталец с моста Нотр-Дам

История жизни французского живописца Антуана Ватто

Караван историй
Азарт и блокчейн: как беспроигрышная криптолотерея привлекла $200 млн и оказалась лотереей для одного победителя Азарт и блокчейн: как беспроигрышная криптолотерея привлекла $200 млн и оказалась лотереей для одного победителя

Как устроена криптовалютная беспроигрышная лотерея?

Forbes
5 фильмов-«кондиционеров» для всех, кто устал от жары 5 фильмов-«кондиционеров» для всех, кто устал от жары

Фильмы, главные герои которых — снег и мороз

РБК
Химики превратили биоразлагаемые вилки в пену Химики превратили биоразлагаемые вилки в пену

Вилки из биопластика превратили в пену с помощью углекислого газа

N+1
«Чувство юмора спасает нас во всем» «Чувство юмора спасает нас во всем»

Максим Лагашкин и Екатерина Стулова отмечают 25-ю годовщину со дня свадьбы

OK!
Президент, живущий на широкую ногу: куда делись миллионы Байдена и почему он не сколотил капитал Президент, живущий на широкую ногу: куда делись миллионы Байдена и почему он не сколотил капитал

За четыре года до избрания президентом США Байден заработал больше $17 млн

Forbes
Колеса судьбы: почему все говорят об электросамокатах и что с ними не так Колеса судьбы: почему все говорят об электросамокатах и что с ними не так

Самые дорогие и опасные электросамокаты и что с ними собираются сделать

Esquire
Открыть в приложении