«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ускорить испытания лекарств с помощью генной инженерии: компания по производству человеческих клеток привлекла $41,5 млн Ускорить испытания лекарств с помощью генной инженерии: компания по производству человеческих клеток привлекла $41,5 млн

Технология, которая удешевит выращивание человеческих клеток

VC.RU
Повестка для Байдена: почему Владимир Путин все чаще говорит о проблеме глобального потепления Повестка для Байдена: почему Владимир Путин все чаще говорит о проблеме глобального потепления

Климат стал слишком серьезным фактором в политике, чтобы его могли игнорировать

Forbes
Детские психотравмы связали с получением большего удовольствия от морфина Детские психотравмы связали с получением большего удовольствия от морфина

Люди, перенесшие психологические травмы, получают больше удовольствия от морфина

N+1
Из глубины сердца Из глубины сердца

Откуда мы знаем, что ЭТО точно любовь?

Psychologies
«Дочь закрыла руками голову и лицо»: почему родители отказываются от шлепков «Дочь закрыла руками голову и лицо»: почему родители отказываются от шлепков

Почему родители в России готовы бить своих детей и к чему это приводит

Cosmopolitan
Белый, который не полнит: как правильно носить самый коварный цвет в одежде Белый, который не полнит: как правильно носить самый коварный цвет в одежде

Как правильно носить белые вещи

VOICE
Кто стоит за взлетом и падением онлайн-кинотеатра TVzavr и кому он может продаться за долги Кто стоит за взлетом и падением онлайн-кинотеатра TVzavr и кому он может продаться за долги

Кто на протяжении десяти лет стоял за TVzavr

Forbes
Азбука вкуса Азбука вкуса

Любовь к современному искусству и дизайнерской мебели середины XX века

AD
Все советские космические фантастические фильмы. Часть 2 (1975-1990) Все советские космические фантастические фильмы. Часть 2 (1975-1990)

Некоторые из этих советских фантастических фильмов не видели даже граждане СССР

Maxim
«В чем сила, брат?»: за что мы всегда будем любить Данилу Багрова «В чем сила, брат?»: за что мы всегда будем любить Данилу Багрова

Почему фильмы «Брат» и «Брат-2» не теряют своей актуальности и сегодня?

Psychologies
«Диана плакала, смущая королеву»: как Елизавета II относилась к принцессе «Диана плакала, смущая королеву»: как Елизавета II относилась к принцессе

Диана Спенсер позволяла себе очень личные отношения с Ее Величеством

Cosmopolitan
Психология музыкальных предпочтений: почему мы это слушаем Психология музыкальных предпочтений: почему мы это слушаем

Разбираемся вместе со специалистами, как формируется наш музыкальный вкус

GQ
Смешные названия городов Смешные названия городов

Какие существуют города со смешными названиями?

Cosmopolitan
«Моя жизнь лучше, чем я могла мечтать!»: как Меган Маркл обрела личное счастье «Моя жизнь лучше, чем я могла мечтать!»: как Меган Маркл обрела личное счастье

Герцогиня Сассекская - образец успешной и сильной женщины

Cosmopolitan
Чем занять ребенка летом? Все «за» и «против» спортивных детских лагерей Чем занять ребенка летом? Все «за» и «против» спортивных детских лагерей

Летом перед родителями встает вопрос: чем занять ребенка во время каникул?

СНОБ
Маша Белик Маша Белик

Дизайнер Маша Белик. Ее платья носят Юля Снигирь и Софья Эрнст

Собака.ru
Чем грозит передозировка йода? Чем грозит передозировка йода?

Симптомы отравления йодом обнаруживаются у многих туристов

Cosmopolitan
Самые неожиданные провалы сильнейших футбольных команд Самые неожиданные провалы сильнейших футбольных команд

Даже у самых безупречных команд в Лиге чемпионов УЕФА случаются кошмарные матчи

Maxim
5 способов избавиться от зависти 5 способов избавиться от зависти

Что поможет меньше концентрироваться на успехах других людей?

Psychologies
Мышление роста. Как научиться саморазвитию и кому это нужно Мышление роста. Как научиться саморазвитию и кому это нужно

Почему нужно постоянно развивать свои знания и как перестать бояться неудач

СНОБ
«Наша внутренняя обезьяна: Двойственная природа человека» «Наша внутренняя обезьяна: Двойственная природа человека»

Насколько эмпатичны животные?

N+1
Что смотреть: 10 сериалов, которые спасут от грусти Что смотреть: 10 сериалов, которые спасут от грусти

Смешные, трогательные и красивые сериалы, которые поднимут вам настроение

Cosmopolitan
«Токсичное» позитивное мышление: как выбраться из ловушки ложного оптимизма «Токсичное» позитивное мышление: как выбраться из ловушки ложного оптимизма

Еще недавно позитивное мышление преподносилось как «волшебная таблетка»

Psychologies
10 женских суеверий по поводу цветов (в букетах, горшках и т.д.) 10 женских суеверий по поводу цветов (в букетах, горшках и т.д.)

Разоблачаем главные опасности на пути бесстрашного дарителя букетов

Maxim
4 шага, чтобы наладить диалог со своей Тенью 4 шага, чтобы наладить диалог со своей Тенью

Что общего между перфекционизмом, заниженной самооценкой и трудной судьбой?

Psychologies
В руинах поселения V тысячелетия до нашей эры нашли один из древнейших храмов Ирана В руинах поселения V тысячелетия до нашей эры нашли один из древнейших храмов Ирана

Археологи нашли в Иране культовый центр эпохи энеолита

N+1
Как восстановить аккаунт в Инстаграме после удаления или если забыл пароль Как восстановить аккаунт в Инстаграме после удаления или если забыл пароль

Как вернуть доступ в Инстаграм, если забыл данные или стал жертвой взломщиков

CHIP
Отпуск под контролем: какие продукты на шведском столе лучше не есть Отпуск под контролем: какие продукты на шведском столе лучше не есть

Эксперт – как правильно питаться на отдыхе, чтобы не набрать вес

Cosmopolitan
#glam_журналистика: Саша Сулим #glam_журналистика: Саша Сулим

Одна из лучших журналисток страны теперь собирает миллионы просмотров на Youtube

Glamour
«Чудесная непослушная мама»: трогательные цитаты сыновей принцессы Дианы о ней «Чудесная непослушная мама»: трогательные цитаты сыновей принцессы Дианы о ней

Принцы Уильям и Гарри дорожат временем, проведенным с мамой

Cosmopolitan
Открыть в приложении