«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Маневры на поле конституции. В чем смысл спешно принимаемых поправок к основному закону страны Маневры на поле конституции. В чем смысл спешно принимаемых поправок к основному закону страны

Президентские поправки к конституции РФ уже в первом чтении приняла Дума

Forbes
Лекарство от безнадежности. Новый препарат от Альцгеймера — правда или миф? Лекарство от безнадежности. Новый препарат от Альцгеймера — правда или миф?

Эффективное средство от болезни Альцгеймера — мечта фармацевтических компаний

СНОБ
«Журавлиная родина» скворцов: где и зачем в России построили многоэтажное общежитие для певчих птиц «Журавлиная родина» скворцов: где и зачем в России построили многоэтажное общежитие для певчих птиц

На что способны скворцы, живущие в специальном общежитии для певчих птиц

Вокруг света
Азбука вкуса Азбука вкуса

Любовь к современному искусству и дизайнерской мебели середины XX века

AD
«Я рассказала племяннице, что удочерила ее в детстве, а потом вернула cвоей сестре» «Я рассказала племяннице, что удочерила ее в детстве, а потом вернула cвоей сестре»

Одна женщина рассказала племяннице, что три месяца была ей матерью

Psychologies
Квантовый вычислитель смог обнаружить фазовый переход сквозь шум Квантовый вычислитель смог обнаружить фазовый переход сквозь шум

Российские ученые нашли новый способ применения квантового симулятора

N+1
Как быстро отрезветь: работающие лайфхаки и методы, которые могут только навредить Как быстро отрезветь: работающие лайфхаки и методы, которые могут только навредить

Работающие стратегии по минимизации ущерба от употребления спиртного

Playboy
Ветряки на четверть снизят мощность других ветряков в Северном море Ветряки на четверть снизят мощность других ветряков в Северном море

Климатологи: строительство новых ветряков может повлиять на мощность старых

N+1
Алина Фаркаш о том, почему вместо сочувствия мы раздаем советы и пинки Алина Фаркаш о том, почему вместо сочувствия мы раздаем советы и пинки

К сожалению, многие люди все еще не умеют сочувствовать ближнему

Cosmopolitan
Королева-волчица: как Изабелла Французская завоевала Англию Королева-волчица: как Изабелла Французская завоевала Англию

Как королева Изабелла, уставшая от дурного обращения, свергла короля

Forbes
«Три ребенка - это перебор!»: забавные фразы Кейт Миддлтон и Уильяма о детях «Три ребенка - это перебор!»: забавные фразы Кейт Миддлтон и Уильяма о детях

Родители королевских детей говорят о них так, что невозможно не улыбнуться

Cosmopolitan
«Всего один герой, и тот идиот» «Всего один герой, и тот идиот»

Что советская цензура усматривала в мультфильмах

Weekend
«Мейр из Исттауна» — детектив с Кейт Уинслет в роли копа-правдоискателя. А на деле — одна из лучших драм современного телевидения «Мейр из Исттауна» — детектив с Кейт Уинслет в роли копа-правдоискателя. А на деле — одна из лучших драм современного телевидения

Лучшая роль Кейт Уинслет за всю ее карьеру

Esquire
Как выбрать чистку лица под тип кожи: подробная инструкция Как выбрать чистку лица под тип кожи: подробная инструкция

Подробный гид по подбору чистки лица в соответствии с типом кожи

Cosmopolitan
Том Круз, Хлоя  Морец и Харрисон Форд: актеры, которые работают без каскадеров Том Круз, Хлоя  Морец и Харрисон Форд: актеры, которые работают без каскадеров

Эти актеры не только отлично играют, но и выполняют трюки без каскадеров

Cosmopolitan
Виталий Несис Виталий Несис

Виталий Несис – исполнительный директор компании «Полиметалл»

Собака.ru
Около нуля: как безалкогольное пиво захватывает мир Около нуля: как безалкогольное пиво захватывает мир

Безалкогольное пиво: чем вызван его успех и как его производят?

Playboy
Археологи нашли у древних майя прибрежные парки Археологи нашли у древних майя прибрежные парки

Водохранилища в Тикале окружали зеленые зоны

N+1
13 книг, которые помогут добиться поставленных целей 13 книг, которые помогут добиться поставленных целей

Книги, которые расскажут секреты личной эффективности

Cosmopolitan
4 правила и 3 продукта для чистой кожи 4 правила и 3 продукта для чистой кожи

Диетолог о секретах чистой кожи

Cosmopolitan
Физики измерили свободную эволюцию двух запутанных спинов Физики измерили свободную эволюцию двух запутанных спинов

С помощью туннельной спектроскопии физики исследовали запутанные спины

N+1
Белый, который не полнит: как правильно носить самый коварный цвет в одежде Белый, который не полнит: как правильно носить самый коварный цвет в одежде

Как правильно носить белые вещи

VOICE
«Хандра хуже холеры»: 7 советов для самоизоляции от русских классиков «Хандра хуже холеры»: 7 советов для самоизоляции от русских классиков

Поэты и писатели подскажут, как пережить непростые времена

Культура.РФ
Игра Бакмана Игра Бакмана

Писатель Фредрик Бакман о том, как тренировал футбольную команду своей дочери

Esquire
«Токсичное» позитивное мышление: как выбраться из ловушки ложного оптимизма «Токсичное» позитивное мышление: как выбраться из ловушки ложного оптимизма

Еще недавно позитивное мышление преподносилось как «волшебная таблетка»

Psychologies
Продли удовольствие! Какой маникюр будет хорошо смотреться и через месяц Продли удовольствие! Какой маникюр будет хорошо смотреться и через месяц

Дизайн, который продлит жизнь твоего маникюра

Cosmopolitan
Как художник и моделлер фигурок зарабатывают на своем увлечении с помощью аддитивных технологий Как художник и моделлер фигурок зарабатывают на своем увлечении с помощью аддитивных технологий

Как с помощью аддитивных технологий превратить хобби в прибыльный бизнес

Популярная механика
Как заново изобрести колесо Как заново изобрести колесо

Дарья Степура многофункциональное колесо для инвалидных кресел-колясок

Популярная механика
Шум моторных лодок заглушил любовные песни рыб-жаб Шум моторных лодок заглушил любовные песни рыб-жаб

Шумовое загрязнение нарушает коммуникацию этих рыб

N+1
Живительный церий Живительный церий

Прообразы будущих препаратов, которые могли бы получить практическое применение

Наука и жизнь
Открыть в приложении