«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как уличный художник из Нью-Йорка продает мишек Гамми на $500 000 в год Как уличный художник из Нью-Йорка продает мишек Гамми на $500 000 в год

Мишки Гамми в стиле поп-арт сделали художника WhIsBe широко известным

Forbes
Саббатикал — это маленькая жизнь: как уйти в отпуск на целый год за счет работодателя Саббатикал — это маленькая жизнь: как уйти в отпуск на целый год за счет работодателя

Как появился феномен «долгосрочного творческого отпуска»

Forbes
«Тихо сам с собою»: как родители могут помочь замкнутому ребенку «Тихо сам с собою»: как родители могут помочь замкнутому ребенку

В чем причина замкнутости детей и когда нужно обратиться к специалисту?

Psychologies
В сетях В сетях

Режиссер Егор Исаев рассказывает о жертвах бытового преследования

GQ
Кража века Кража века

Кража раритетов из дрезденской сокровищницы взбудоражила всю Германию

Караван историй
Мы устаем от своих детей, это нормально: честный рассказ о материнском выгорании Мы устаем от своих детей, это нормально: честный рассказ о материнском выгорании

Как жить с биполярным аффективным расстройством? История героини

Cosmopolitan
«Утро свежих мыслей» и другие способы сгенерировать отличную идею «Утро свежих мыслей» и другие способы сгенерировать отличную идею

Джейми Фальковски: приемы по выходу из творческого тупика

VC.RU
Елизавета Туктамышева Елизавета Туктамышева

Елизавета Туктамышева готовится к главному событию — зимним Олимпийским играм

Собака.ru
Самолеты над стадионом. Писатель Дмитрий Данилов — о сумерках в Красково Самолеты над стадионом. Писатель Дмитрий Данилов — о сумерках в Красково

Дмитрий Данилов — о самом долгожданном моменте лета

РБК
Театр FULCRO Театр FULCRO

Театральный феномен: проект FULCRO за полгода стал городской сенсацией

Собака.ru
Незачет по заданию Незачет по заданию

Почему господдержка на помогла российским вузам войти в топ-100 рейтингов мира

Forbes
Тогда и сейчас: как изменились самые яркие участницы проекта «Голос» Тогда и сейчас: как изменились самые яркие участницы проекта «Голос»

Шоу «Голос» - один из самых успешных проектов на отечественном телевидении

Cosmopolitan
Как Шайа Лабаф легализовал стиль бездомного Как Шайа Лабаф легализовал стиль бездомного

Почему Шайа Лабаф стал если не великим актером, то королем непринужденного стиля

РБК
Актер Стеллан Скарсгард — о фильме Актер Стеллан Скарсгард — о фильме

Стеллан Скарсгард — о том, каково сыграть более ста персонажей

Esquire
Витамины роста Витамины роста

Как франшиза «Авокадо» за два с половиной года стала сетью из 2600 магазинов

Forbes
Как правильно загорать в солярии: 7 советов от врача Как правильно загорать в солярии: 7 советов от врача

Как загореть в солярии и не навредить себе

Cosmopolitan
Археологи разобрались в технологии изготовления ксоанов из святилища богини Мефитис Археологи разобрались в технологии изготовления ксоанов из святилища богини Мефитис

В долине Ансанто нашли святилище богини вулканических паров Мефитис

N+1
«Каждый за себя»: как я стала матерью-одиночкой и заработала первый миллион «Каждый за себя»: как я стала матерью-одиночкой и заработала первый миллион

#НЕзависимая Надежда Озимова — как ей удалось создать курс по брендингу

Cosmopolitan
Лев человеку волк Лев человеку волк

История противостояния львов-людоедов и строителей железной дороги в Кении

Maxim
Северная доставка Северная доставка

Как компания из Архангельска стала крупнейшим игроком на рынке фудтеха

Forbes
Брат, братан, братишка Брат, братан, братишка

Илья, Андрей и Сергей Сафроновы о братской дружбе и любви к иллюзиям

Men’s Health
Ядра свистели над головой. Для чего из крымских вод прогоняли британский эсминец Ядра свистели над головой. Для чего из крымских вод прогоняли британский эсминец

Холодная война и правда возобновилась

СНОБ
Самые неожиданные провалы сильнейших футбольных команд Самые неожиданные провалы сильнейших футбольных команд

Даже у самых безупречных команд в Лиге чемпионов УЕФА случаются кошмарные матчи

Maxim
На пультах Ричарда Нива записывали The Beatles и Nirvana, по его громкой связи говорил Черчилль: история «легенды звука» На пультах Ричарда Нива записывали The Beatles и Nirvana, по его громкой связи говорил Черчилль: история «легенды звука»

Ричард Нив сконструировал микшерные пульты — «кадиллаки» индустрии звукозаписи

VC.RU
Александр Велединский. Что-то необъяснимо загадочное происходит в нашем мире Александр Велединский. Что-то необъяснимо загадочное происходит в нашем мире

Интервью с Александром Велединским

Коллекция. Караван историй
Одежда из воздуха и цветов: 6 технологий, которые сделали это возможным Одежда из воздуха и цветов: 6 технологий, которые сделали это возможным

Технологии, которые делают моду более этичной и экологичной

РБК
Берег мечты Берег мечты

Из нью-йоркской квартиры в дом у самого океана

AD
5 самых странных предметов, проглоченных человеком: рентгеновские снимки 5 самых странных предметов, проглоченных человеком: рентгеновские снимки

Случаи, когда взрослые люди глотают довольно необычные вещи

Популярная механика
История «Артека»: как мечты пионеров превращались в кошмары История «Артека»: как мечты пионеров превращались в кошмары

«Артек» очень быстро превратился в нечто большее, чем просто санаторий для детей

Cosmopolitan
Загореть, но не обгореть: как избежать солнечного ожога, и почему его нельзя мазать сметаной Загореть, но не обгореть: как избежать солнечного ожога, и почему его нельзя мазать сметаной

Ровный загар - неотъемлемый атрибут хорошего отдыха и веселых каникул

Популярная механика
Открыть в приложении