Нейросеть Facebook (соцсеть признана в РФ экстремистской и запрещена) научилась копировать стиль текста с одного примера
Разработчики из Facebook (соцсеть признана в РФ экстремистской и запрещена) создали нейросеть, способную переносить визуальный стиль надписи на новый текст, используя лишь один пример. Статья опубликована на сайте исследовательского подразделения Facebook (соцсеть признана в РФ экстремистской и запрещена).
Любая надпись — неважно, это рукописная открытка, вывеска на магазине или название бренда на пачке еды, — состоит из двух частей: собственно текста, то есть смысловой составляющей, и визуального стиля. Люди могут с той или иной точностью, в зависимости от навыков рисования, копировать стиль написания текста и рисовать в этом стиле новые надписи. Алгоритмы для переноса стиля между изображениями существуют давно, но в основном они работают с рисунками. Исследователи также занимаются проблемой переноса текста, но пока с меньшим успехом: алгоритмам требуется длительное обучение конкретному стилю.
Правин Кришнан (Praveen Krishnan) и его коллеги из исследовательского подразделения Facebook (соцсеть признана в РФ экстремистской и запрещена) создали алгоритм переноса стиля текста, которому достаточно лишь одного примера целевого стиля. Он состоит из нескольких нейросетей. На первом этапе все данные подаются на два кодировщика: для контента (текста) и стиля. Кодировщик контента принимает текстовую строку, которая преобразуется в изображение с этим же текстом, набранным шрифтом Verily Serif Mono на белом фоне. А на кодировщик стиля подается изображение целевого