Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Кто придумал землю? Путеводитель по геофилософии от Делёза и Деррида до Агамбена и Латура» «Кто придумал землю? Путеводитель по геофилософии от Делёза и Деррида до Агамбена и Латура»

Правильно ли противопоставлять природу и культуру

N+1
КТ с подсчетом фотонов нагляднее показала врожденные пороки сердца КТ с подсчетом фотонов нагляднее показала врожденные пороки сердца

КТ с подсчетом фотонов показала более четкие снимки у детей с пороками сердца

N+1
Дорого и сложно: что тормозит внедрение ИИ в медицину Дорого и сложно: что тормозит внедрение ИИ в медицину

Почему внедрение инноваций в медицине происходит так медленно?

Forbes
Какие горячие напитки были популярны на Руси? Какие горячие напитки были популярны на Руси?

Ирина Кирилина рассказала, чем утоляли жажду на Руси

Культура.РФ
Путь Дзэн Путь Дзэн

Истоки, принципы, практика

kiozk originals
Запретная любовь в Сарае: как были устроены гаремы турецких султанов Запретная любовь в Сарае: как были устроены гаремы турецких султанов

Как был устроен султанский гарем

Вокруг света
Главное вовремя начать Главное вовремя начать

Какие протоколы красоты сочетают антиэйдж и превент в одном флаконе

Собака.ru
Навигация по прутикам и верёвочкам Навигация по прутикам и верёвочкам

Необычные карты, которые делают аборигены Маршалловых островов

Наука и жизнь
Опасный перекресток Опасный перекресток

Перекрестная аллергия: что это такое и как её избежать?

Лиза
Не объедки, а остатки Не объедки, а остатки

Почему многих из нас пугает мысль об использовании б/у узлов и деталей машин?

Автопилот
Как перестать опаздывать? Как перестать опаздывать?

«Синдром опаздывания»: почему он возникает и что с этим делать?

Psychologies
Лариса Голубкина: «Смешно слушать некоторые рассказы об Андрее Миронове» Лариса Голубкина: «Смешно слушать некоторые рассказы об Андрее Миронове»

Лариса Голубкина не утратила способности смеяться над собой

Коллекция. Караван историй
Оказалось, что от телосложения спортсмена зависит его успех в определенных климатических условиях Оказалось, что от телосложения спортсмена зависит его успех в определенных климатических условиях

Как связаны климатические условия и тела спортсменов?

ТехИнсайдер
Компрессионный трикотаж: 3 правила правильного выбора Компрессионный трикотаж: 3 правила правильного выбора

Как снизить риски проявления варикоза?

Psychologies
Есть мнение Есть мнение

Обсуждаем причинно-следственные связи наших отношений с едой

Psychologies
Что посмотреть в ближайшем зарубежье: Киргизия, Армения, Грузия Что посмотреть в ближайшем зарубежье: Киргизия, Армения, Грузия

Раскрываем явки и пароли по Киргизии, Армении и Грузии

РБК
Ваш партнер пережил психологическую травму: что точно нельзя делать Ваш партнер пережил психологическую травму: что точно нельзя делать

Важно уметь правильно поддержать партнера в трудный период

Psychologies
Макаки скоординировали движения друг с другом Макаки скоординировали движения друг с другом

Исследователи изучили социальную природу двигательной координации

N+1
Как стоимость терапии влияет на ее процесс и качество: объясняют эксперты Как стоимость терапии влияет на ее процесс и качество: объясняют эксперты

Какова роль денег в психотерапии?

Psychologies
Время отдыха Время отдыха

11 ритуалов, которые помогут прийти в себя после рабочего дня

Лиза
Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ

Как родителям поддержать выпускников и помочь им справиться со стрессом

СНОБ
Сплести свою жизнь заново Сплести свою жизнь заново

О сложностях исцеления от длительного травматического опыта

Psychologies
Пятница круглое лето Пятница круглое лето

Начало лета похоже на пятницу. Чувством, что всё еще впереди

Новый очаг
Пора вмешаться Пора вмешаться

К каким пластическим хирургам стоит записаться за самым актуальным преображением

Собака.ru
Хоббит, Карлсон и Винни-Пух: 100 лучших детских книг всех времен по версии Би-би-си Хоббит, Карлсон и Винни-Пух: 100 лучших детских книг всех времен по версии Би-би-си

Первая десятка рейтинга лучших детских книг от Би-би-си

Forbes
«Чтобы заразиться, достаточно петтинга и орального секса». Врач-инфекционист — о рисках ВПЧ и прививке «Чтобы заразиться, достаточно петтинга и орального секса». Врач-инфекционист — о рисках ВПЧ и прививке

Как защититься от скрытой угрозы?

СНОБ
Подсудное дело: первый обвиняемый по «закону Родченкова» признал свою вину Подсудное дело: первый обвиняемый по «закону Родченкова» признал свою вину

Forbes.Спорт рассказывает о первом в истории деле по антидопинговому закону

Forbes
Король на Aston Martin. Какие автомобили любит новый британский монарх Король на Aston Martin. Какие автомобили любит новый британский монарх

Как и его покойная мать Елизавета II, Карл III известен любовью к автомобилям

РБК
«Океан — это непрозрачный шар, в который мы тыкаем иголочкой»: чем занимаются океанологи и как попасть в эту профессию «Океан — это непрозрачный шар, в который мы тыкаем иголочкой»: чем занимаются океанологи и как попасть в эту профессию

Чем интересна океанология и что нужно, чтобы изучать океан?

Вокруг света
Аномальный астероид на орбите Земли может быть древним осколком Луны Аномальный астероид на орбите Земли может быть древним осколком Луны

Луна — не единственное тело, вращающееся вокруг Земли

ТехИнсайдер
Открыть в приложении