Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Джеймс Уэбб» рассмотрел комки пыли в галактике «Сомбреро» «Джеймс Уэбб» рассмотрел комки пыли в галактике «Сомбреро»

Ядро «Сомбреро» содержит не очень активную сверхмассивную черную дыру

N+1
От марафона желаний до уголовного дела: что случилось с Блиновской - рассказывает нумеролог От марафона желаний до уголовного дела: что случилось с Блиновской - рассказывает нумеролог

Почему Елена Блиновская так бесславно закончила свои сверхприбыльные марафоны?

VOICE
Как люди живут в «умных городах» и при чем тут ИИ! Интересные факты о будущем Как люди живут в «умных городах» и при чем тут ИИ! Интересные факты о будущем

«Умные города», где искусственный интеллект делает жизнь людей удобнее

ТехИнсайдер
Хоопонопоно: как работает гавайский метод принятия и прощения — меняя мир, начните с себя Хоопонопоно: как работает гавайский метод принятия и прощения — меняя мир, начните с себя

Каждый из нас — часть большого мира, а большой мир живет в каждом из нас

Psychologies
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Японские машины JDM: что это за феномен и откуда он взялся Японские машины JDM: что это за феномен и откуда он взялся

JDM-машины — это легковые автомобили, производившиеся в Японии в 1990-х годах

РБК
Phoenix: амбициозный проект Phoenix: амбициозный проект

Проект Phoenix основан на аккуратном «пилотируемом» подходе к обучению

ТехИнсайдер
Фигура матери: пять женщин, которые изменили представления о детской психологии Фигура матери: пять женщин, которые изменили представления о детской психологии

Женщины, чьи исследования в области психологии изменили представления о детях

Forbes
Тайна Рюрика: кем же был основатель первой правящей династии на Руси Тайна Рюрика: кем же был основатель первой правящей династии на Руси

Тайна появления Рюрика на Руси до сих пор не разгадана

Вокруг света
«5 уроков, которые я извлекла из психотерапии»: личный опыт «5 уроков, которые я извлекла из психотерапии»: личный опыт

Даже те, кто идет в психологи, не сразу могут оценить пользу психотерапии

Psychologies
В Москве похоронили журналиста Эдуарда Сагалаева. Чем он известен В Москве похоронили журналиста Эдуарда Сагалаева. Чем он известен

Какое отношение частный телеканал Эдуарда Сагалаева «ТВ-6» имел к КГБ

СНОБ
«Стоит ли возвращаться к бывшему партнеру?»: 3 простых напоминания тем, кто сомневается «Стоит ли возвращаться к бывшему партнеру?»: 3 простых напоминания тем, кто сомневается

Когда прошлое зовет, не отвечайте, оно не скажет ничего нового

Psychologies
Джеррикэн Джеррикэн

Как «джеррикэн» произвела настоящую техническую революцию

Автопилот
«Сон под микроскопом» «Сон под микроскопом»

Чем обусловлена наша потребность во сне и откуда берется сонливость и усталость

N+1
Почему обычно распадаются браки: 4 главные причины — узнайте, как этого не допустить Почему обычно распадаются браки: 4 главные причины — узнайте, как этого не допустить

Причиной разводов чаще всего становятся четыре стандартные проблемы

Psychologies
Вставай с дивана! Гиподинамия: причины малоподвижного образа жизни и его последствия Вставай с дивана! Гиподинамия: причины малоподвижного образа жизни и его последствия

Аристотель сказал: «Движение – это жизнь, а жизнь – это движение!»

Лиза
Я пью КОК, и это многое меняет Я пью КОК, и это многое меняет

Современные препараты КОК позволяют повлиять на качество женской жизни

Новый очаг
Лучшие аудиокниги для больших и маленьких путешествий Лучшие аудиокниги для больших и маленьких путешествий

Хорошая аудиокнига скрасит как поездку на дачу, так и дальнее странствие

Maxim
Топ-5 самых напряженных скандинавских фильмов и сериалов последних лет Топ-5 самых напряженных скандинавских фильмов и сериалов последних лет

Детективы, триллеры и хорроры для самых искушенных ценителей

Maxim
Думайте меньше! Необычная причина боли в шее и пояснице: стоит узнать Думайте меньше! Необычная причина боли в шее и пояснице: стоит узнать

Как когнитивный диссонанс приводит к дополнительному давлению на шею и поясницу?

ТехИнсайдер
Просто лучшая: как Тина Тернер одевалась на сцене и в жизни — и оставалась иконой Просто лучшая: как Тина Тернер одевалась на сцене и в жизни — и оставалась иконой

Тина Тернер была невероятно цельной и могла зарядить всех и каждого.

Правила жизни
Поражающая способность Чернобыля: что такое ионизирующее излучение и можно ли бороться с последствиями его воздействия Поражающая способность Чернобыля: что такое ионизирующее излучение и можно ли бороться с последствиями его воздействия

Явление, которое называют «радиацией», несет две главные угрозы для здоровья

Вокруг света
Если женщина зарабатывает больше: 5 проблем в паре Если женщина зарабатывает больше: 5 проблем в паре

Когда женщина зарабатывает больше, это не проходит бесследно для отношений

Psychologies
ИИ не может отличить текст, написанный человеком, от текста, созданного ИИ ИИ не может отличить текст, написанный человеком, от текста, созданного ИИ

Объем текстов, созданных ИИ, становится слишком большим

ТехИнсайдер
Мобилизация по-екатеринински Мобилизация по-екатеринински

Как беспрецедентный рекрутский набор помог России в войне с Турцией

Дилетант
Деменция на подходе: как распознать болезнь — 8 признаков Деменция на подходе: как распознать болезнь — 8 признаков

Как не пропустить деменцию?

Psychologies
Почему на следующий день после тренировки мы не можем нормально двигаться? Почему на следующий день после тренировки мы не можем нормально двигаться?

Что происходит с телом после тяжелой тренировки?

ТехИнсайдер
Главный летний напиток: чем полезен и чем вреден любимый многими квас Главный летний напиток: чем полезен и чем вреден любимый многими квас

Безопасно ли пить квас?

ТехИнсайдер
В иерусалимских туалетах нашли древнейшие случаи заражения кишечными лямблиями В иерусалимских туалетах нашли древнейшие случаи заражения кишечными лямблиями

В отложениях возрастом более 2600 лет обнаружили следы паразитов

N+1
Главные фильмы Канн-2023: новый Скорсезе, драма про Освенцим и дурачества Мишеля Гондри Главные фильмы Канн-2023: новый Скорсезе, драма про Освенцим и дурачества Мишеля Гондри

Главные работы Канн-2023, на которые стоит обратить внимание

Правила жизни
Открыть в приложении