Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

В турецкой пещере нашли практически целую корзину позднего бронзового века В турецкой пещере нашли практически целую корзину позднего бронзового века

Археологи обнаружили в турецкой пещере Инёню практически целую древнюю корзину

N+1
Проверяйте ответы ChatGPT: его надежность пока на низком уровне Проверяйте ответы ChatGPT: его надежность пока на низком уровне

Ученые проверили надежность ответов, которые дают генеративные поисковые системы

ТехИнсайдер
Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков

Настроить телевизор правильно — проще, чем кажется

ТехИнсайдер
Почему футболисты получают так много денег? Почему футболисты получают так много денег?

Почему футболисты так много зарабатывают? Объяснение от банка Великобритании

Maxim
Новое открытие в нейробиологии: ученые разобрались, как на самом деле работает память Новое открытие в нейробиологии: ученые разобрались, как на самом деле работает память

Какой процесс играет ключевую роль в том, как хранятся воспоминания?

Inc.
Анатомия газлайтинга: как развиваются такие отношения — подробная хронология Анатомия газлайтинга: как развиваются такие отношения — подробная хронология

Как люди попадают в ловушку газлайтеров?

Psychologies
Российский кутюр в Париже и имя в массах: что Валентин Юдашкин сделал для моды Российский кутюр в Париже и имя в массах: что Валентин Юдашкин сделал для моды

Почему именно Валентин Юдашкин знаменит далеко за пределами России?

Правила жизни
От таро до дизайна человека: 5 самых популярных антинаучных практик — и почему они не имеют смысла От таро до дизайна человека: 5 самых популярных антинаучных практик — и почему они не имеют смысла

Есть ли реальные основания для обращения за советом к хироманту или астрологу?

Psychologies
«Дипломатка»: история о женщине, которая способна решать мировые кризисы «Дипломатка»: история о женщине, которая способна решать мировые кризисы

Что делает историю о дипломатических интригах в лондонских кабинетах интересной

Forbes
Почему люди боятся насекомых и пауков Почему люди боятся насекомых и пауков

Так почему мы так боимся насекомых?

ТехИнсайдер
Сплести свою жизнь заново Сплести свою жизнь заново

О сложностях исцеления от длительного травматического опыта

Psychologies
Секрет скорости: как гепарду удается бегать так быстро? Секрет скорости: как гепарду удается бегать так быстро?

Как гепарду удается развивать скорость свыше 100 км/ч?

ТехИнсайдер
Сотрудничество, прощение и благодарность: 6 правил жизни счастливых пар — станьте одной из них Сотрудничество, прощение и благодарность: 6 правил жизни счастливых пар — станьте одной из них

Чем отличаются счастливые пары от нездоровых?

Psychologies
В основании ассирийского зиккурата нашли прибалтийский янтарь. Его положили под стену 4000 лет назад В основании ассирийского зиккурата нашли прибалтийский янтарь. Его положили под стену 4000 лет назад

Такие древние находки янтаря так далеко от Балтики встречаются крайне редко

ТехИнсайдер
Ленинский враг с нелестной репутацией Ленинский враг с нелестной репутацией

Мало кто так хорошо понимал ленинскую доктрину и практику, как Алексинский

Дилетант
Кенгуру затоптали Австралию. Экологи призывают к жестким мерам по сдерживанию роста популяции Кенгуру затоптали Австралию. Экологи призывают к жестким мерам по сдерживанию роста популяции

Почему экологи призывают разрешить отстрел кенгуру

ТехИнсайдер
Мечтать не вредно Мечтать не вредно

Свежие идеи для бизнеса

Автопилот
Палеонтологи подтвердили существование муста у мамонтов Палеонтологи подтвердили существование муста у мамонтов

Самцы мамонтов, как и современные слоны, были способны испытывать муст

N+1
Враги-государства Враги-государства

Звезда «Игры в кальмара» дебютирует в качестве режиссера со шпионским боевиком

Weekend
Черная мамба: реальные факты о самой опасной змее на свете Черная мамба: реальные факты о самой опасной змее на свете

Как много вы знаете о черной мамбе?

ТехИнсайдер
Что бывает, когда не умеешь одеваться: почему никому не нравится новая актриса-Русалочка Что бывает, когда не умеешь одеваться: почему никому не нравится новая актриса-Русалочка

Почему публика не принимает Холли Бейли?

VOICE
Начать питаться осознанно Начать питаться осознанно

Как использовать приложения для тренировки сознательного пищевого поведения

Psychologies
Четыре сыра Четыре сыра

Как сменить город на деревню и стать сыроваром

Вокруг света
Сергей Вялов: «Поджелудочная железа создана с большим запасом прочности и может многое выдержать, но даже при этом мы умудряемся её угробить» Сергей Вялов: «Поджелудочная железа создана с большим запасом прочности и может многое выдержать, но даже при этом мы умудряемся её угробить»

Всегда ли боль в животе связана с желудком и можно ли вылечить гастрит?

Здоровье
Ушли в минус Ушли в минус

Зачем автопроизводители выпускают холодильники

Автопилот
Полюбить себя не получается? Притворитесь! 4 действенные стратегии от психолога Полюбить себя не получается? Притворитесь! 4 действенные стратегии от психолога

Как полюбить себя?

Psychologies
Принц Чарльз официально стал королем Карлом III: что это значит для нас? Принц Чарльз официально стал королем Карлом III: что это значит для нас?

Почему даже для иностранцев коронация Карла III — важное событие?

Psychologies
DeepMind разработала робота-футболиста: он умеет бить по мячу и толкать соперника DeepMind разработала робота-футболиста: он умеет бить по мячу и толкать соперника

DeepMind разработала антропоморфных роботов-футболистов

ТехИнсайдер
«Не приучайте к самостоятельности»: как вырастить маменькиного сынка — 5 вредных советов «Не приучайте к самостоятельности»: как вырастить маменькиного сынка — 5 вредных советов

Как сделать все, чтобы ваш сын не мог от вас съехать в будущем?

Psychologies
Эта женщина прожила в 3 веках: ей было 110 лет. Поразительно! Эта женщина прожила в 3 веках: ей было 110 лет. Поразительно!

Первая женщина, которая официально получила титул сверхдолгожителя

ТехИнсайдер
Открыть в приложении