Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Зоолог впервые заснял самого крупного грызуна Австралии и Океании Зоолог впервые заснял самого крупного грызуна Австралии и Океании

Зоолог впервые запечатлел на фото и видео низинную мохнатую крысу

N+1
Кризис старения: 7 способов принять неизбежное — найдите новый смысл Кризис старения: 7 способов принять неизбежное — найдите новый смысл

Как принять грядущий уход и найти цель, чтобы продолжать радоваться

Psychologies
Изогнутый экран смартфона — это удобно? Изогнутый экран смартфона — это удобно?

Стоит ли покупать смартфоны с изогнутыми экранами?

CHIP
Чем труднее задача, тем глубже морщинка между бровей Чем труднее задача, тем глубже морщинка между бровей

Как реагируют определенные мышцы лица, когда человек размышляет

ТехИнсайдер
Что такое калланетика и помогает ли она похудеть: 9 упражнений Что такое калланетика и помогает ли она похудеть: 9 упражнений

Эффективный комплекс упражнений для укрепления мышц, которые можно делать дома

РБК
Suzuki Vitara и пределы её проходимости Suzuki Vitara и пределы её проходимости

Suzuki Vitara качестве кроссовера хороша не только на асфальте

4x4 Club
Пять напитков, которыми нельзя запивать лекарства Пять напитков, которыми нельзя запивать лекарства

Почему нужно запивать лекарства только водой?

Здоровье
Стройный рацион Стройный рацион

Продукты для похудения. Список, который пригодится на любой диете

Лиза
На дальней станции сойду На дальней станции сойду

Как и к чему готовят космонавтов

Men Today
«От настоящей любви не бывает больно»: певица Асия и ее возлюбленный Олег Мартышкин — о чувствах и отношениях «От настоящей любви не бывает больно»: певица Асия и ее возлюбленный Олег Мартышкин — о чувствах и отношениях

Что такое любовь? И как сохранять ее несмотря ни на что?

Psychologies
Яндекс встроил в Алису нейросеть YandexGPT Яндекс встроил в Алису нейросеть YandexGPT

YandexGPT поможет написать что угодно: план тренировки или список подарков

N+1
Ностальгия по СССР: как менялось отношение россиян к распаду Советского Союза Ностальгия по СССР: как менялось отношение россиян к распаду Советского Союза

О том, почему ностальгия по СССР усиливается с годами

Forbes
Почему негативные эмоции и поступки невозможно скрыть — ни от себя, ни от окружающих Почему негативные эмоции и поступки невозможно скрыть — ни от себя, ни от окружающих

Люди в большинстве своем считывают то, как мы относимся к ним

Psychologies
«Ньюмба» уходит в отрыв «Ньюмба» уходит в отрыв

Nyumba стала для южноафриканской верфи Southern Wind важной вехой

Y Magazine
От повитухи до акушерки: как помощь женщинам в родах стала настоящей профессией От повитухи до акушерки: как помощь женщинам в родах стала настоящей профессией

Как совершенствование медпомощи во время родов вытеснило из профессии женщин

Forbes
Химики нашли общий метод получения молекулярных ремней с топологией Мебиуса Химики нашли общий метод получения молекулярных ремней с топологией Мебиуса

Химики впервые получили трижды скрученный мебиусовский ремень

N+1
Ритуалы в день рождения: что делать, чтобы привлечь удачу на весь год Ритуалы в день рождения: что делать, чтобы привлечь удачу на весь год

День рождения — не просто дата, которая прибавляет года и полезные презенты

VOICE
PCM-методика в психологии: что это и с чем ее едят? PCM-методика в психологии: что это и с чем ее едят?

РСМ-методика: как она была разработана и испытана? Где применяется?

Psychologies
О чем думали люди в послевоенном 1947 году О чем думали люди в послевоенном 1947 году

Отрывок из книги Элисабет Осбринк «1947»

СНОБ
Повысить либидо: 4 упражнения для возвращения желания Повысить либидо: 4 упражнения для возвращения желания

Упражнения, которые помогут повысить либидо

Psychologies
«Сила волчьей стаи» «Сила волчьей стаи»

Реальные истории из жизни диких хищников

N+1
Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023 Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023

Пять представителей в рейтинге самых высокооплачиваемых спортсменов мира до 25

Forbes
Дюран Дюран

Трудно найти русскоязычного человека, который не видел ни одного комикса Дюрана

Правила жизни
Маленькие хитрости: манипуляция, которой ты не замечаешь Маленькие хитрости: манипуляция, которой ты не замечаешь

Есть слова, похожие на крошечные крючки

VOICE
Покупка подержанной Mazda CX-5 Покупка подержанной Mazda CX-5

Наш нынешний герой – кроссовер Mazda CX-5

4x4 Club
Как помочь людям с аутизмом в период стресса и изменений Как помочь людям с аутизмом в период стресса и изменений

Как помочь людям с РАС в непростое время перемен

Psychologies
Замуж в Эмираты: реальная история о жизни в Дубае, перспективе стать второй женой и отношениях со свекровью Замуж в Эмираты: реальная история о жизни в Дубае, перспективе стать второй женой и отношениях со свекровью

История Азизы — откровение о пестрой ткани жизни в Дубае

Psychologies
Из России за титулом: как бывшие звезды РПЛ сделали «Наполи» чемпионом Италии Из России за титулом: как бывшие звезды РПЛ сделали «Наполи» чемпионом Италии

Как «Наполи» стал чемпионом Италии по футболу впервые за 33 года

Forbes
Чтобы работал как часы: 5 напитков, которые любит твой кишечник Чтобы работал как часы: 5 напитков, которые любит твой кишечник

Эти вкусные, полезные и доступные напитки день за днем улучшают твой микробиом

VOICE
Молодое поколение этого не знает! Вот как Битлз изменили мир музыки Молодое поколение этого не знает! Вот как Битлз изменили мир музыки

Как Битлз завоевали сердца не только слушательниц, но и аудиофилов

ТехИнсайдер
Открыть в приложении