Как сейчас выглядит нейрогенеративное искусство и что с ним будет дальше

N+1Hi-Tech

Совместный сновидческий процесс

Как сейчас выглядит нейрогенеративное искусство и что с ним будет дальше

Иван Шунин

Когда работаешь с новостями науки, иллюстрации — это сложно. Ладно еще, когда речь о каком-то наглядном поведенческом эксперименте. Но когда у тебя доказательство математической теоремы или демонстрация тонкого эффекта из области квантовой химии, где в качестве иллюстративного материала в лучшем случае графики — приходится думать. Думать долго и отчаянно. Так что когда разработчики нейросетей начали сначала делиться успехами своих детищ в живописи, а после запустили сервисы нейрогенерации изображений мы, конечно, очень обрадовались. Но простая генерация картинок в ответ на набор слов — это еще не очень интересно. Поэтому мы пошли к Илье Яцкевичу и Алексею Устьянцеву, которые занимаются нейрогенеративным искусством, чтобы они попробовали себя в роли иллюстраторов научных новостей — а потом поговорили с ними о том, как меняют их работу рисующие машины.

[N + 1]: Генерация изображений при помощи нейронки, это что? Уже отдельное художественное направление? Или все люди, которые занимаются изобразительным творчеством, просто сейчас осваивают новый инструмент?

[Илья]: Сейчас в твиттере и инстаграме (соцсеть признана в РФ экстремистской и запрещена) многие стонут: «о боже, нет, они заменяют художников!» [мы говорили с Ильей и Алексеем еще 24 августа — прим. N + 1]. Ну, так-то слава роботам, конечно. И определенные подвижки на рынке труда в связи с этим произойдут. Грубо говоря, если ты не можешь делать что-то подобное — это проблема. Но в любом случае человеческая роль во всем этом остается. Потому что человек делает это с пониманием идеи, контекста. Он корректирует промпты, настраивает их в соответствии со своей задумкой, со своим представлением о предмете — особенно когда мы говорим о весьма абстрактных научных образах. Да и, в конце концов, он потом ретуширует это и собирает вместе.

[N + 1]: А ты можешь всю цепочку описать? Не только применительно к нашей конкретной истории с заголовками, а вообще.

[Илья]: Я, например, работаю сейчас над клипом Дельфина и мы используем нейросетки для того, чтобы дать какие-то общие референсы, направление, настроение. То, ради чего я раньше ковырял бы пинтерест на протяжении многих часов. Сейчас на это уже не уходит так много времени. Получается где-то конкретнее, где-то интереснее.

[N + 1]: То есть ты начинаешь предпочитать такую технику всем остальным сценариям, она заменяет прошлые привычки?

[Илья]: Ну, я по-прежнему смотрю пинтерест, я по-прежнему люблю рисовать руками, но это все удачно дополняет мою практику.

[Алексей]: Давай я добавлю. Нейросетки очень полезны, в первую очередь, когда тебе нужно очень быстро получить очень большое количество материала. То есть у тебя появилась идея, ты забиваешь два предложения и получаешь кучу всего. За это время ты раньше успел бы только пинтерест открыть и первые две картинки полайкать. А когда тебе нужно что-то человеку показать и объяснить, это очень удобно.

[N + 1]: Ага, плюс это ровный результат — получаешь много и оно все какого-то одного качества.

[Алексей]: Ну, одного стиля... Насчет качества не уверен.

[Илья]: Во-первых — да, конечно, в среднем по больнице качество абсолютно ровное. Но помимо этого есть еще прекрасные случайности, которые происходят достаточно часто. Картинки, которые выбиваются из ряда себе подобных. Как правило, именно такие случайности я и предпочитаю использовать. То есть у тебя помимо массы качественного материала есть еще какие-то классные штуки, которые в процессе возникают.

Смотри, вот мы с Лешей придумали историю про планету после многих техногенных катастроф, где вдобавок ко всему появился какой-то загадочный красный туман, который придал людям необычные возможности — в общем, у нас есть сеттинг. В рамках этого сеттинга у нас появляются персонажи: они всплывают из вопросов о том, как выглядит это, как выглядит то. У меня есть представление о том, как это выглядит, какой-то [общий] силуэт:

Eli Jackiewicz

И я иду с ним в одну нейросетку, пробую его сгенерировать там, может быть рисую вручную:

Eli Jackiewicz

Потом иду в другую — и быстро генерирую большое количество деталей, которые позволяют мне описать форму этого силуэта максимально выразительно и насытить его деталями.

И вот на стыке такого человеческого и машинного творчества получаются прикольные вещи:

[N + 1]: Хорошо. Давай к следующему. Вот есть новый инструмент, плюс какие-то навыки, необходимые для того, чтобы им пользоваться. Есть ли уже какая-то базовая матчасть, которую нужно освоить, чтобы всерьез стать таким нейроартистом?

[Илья]: Когда это все начиналось, это было просто быстро развивающееся сообщество. Люди учились друг у друга, анализировали промпты друг друга и получали что-то новое. Сейчас уже есть коллосальное количество материалов, которые описывают эту всю промпт-инженерию как дисциплину своего рода. Есть синтаксис, есть ключи, которые позволяют влиять на стилистику изображения. И так далее. Более того, у меня в одной из коллаб запущена отдельная нейросетка, которая разбирает картинки на промпты.

[N + 1]: То есть ты кормишь ей картинку, а она тебе говорит, каким промптом ее можно получить?

[Илья]: Да. Реверс-инжиниринг уже есть. Словари промптов уже есть. Какие-то интерфейсы на эту тему, кроме текстовых, уже появляются. Все это развивается очень быстро.

[N + 1]: А ты в целом себе представляешь, что у нее под капотом там? Или ты просто как артист с этой штукой взаимодействуешь?

[Илья]: Нет, я с ней взаимодействую чисто как чувак, который кнопочки нажимает. У меня есть примерное представление о том, как это работает. Я понимаю, что в ней там два логических модуля, один занимается этим, второй тем. Я понимаю, как происходит диффузия, как картинка восстанавливается из шумов. Я могу запустить какой-нибудь код в какой-нибудь коллабе. Немножко его подправить — тоже могу. Хотя не очень люблю.

[N + 1]: И тебе это, в общем, не надо? То есть ты не оказываешься в ситуации, когда ты такой — блин, ну тут с кодом надо работать, я мимо? Просто вот работающий черный ящик и все хорошо, я умею с ним взаимодействовать на уровне промптов, я осваиваю и развиваю искусство взаимодействия с этими машинами.

[Илья]: В принципе, да. Но есть отдельные инструменты, которые все еще требуют работы с кодом. Сейчас я участвую в альфа-тестах еще одного такого сервиса. Они делают классное рабочее пространство с многоуровневой структурой. Ты перетаскиваешь в свое рабочее пространство разные нейросетки, подключаешь их друг к другу, как в DaVinci или Blender. И скармливаешь результат одной генерации в другую. Это дает кучу неожиданных и интересных результатов.

[N + 1]: А, они атакуют продукт друг друга?

[Илья]: Ну можно и так сказать. Я могу взять своего персонажа, при помощи одной нейросетки убрать у него фон, при помощи второй преобразовать его в 3D и потом при помощи третьей его как-то стилизовать.

[N + 1]: Окей. Давай теперь вдоль галереи с нашими заголовками пойдем. Что там происходило и как? Вот у тебя был список, что ты пошел с ним делать?

Мы отправили Илье с Алексеем список типичных новостей, с иллюстрацией к которым, на наш взгляд, человеку не так просто справиться:

  • Бозе-конденсат из атомов рубидия в оптическом резонаторе
  • Оптогенетический инструмент для управления экспрессией белков
  • Новый путь синтеза пребиотических кислот
  • Углеродный ремень закрутился в ленту Мебиуса
  • Веселящий газ позволил получать фенолы каталитически
  • Топологически хиральный молекулярный узел
  • Кластерные полиоксометаллаты собрались в двумерные пористые структуры
  • Астрономы отыскали первый затменный промежуточный поляр с потоковой подпиткой
  • Поражение миндалины не дало людям принести одного в жертву ради спасения многих
  • Спиннер превратили в экспресс-тест для диагностики инфекций мочевых путей
  • Обучение страхом вызвало у мышей пластичность в дендритах
  • Гаплонедостаточность уличили в развитии тяжелой формы стафилококковой инфекции
  • Контактные линзы доставили лекарство в переднюю камеру глаза с помощью ионофореза
  • Бегающие и кусающиеся собаки поддержали эпидемию бешенства в Танзании
  • Пересадка фекальной микробиоты снизила тягу к алкоголю
  • Дифференцировку моноцитов в толстой кишке у мышей связали с регуляторным фактором интерферона 5
  • Клоны флуоресцирующей макаки помогли оценить безопасность точечного редактирования генома
  • Вирусы заставили мышей привлечь комаров-переносчиков запахом черемухи

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Секс-расхламление: 3 устаревших интимных правила, от которых пора отказаться Секс-расхламление: 3 устаревших интимных правила, от которых пора отказаться

Пора превратить просто хороший секс в идеальный

Maxim
Час расплаты: как мир пропустил тревожные звоночки в истории криптобиржи FTX Час расплаты: как мир пропустил тревожные звоночки в истории криптобиржи FTX

Владелец криптобиржи FTX сумел очаровать многих игроков криптомира

Forbes
Культурное погружение: 7 удивительных подводных достопримечательностей Культурное погружение: 7 удивительных подводных достопримечательностей

Иногда, чтобы увидеть нечто прекрасное, нужно сперва спуститься на дно

Вокруг света
Режиссер Александр Прошкин. Счастливый случай Режиссер Александр Прошкин. Счастливый случай

Режиссер Александр Прошкин — о творческом пути и о работе над своими фильмами

Коллекция. Караван историй
Куклы, сделанные из мертвых детей: история Анатолия Москвина, окружившего себя телами подростков Куклы, сделанные из мертвых детей: история Анатолия Москвина, окружившего себя телами подростков

Куклы из детей: нервы сдавали даже у следователей, которые видели многое

VOICE
Когда ребенок — блогер: как перестать опасаться и научиться быть в тренде вместе с ним Когда ребенок — блогер: как перестать опасаться и научиться быть в тренде вместе с ним

Какую роль соцсети играют в подростковой социализации?

Psychologies
Вечно немолодая: как рынок и потребители меняют свое отношение к менопаузе и старению Вечно немолодая: как рынок и потребители меняют свое отношение к менопаузе и старению

Как нормализация женского старения становится новым источником прибыли

Forbes
Как возникла жизнь: 5 теорий разных эпох Как возникла жизнь: 5 теорий разных эпох

Молния, глина, лед, глубина, космос — как появились люди?

ТехИнсайдер
«Сплю в середине рабочего дня ради второго «Сплю в середине рабочего дня ради второго

Издание dev.by поговорило с разработчиками о нестандартных графиках

VC.RU
Брить или не брить: 17 вех из истории бороды Брить или не брить: 17 вех из истории бороды

Как жители разных уголков мира относились к растительности на лице

Вокруг света
Джонатан Уэллс: «Слабак». Автофикшн о токсичной маскулинности Джонатан Уэллс: «Слабак». Автофикшн о токсичной маскулинности

«Слабак» — автофикшн о силе слепой и всепоглощающей отцовской любви

СНОБ
Замки на песке: что построил Катар к чемпионату мира по футболу Замки на песке: что построил Катар к чемпионату мира по футболу

Новый аэропорт, дома моды, современные музеи — что удивительного построил Катар?

Forbes
«Хочу поиграть в англоязычной команде»: Бумыч о планах на будущее, своей карьере и бывшей жене «Хочу поиграть в англоязычной команде»: Бумыч о планах на будущее, своей карьере и бывшей жене

Киберспортсмен Кирилл «Boombl4» Михайлов — о репутации и команде мечты

Maxim
Поэты соцреализма: 12 фильмов братьев Дарденн — от худшего к лучшему Поэты соцреализма: 12 фильмов братьев Дарденн — от худшего к лучшему

На счету режиссерского тандема Дарденн 12 картин, и мы рассмотрим каждую из них

Правила жизни
8 фильмов о путешествиях, которые меняют жизнь 8 фильмов о путешествиях, которые меняют жизнь

Герои этой киноподборки отправляются в походы и полеты

Psychologies
Heesen Lusine Heesen Lusine

Верфь Heesen Yachts показывала две свои новые моторные яхты

Y Magazine
У самого синего моря У самого синего моря

Компактная студия с видом на море

Идеи Вашего Дома
7 знаковых моментов Gucci под руководством Алессандро Микеле, которые мы запомним 7 знаковых моментов Gucci под руководством Алессандро Микеле, которые мы запомним

Gucci под руководством Алессандро Микеле: модная эпоха, которую мы запомним

Правила жизни
9 книг, которые российские предприниматели советуют прочитать для поиска «внутренней опоры» 9 книг, которые российские предприниматели советуют прочитать для поиска «внутренней опоры»

Какие книги помогают предпринимателям «собраться» в трудные времена?

Inc.
Правило 6 + 2. Врач Кливлендской клиники рассказал, как улучшить здоровье и увеличить продолжительность жизни Правило 6 + 2. Врач Кливлендской клиники рассказал, как улучшить здоровье и увеличить продолжительность жизни

Стоит ли пытаться влиять на продолжительность жизни?

Inc.
Чем американская водка отличается от русской Чем американская водка отличается от русской

Американцы извратили даже нашу национальную скрепу — великую и ужасную водку

Maxim
Эффект Манделы: 7 знаменитостей, которых «похоронили» раньше срока Эффект Манделы: 7 знаменитостей, которых «похоронили» раньше срока

Каких знаменитостей считают умершими, хотя они появляются в медиаполе

Psychologies
Быстро убрать отеки: 7 способов и SOS-инструкция Быстро убрать отеки: 7 способов и SOS-инструкция

Как бороться с утренними отеками на лице?

РБК
Спасение в крови: как переливание искусственных эритроцитов поможет врачам Спасение в крови: как переливание искусственных эритроцитов поможет врачам

Новая технология может стать спасением для миллионов людей

Forbes
«С любимыми не расставайтесь» «С любимыми не расставайтесь»

Наталия Вдовина и Игорь Гордин рассказали о спектакле «Саша, привет!»

OK!
Зеленый город мечты Зеленый город мечты

В Красноярске новые впечатления найдут для себя и урбанисты, и любители тишины

Отдых в России
Родитель года: почему вставать на сторону ребенка нужно не всегда Родитель года: почему вставать на сторону ребенка нужно не всегда

Все родители любят своих детей. Хорошо, почти все. Очень и очень многие

Maxim
Археологи нашли древнюю баню на римской вилле в Англии. Вам туда захочется! Археологи нашли древнюю баню на римской вилле в Англии. Вам туда захочется!

Новые свидетельства роскошного образа жизни британцев обнаружены в Ратленде

ТехИнсайдер
Недооцененные прелести секса Недооцененные прелести секса

Сегодня мы ищем ответ на вопрос «Зачем нужен мейоз?»

СНОБ
«Алхимия и жизнь» «Алхимия и жизнь»

Как люди и материалы меняли друг друга

N+1
Открыть в приложении