Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Летние коктейли для жарких дней, вечерних прогулок и борьбы с похмельем Летние коктейли для жарких дней, вечерних прогулок и борьбы с похмельем

Московские бармены делятся рецептами летних коктейлей, которые спасут от жары

СНОБ
Отрывок из романа Анны Старобинец «Лисьи броды» Отрывок из романа Анны Старобинец «Лисьи броды»

Пара глав из мистического романа Анны Старобинец «Лисьи броды»

СНОБ
Лошади из мавзолея Цинь Шихаунди оказались высокими взрослыми самцами Лошади из мавзолея Цинь Шихаунди оказались высокими взрослыми самцами

Для погребального ритуала первого императора Цинь отбирались высокие жеребцы

N+1
Восходящий знак: почему асцедент важнее знака зодиака и как определить свой Восходящий знак: почему асцедент важнее знака зодиака и как определить свой

Рассказываем, как определить свой асцедент и что он означает

VOICE
Нам живыми быть не идет. О российском фильме «Межсезонье» Нам живыми быть не идет. О российском фильме «Межсезонье»

Новый фильм Александра Ханта «Межсезонье» — почему его стоит смотреть

СНОБ
Трансмиссия автомобиля: виды и основные неисправности Трансмиссия автомобиля: виды и основные неисправности

Трансмиссия — один из важнейших элементов транспортного средства

РБК
Как перерабатывают нефть в XXI веке Как перерабатывают нефть в XXI веке

Представить себе сегодняшний мир без нефти невозможно

ТехИнсайдер
Любовь в деталях Любовь в деталях

Как найти баланс в общении с мужчиной?

Лиза
Дом в Лас-Вегасе, конопляная Мекка и танцы в костюме пчелы: как сейчас живет Майк Тайсон Дом в Лас-Вегасе, конопляная Мекка и танцы в костюме пчелы: как сейчас живет Майк Тайсон

Как поживает «самый плохой человек на планете» Майк Тайсон

Maxim
Солнечный удар: как не допустить и избавиться от последствий Солнечный удар: как не допустить и избавиться от последствий

Учимся предотвращать солнечный удар и помогать себе и близким

РБК
Авторка и докторка: почему важно использовать феминитивы? Авторка и докторка: почему важно использовать феминитивы?

Как лучше сказать, адвокатка или адвокатша? Почему это имеет какое-то значение?

Psychologies
Петров крест, или о полномочиях забвения Петров крест, или о полномочиях забвения

Петров крест — это и есть трава забвения?

Наука и жизнь
Древние люди проломили черепа гигантским броненосцам Древние люди проломили черепа гигантским броненосцам

Древние люди нападали на гигантских броненосцев

N+1
Живущие в неволе черепахи отказались стареть Живущие в неволе черепахи отказались стареть

Скорость старения многих видов черепах при содержании в неволе равна нулю

N+1
Для чего древние цивилизации использовали календари? 5 невероятных фактов о времени Для чего древние цивилизации использовали календари? 5 невероятных фактов о времени

Факты, связанные со временем, которые вы точно не знали

ТехИнсайдер
Самые любопытные эротические традиции на день летнего солнцестояния Самые любопытные эротические традиции на день летнего солнцестояния

Как северные народы отмечали самую короткую ночь в году?

Maxim
Ничего лишнего Ничего лишнего

Как стать бьюти-минималистом и не вестись на маркетинговые уловки

Новый очаг
Шахматная доска на полу и стене Шахматная доска на полу и стене

На какие дизайнерские приемы стоит обратить внимание, если ты затеяла ремонт

Лиза
Черная смерть пришла в Европу из окрестностей Тянь-Шаня Черная смерть пришла в Европу из окрестностей Тянь-Шаня

Где находился естественный резервуар возбудителя второй пандемии чумы

N+1
Как справиться с гневом: 6 способов людей с высоким эмоциональным интеллектом Как справиться с гневом: 6 способов людей с высоким эмоциональным интеллектом

Как высокий эмоциональный интеллект спасает нас в конфликтных ситуациях?

Psychologies
20 лет в больнице: почему миллионерша Югетта Кларк осталась в палате после успешной операции 20 лет в больнице: почему миллионерша Югетта Кларк осталась в палате после успешной операции

Почему одна из самых богатых женщин Америки предпочла стать затворницей?

VOICE
Марина Краснова Марина Краснова

СЕО Вконтакте Марина Краснова — как развивается платформа, которой уже 16 лет?

Собака.ru
Жалость: есть ли в ней хоть что-то хорошее? Жалость: есть ли в ней хоть что-то хорошее?

Жалость — очень плохое и вредное чувство?

Psychologies
6 хитростей, которые помогут сделать белье мягким без кондиционера 6 хитростей, которые помогут сделать белье мягким без кондиционера

Подручные тоже смогут сделать вещи мягкими и без всякой небезопасной химии!

Лиза
7 необычных локаций Санкт-Петербурга для тех, кто хорошо знает город на Неве 7 необычных локаций Санкт-Петербурга для тех, кто хорошо знает город на Неве

В Петербурге столько достопримечательностей, что можно ходить по нему бесконечно

Вокруг света
«Я могла бы быть плюс 32 кг»: Ляйсан Утяшева раскрыла секрет борьбы с лишним весом «Я могла бы быть плюс 32 кг»: Ляйсан Утяшева раскрыла секрет борьбы с лишним весом

Ляйсан Утяшева призналась, что склонна к полноте

VOICE
«Если бы ты не покупал каждый день кофе, то давно бы накопил на жильё» «Если бы ты не покупал каждый день кофе, то давно бы накопил на жильё»

Богатыми могут стать вообще все: главное — перестать тратить деньги на ненужное

VC.RU
Как Леброн Джеймс стал самым успешным и богатым баскетболистом в XXI веке Как Леброн Джеймс стал самым успешным и богатым баскетболистом в XXI веке

Леброн Джеймс стал единственным из игроков НБА, кому удалось заработать $1 млрд

Forbes
Карта разума: что такое духовный интеллект и как его развить Карта разума: что такое духовный интеллект и как его развить

Во все времена находились люди, которые видели мир несколько иначе

Вокруг света
Ракетка для сердца: ученые придумали растворяющийся в организме кардиостимулятор Ракетка для сердца: ученые придумали растворяющийся в организме кардиостимулятор

Ученые изобрели кардиостимулятор без проводов и батареи

Вокруг света
Открыть в приложении