Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как инвестировать в современное искусство — от классического до NFT Как инвестировать в современное искусство — от классического до NFT

Делимся знаниями, без которых в мире коллекционирования не обойтись

РБК
Покрас Лампас, Али Мамедов: «Личный бренд начинается с собственной философии» Покрас Лампас, Али Мамедов: «Личный бренд начинается с собственной философии»

Какую ответственность несет публичный человек перед своей аудиторией?

РБК
5 самых необычных криптовалют, о которых ты (пока) не слышал 5 самых необычных криптовалют, о которых ты (пока) не слышал

Не одним биткоином живы!

Maxim
Лава прошлогоднего извержения на Ла-Пальме оказалась крайне текучей Лава прошлогоднего извержения на Ла-Пальме оказалась крайне текучей

На канарском острове Ла-Пальма в 2021 году извергалась очень текучая лава

N+1
Химики предложили способ синтеза энантиомерно чистых катенанов и ротаксанов Химики предложили способ синтеза энантиомерно чистых катенанов и ротаксанов

Химики получили энантиомерно чистые катенан и ротаксан новым способом

N+1
Анастасия Пиорунская Анастасия Пиорунская

Техно-экобренд из Петербурга? Да!

Собака.ru
На природе и в огороде На природе и в огороде

Как научиться замечать и использовать на кухне то, что растет под ногами

Новый очаг
Как узнать, сколько оперативной памяти на компьютере? Как узнать, сколько оперативной памяти на компьютере?

Как узнать, сколько оперативной памяти уже есть в компьютере или ноутбуке?

CHIP
«Если бы ты не покупал каждый день кофе, то давно бы накопил на жильё» «Если бы ты не покупал каждый день кофе, то давно бы накопил на жильё»

Богатыми могут стать вообще все: главное — перестать тратить деньги на ненужное

VC.RU
«Я стала трудоголиком, который ел на ужин мороженый йогурт». Как сохранить личные границы на работе и в жизни «Я стала трудоголиком, который ел на ужин мороженый йогурт». Как сохранить личные границы на работе и в жизни

Как научиться отстаивать свои интересы и перестать отказываться от себя

Inc.
Спорт без боли и дискомфорта: современные технологии, которые помогут вам бегать правильно Спорт без боли и дискомфорта: современные технологии, которые помогут вам бегать правильно

Бег — одновременно и очень простое, и довольно сложное занятие

ТехИнсайдер
Как замедлить процесс старения, или почему вам не нужно “трястись над здоровьем” Как замедлить процесс старения, или почему вам не нужно “трястись над здоровьем”

Возможно, чтобы жить дольше, нашему организму нужно больше стресса!

ТехИнсайдер
Под метановыми облаками: астрономы объяснили, почему Уран и Нептун разного цвета Под метановыми облаками: астрономы объяснили, почему Уран и Нептун разного цвета

Почему похожие планеты выглядят для наблюдателя по-разному?

Вокруг света
«Рабы любви»: 7 советов жертвам насилия и сексуализированной эксплуатации «Рабы любви»: 7 советов жертвам насилия и сексуализированной эксплуатации

Как забыть насилие и что делать, если ты оказалась в секс-индустрии?

Psychologies
Кто такие зомби Кто такие зомби

Эволюция от послушных рабов к агрессивной нежити

Вокруг света
Как живет сегодня девочка из скандального клипа певицы Sia, которую считали жертвой из-за полуголых танцев Шайи Лабефа Как живет сегодня девочка из скандального клипа певицы Sia, которую считали жертвой из-за полуголых танцев Шайи Лабефа

Как Мэдди Зиглер оценивает свой опыт съемок для видео Elastic Heart

VOICE
Тонкости альпинизма: как подготовиться к восхождению на Эльбрус Тонкости альпинизма: как подготовиться к восхождению на Эльбрус

Как покорить Эльбрус?

ТехИнсайдер
Назвали в честь россиянки: в Якутии впервые нашли шипоноску, которая жила в одно время с динозаврами Назвали в честь россиянки: в Якутии впервые нашли шипоноску, которая жила в одно время с динозаврами

Сибирский янтарь хранит еще немало тайн, уверены ученые

Вокруг света
Как сделать яркий макияж: тренды, идеи и советы эксперта Как сделать яркий макияж: тренды, идеи и советы эксперта

Яркий макияж популярен, но важно уметь расставлять акценты

РБК
И снова Кипренский И снова Кипренский

Атрибуция каждого произведения Кипренского — настоящее событие

Дилетант
9 безобидных бытовых привычек, которые опустошают твой кошелек 9 безобидных бытовых привычек, которые опустошают твой кошелек

Чтобы сэкономить семейный бюджет, пересмотри свои действия

Лиза
Максим Стоянов: Максим Стоянов:

Интервью со звездой сериала «Шифр» Максимом Стояновым

Коллекция. Караван историй
Самые опасные виды туризма в России Самые опасные виды туризма в России

От чего надо держаться подальше в процессе активного отдыха?

Maxim
«Красный барон»: история самого известного хот-рода в мире «Красный барон»: история самого известного хот-рода в мире

Хот-роддинг — автомобильное искусство, признанное и уважаемое

Maxim
Тело, сексуальность и борьба. Отрывок из новой книги Оливии Лэнг Тело, сексуальность и борьба. Отрывок из новой книги Оливии Лэнг

Глава «Мерцающая сеть» из книги Оливии Лэнг — рассказ о художнице Агнес Мартин

Правила жизни
Валерия: Валерия:

Валерия откровенно рассказывает о своей жизни

Коллекция. Караван историй
Из Зорро - в пенсионера: новые фото Антонио Бандераса разбили сердце поклонницам по всему миру. Узнаёшь красавца? Из Зорро - в пенсионера: новые фото Антонио Бандераса разбили сердце поклонницам по всему миру. Узнаёшь красавца?

Невозможно смотреть свежие фото Антонио Бандераса!

VOICE
Кирилл Рябов Кирилл Рябов

Кирилл Рябов — менестрель петербургской хтони и кумир молодежи

Собака.ru
Потрясающие времена Потрясающие времена

Startup Village – это мероприятие для общения предпринимателей с инвесторами

ТехИнсайдер
Эффект бабочки: чешуекрылые подсказали ученым, как создать сверхматериал для звукоизоляции Эффект бабочки: чешуекрылые подсказали ученым, как создать сверхматериал для звукоизоляции

Природа уже изобрела сверхматериалы до нас

Вокруг света
Открыть в приложении