Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Hip-Hop Rules Luxury Hip-Hop Rules Luxury

Отношения хип-хопа и люкса складывались непросто

Robb Report
«Если бы ты не покупал каждый день кофе, то давно бы накопил на жильё» «Если бы ты не покупал каждый день кофе, то давно бы накопил на жильё»

Богатыми могут стать вообще все: главное — перестать тратить деньги на ненужное

VC.RU
8 способов зарядиться энергией природы 8 способов зарядиться энергией природы

Природа особенно хороша тогда, когда мы познаем ее на чувственном уровне

Psychologies
«Поговорите открыто о своих чувствах на работе» «Поговорите открыто о своих чувствах на работе»

Александр Барсуков — о десяти способах защитить сотрудников от выгорания

РБК
Почему некоторые люди никогда не извиняются? Тезисы из выступления американского психолога Почему некоторые люди никогда не извиняются? Тезисы из выступления американского психолога

Почему некоторым невыносимо сложно сказать «прости»?

Правила жизни
«Живите как горностай»: совет, проверенный временем «Живите как горностай»: совет, проверенный временем

Хватайтесь зубами за свое предназначение и не отпускайте его

Psychologies
Гений генетики: как устроена биотех-компания, которая умеет редактировать ДНК Гений генетики: как устроена биотех-компания, которая умеет редактировать ДНК

Intellia Therapeutics: Нобелевская премия и финансовые проблемы

Forbes
Дарина Якунина Дарина Якунина

Глава издательства «Поляндрия» — как поднимать сложные темы среди детей?

Собака.ru
Утро — доброе: 11 правил для хорошего начала дня Утро — доброе: 11 правил для хорошего начала дня

Лишь немногие способны спокойно собраться с утра и при этом все успеть

Psychologies
Об этих существах сочиняли легенды, но они оказались реальными: 10 самых страшных видов летучих мышей Об этих существах сочиняли легенды, но они оказались реальными: 10 самых страшных видов летучих мышей

От этих рукокрылых стоит держаться подальше

ТехИнсайдер
Мне просто спросить Мне просто спросить

Онлайн сервис «Просто спросить», где помогают больным раком

СНОБ
О чем шипит мадагаскарский таракан О чем шипит мадагаскарский таракан

Немного о популяции мадагаскарских шипящих тараканов в Москве

Наука
Сын стал дочерью, в любви полный штиль: трагедия и одиночество богатейшего человека Земли Илона Маска Сын стал дочерью, в любви полный штиль: трагедия и одиночество богатейшего человека Земли Илона Маска

За званием самого богатого человека в мире скрывается много проблем

VOICE
Марина Яковлева: «Я сказала Джигарханяну «Нет! Останемся друзьями» Марина Яковлева: «Я сказала Джигарханяну «Нет! Останемся друзьями»

Моя мама была суровой. Я ее и любила, и боялась

Караван историй
Фиолетовая морковь и персик-вишня: как выглядели привычные нам фрукты и овощи в прошлом Фиолетовая морковь и персик-вишня: как выглядели привычные нам фрукты и овощи в прошлом

Как дикие сорта овощей и фруктов отличались от сегодняшних культурных плодов?

ТехИнсайдер
Датчик коленвала: что это и как его проверить Датчик коленвала: что это и как его проверить

Как понять, что датчик коленвала захандрил и что делать в такой ситуации?

РБК
Модифицировать риск — благородное дело Модифицировать риск — благородное дело

Нездоровый образ жизни — основная причина большого количества заболеваний

Наука
Ракетка для сердца: ученые придумали растворяющийся в организме кардиостимулятор Ракетка для сердца: ученые придумали растворяющийся в организме кардиостимулятор

Ученые изобрели кардиостимулятор без проводов и батареи

Вокруг света
Нам живыми быть не идет. О российском фильме «Межсезонье» Нам живыми быть не идет. О российском фильме «Межсезонье»

Новый фильм Александра Ханта «Межсезонье» — почему его стоит смотреть

СНОБ
На пути к климатической нейтральности На пути к климатической нейтральности

В стране будет организована широкая сеть карбоновых полигонов

Агроинвестор
Строим автомобиль для ралли-рейда: зачем спорткарам нужен каркас безопасности и каким он должен быть Строим автомобиль для ралли-рейда: зачем спорткарам нужен каркас безопасности и каким он должен быть

Как построить каркас безопасности для спортивных классов N2?

ТехИнсайдер
Интервью музыкантов «4 позиции Бруно» — первое за шесть лет Интервью музыкантов «4 позиции Бруно» — первое за шесть лет

«4 позиции Бруно» — о новом альбоме, вдохновении и надругательстве над музыкой

СНОБ
Больше не вместе: как уменьшить боль от расставания Больше не вместе: как уменьшить боль от расставания

Как пройти период расставания с наименьшими потерями?

Psychologies
Эмоционально живые люди: кто они и как стать таким же? Эмоционально живые люди: кто они и как стать таким же?

Психолог Лиля Град — о тех мышцах, которые действительно стоит прокачивать

Psychologies
Спаржа, свекла и другие овощи, которые плохо усваиваются в сыром виде Спаржа, свекла и другие овощи, которые плохо усваиваются в сыром виде

Эти продукты лучше пожарить или потушить, чтобы не навредить здоровью

Лиза
Что такое пептидная косметика и как она работает Что такое пептидная косметика и как она работает

Как пептиды улучшают состояние кожи?

РБК
Кто такие зомби Кто такие зомби

Эволюция от послушных рабов к агрессивной нежити

Вокруг света
Дети научат искусственный интеллект учиться Дети научат искусственный интеллект учиться

Дети часто обучаются на единственном примере. ИИ пока такое обучение недоступно

ТехИнсайдер
Как отношение к еде показывает отношение к сексу? Как отношение к еде показывает отношение к сексу?

Еда и секс — разные, но жизненно важные физиологические потребности

Psychologies
Миф о третьем свидании: когда надо идти в постель с мужчиной, если тебе нужны отношения Миф о третьем свидании: когда надо идти в постель с мужчиной, если тебе нужны отношения

Почему говорят, что сексом нельзя заниматься раньше, чем на третьем свидании?

VOICE
Открыть в приложении