Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Новый год — новая жизнь! 10 поднимающих настроение новогодних решений Новый год — новая жизнь! 10 поднимающих настроение новогодних решений

Делимся вдохновляющими идеями, как сделать свою жизнь лучше

ТехИнсайдер
Синдром беспокойных ног: что делать, если все время хочется двигать ногами Синдром беспокойных ног: что делать, если все время хочется двигать ногами

Что такое синдром беспокойных ног и почему ярче всего он проявляется вечером

ТехИнсайдер
О чем шипит мадагаскарский таракан О чем шипит мадагаскарский таракан

Немного о популяции мадагаскарских шипящих тараканов в Москве

Наука
5 главных преимуществ HDD перед SSD 5 главных преимуществ HDD перед SSD

Почему в некоторых случаях лучше купить HDD, а не SSD?

CHIP
Что мужчинам не нравилось в женщинах почти сто лет назад Что мужчинам не нравилось в женщинах почти сто лет назад

Мужских претензий к девушкам в 1945 году набралось на целую книгу

Maxim
Над волнами – на электричестве Над волнами – на электричестве

RaceBird специально разработан для скоростных гонок

ТехИнсайдер
«Игра по правилам»: как 9 гендерных стереотипов влияют на сексуальную жизнь мужчин? «Игра по правилам»: как 9 гендерных стереотипов влияют на сексуальную жизнь мужчин?

Как социальные нормы влияют на сексуальную самооценку мужчин?

Psychologies
Другая история. Как экономист из Орска восстанавливает старинный Плес Другая история. Как экономист из Орска восстанавливает старинный Плес

Алексей Шевцов уже более четверти века занимается историческим сохранением Плеса

СНОБ
Самые умные породы кошек, которые могут удивить своим интеллектом Самые умные породы кошек, которые могут удивить своим интеллектом

Кошки — невероятно умные существа

ТехИнсайдер
Жалость: есть ли в ней хоть что-то хорошее? Жалость: есть ли в ней хоть что-то хорошее?

Жалость — очень плохое и вредное чувство?

Psychologies
Чем роботы мешают развитию человечества. И как помогут Чем роботы мешают развитию человечества. И как помогут

Помогают ли роботы устойчивому развитию?

ТехИнсайдер
Середина девяностых. Как создавались «Детки» — фильм, лишивший невинности американский кинематограф Середина девяностых. Как создавались «Детки» — фильм, лишивший невинности американский кинематограф

Как создавался и чем запомнился фильм, лишивший невинности кинематограф США

Правила жизни
30 лучших фэнтези-фильмов всех времен 30 лучших фэнтези-фильмов всех времен

Поставьте реальность на паузу и позвольте себе раствориться в фантастике

Правила жизни
Жук-плавунец: универсальный хищник и сексуальный маньяк Жук-плавунец: универсальный хищник и сексуальный маньяк

Он умеет летать по воздуху и передвигаться по суше, но все же его стихия — вода

Вокруг света
Археологи раскопали в Англии некрополь богатой англосаксонской общины Археологи раскопали в Англии некрополь богатой англосаксонской общины

Раскопанный погребальный комплекс из 138 могил датировали V–VI веками

N+1
Мертвые лошади и запрет на почесывание: самые абсурдные правила дорожного движения в Северной и Южной Америке Мертвые лошади и запрет на почесывание: самые абсурдные правила дорожного движения в Северной и Южной Америке

Иногда правила дорожного движения не имеют никакого смысла

ТехИнсайдер
Самые опасные виды туризма в России Самые опасные виды туризма в России

От чего надо держаться подальше в процессе активного отдыха?

Maxim
Любительские рации: на что они реально способны? Любительские рации: на что они реально способны?

Какие рации бывают и на что обратить внимание при выборе этого аксессуара

CHIP
Сергей Иванов: «Хотел бы назвать их друзьями» Сергей Иванов: «Хотел бы назвать их друзьями»

Тайны, оставшиеся за кадром, раскрывает известный фотограф Сергей Иванов

Караван историй
Молот для суперконтинента Молот для суперконтинента

Почему суперконтитент Пангея каждый раз раскалывался?

Наука
Режиссер Савва Савельев — о поисках лица времени и работе с друзьями Режиссер Савва Савельев — о поисках лица времени и работе с друзьями

Режиссер Савва Савельев — о петербургском хорошем тоне в отношении войны

РБК
Путин и золото: как британский миллионер судился из-за «русского следа» в Brexit Путин и золото: как британский миллионер судился из-за «русского следа» в Brexit

Как Аррон Бэнкс сколотил состояние, увлекся политикой и потратился на Brexit

Forbes
Сколько световых лет от нас до самой далекой из известных галактик? Сколько световых лет от нас до самой далекой из известных галактик?

Астрономы точно измерили расстояние до самой старой и самой дальней галактики

ТехИнсайдер
Загар и родинки Загар и родинки

В ожидании пляжного сезона любые «отметины» на теле вызывают опасения

Лиза
Появление керамики у древних жителей Латвии не сказалось на продолжительности грудного вскармливания Появление керамики у древних жителей Латвии не сказалось на продолжительности грудного вскармливания

Биоархеологи провели исследование зубов людей из могильника эпохи мезолита

N+1
Датчик коленвала: что это и как его проверить Датчик коленвала: что это и как его проверить

Как понять, что датчик коленвала захандрил и что делать в такой ситуации?

РБК
«Зарплаты невысокие, жизнь экономнее» — честный рассказ россиянина о переезде из Тюмени в Батуми «Зарплаты невысокие, жизнь экономнее» — честный рассказ россиянина о переезде из Тюмени в Батуми

Пара преодолела 3400 км и начала новую жизнь на берегу Черного моря

Вокруг света
Управлять авто, ловить мошенников и писать сценарии: на что уже сегодня способны нейросети Управлять авто, ловить мошенников и писать сценарии: на что уже сегодня способны нейросети

Нейросеть — механизм, схожий по принципу работы с мозговой деятельностью

ТехИнсайдер
Когнитивный диссонанс: как Филлис Шлэфли строила карьеру, отрицая идеи феминизма Когнитивный диссонанс: как Филлис Шлэфли строила карьеру, отрицая идеи феминизма

Американка Филлис Шлэфли была одной из самых успешных противниц феминизма

Forbes
Цифровое обогащение Цифровое обогащение

Горное дело – ровесник цивилизации. На помощь традициям приходят компьютеры и ИИ

ТехИнсайдер
Открыть в приложении