Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Отрывок из книги Александра Староверова «То, что вы хотели» Отрывок из книги Александра Староверова «То, что вы хотели»

Отрывок из злободневного романа «То, что вы хотели»

СНОБ
Недалеко от Рима нашли останки древнейшей курицы Италии Недалеко от Рима нашли останки древнейшей курицы Италии

Палеозоологи нашли фрагменты птичьих костей X– IX века до нашей эры

N+1
Как галактики превращаются в ярчайшие квазары: загадка, о которой спорят до сих пор Как галактики превращаются в ярчайшие квазары: загадка, о которой спорят до сих пор

Что-то странное происходит во Вселенной

ТехИнсайдер
Дом в Лас-Вегасе, конопляная Мекка и танцы в костюме пчелы: как сейчас живет Майк Тайсон Дом в Лас-Вегасе, конопляная Мекка и танцы в костюме пчелы: как сейчас живет Майк Тайсон

Как поживает «самый плохой человек на планете» Майк Тайсон

Maxim
5 самых скандальных фото-фейков в истории 5 самых скандальных фото-фейков в истории

Самые скандальные фото-фейки из тех, что известны на сегодня

ТехИнсайдер
Культовые автомобили стран соцлагеря Культовые автомобили стран соцлагеря

Достижения социалистической автомобильной промышленности

Maxim
Навыки выживания: что делать, если вы заблудились в лесу Навыки выживания: что делать, если вы заблудились в лесу

Советы эксперта, которые могут спасти вам жизнь

Вокруг света
Самая обаятельная и привлекательная Самая обаятельная и привлекательная

Женщины о том, как перестали стесняться лишнего веса

Лиза
Что читать летом: 10 новых книг о том, как мы живем сегодня Что читать летом: 10 новых книг о том, как мы живем сегодня

Книги, которые помогут объяснить сегодняшний день или найти в нем свое место

Правила жизни
Драконы смерти: в Аргентине раскопали нетронутый скелет ящера с размахом крыльев 9 метров Драконы смерти: в Аргентине раскопали нетронутый скелет ящера с размахом крыльев 9 метров

Это крупнейший из птерозавров, когда-либо найденных в Южной Америке

Вокруг света
Колеса для отпуска: где выгодно арендовать автомобиль на неделю-две Колеса для отпуска: где выгодно арендовать автомобиль на неделю-две

Задумавшись об автомобиле на отпуск, сперва мы вспомнили про сервис подписки

Maxim
Водное отбеливание: это щадящее летнее окрашивание покорило всех модниц ТикТока — попробуй его! Водное отбеливание: это щадящее летнее окрашивание покорило всех модниц ТикТока — попробуй его!

Модницы сошли с ума по необычной технике окрашивания!

VOICE
24-летняя индианка женится на самой себе: зачем люди «узаконивают» одиночество? 24-летняя индианка женится на самой себе: зачем люди «узаконивают» одиночество?

В вашей жизни у вас главная роль

Psychologies
На курьих ножках и у чёрта в решете: как строили деревянные дома на Руси На курьих ножках и у чёрта в решете: как строили деревянные дома на Руси

Одним из самых уважаемых занятий в прошлом считалось плотницкое дело

Вокруг света
Завтрак за ноутбуком Завтрак за ноутбуком

Привычки, которые портят домашнюю технику

Лиза
«Золотой век» букашек: какими были крупнейшие насекомые доисторической эпохи «Золотой век» букашек: какими были крупнейшие насекомые доисторической эпохи

Если бы насекомые создали свою мифологию, в ней поминалась бы эпоха титанов

Вокруг света
Сын стал дочерью, в любви полный штиль: трагедия и одиночество богатейшего человека Земли Илона Маска Сын стал дочерью, в любви полный штиль: трагедия и одиночество богатейшего человека Земли Илона Маска

За званием самого богатого человека в мире скрывается много проблем

VOICE
«Человеку нужен человек»: как режиссер Купер Рэфф переворачивает каноны жанра драмеди «Человеку нужен человек»: как режиссер Купер Рэфф переворачивает каноны жанра драмеди

Драма «В ритме ча-ча-ча» — второй полнометражный фильм Купера Рэффа

Forbes
Главный враг осетров – это не плотины, а браконьеры: немного интересных фактов про черную икру Главный враг осетров – это не плотины, а браконьеры: немного интересных фактов про черную икру

Покупая черную икру у официальных продавцов, вы не наносите ущерба осетрам

ТехИнсайдер
Грузовые корабли, ракеты и танки: 10 неожиданных вещей, созданных автомобильными брендами Грузовые корабли, ракеты и танки: 10 неожиданных вещей, созданных автомобильными брендами

Десять примеров неожиданной продукции от мастеров автопрома

ТехИнсайдер
Астрономы усомнились в природе кандидата в «блуждающую» черную дыру звездной массы Астрономы усомнились в природе кандидата в «блуждающую» черную дыру звездной массы

Первый случай обнаружения объекта с помощью астрометрического микролинзирования

N+1
«Медперсонал шептался, что я нечистая»: три истории о жизни с ВИЧ в России «Медперсонал шептался, что я нечистая»: три истории о жизни с ВИЧ в России

Страх, отрицание и принятие: несколько историй людей, живущих с ВИЧ

Psychologies
Оба нано: история двух создателей батарей для электрокаров — с началом в одно время и очень разными концами Оба нано: история двух создателей батарей для электрокаров — с началом в одно время и очень разными концами

Два проекта запустились в один год, в одной и той же сфере — кто будет успешнее

VC.RU
Дела семейные Дела семейные

Наши герои, которые не побоялись построить бизнес с близкими

Seasons of life
Джулиан Барнс: «Элизабет Финч». Отрывок из философского романа классика английской литературы Джулиан Барнс: «Элизабет Финч». Отрывок из философского романа классика английской литературы

Фрагмент из философского трактата обо всем на свете Джулиана Барнса

СНОБ
Хофманнита Хофманнита

Рэперка Хофманнита перестала быть мемом и превратилась в серьезную артистку

Собака.ru
8 загадочных фактов про Тунгусский метеорит 8 загадочных фактов про Тунгусский метеорит

Тунгусский метеорит оставил после себя множество загадок

Maxim
Клады железного века указали на проблемы финикийцев из-за падения Ассирии Клады железного века указали на проблемы финикийцев из-за падения Ассирии

Ученые определили происхождение серебра в кладах времен позднего железного века

N+1
«Чучело» в 2022 году: 3 причины посмотреть «Невидимый мир» «Чучело» в 2022 году: 3 причины посмотреть «Невидимый мир»

Чем примечателен «Невидимый мир» Лауры Вандель?

Psychologies
Диета при панкреатите: что можно и нельзя есть. Советы экспертов Диета при панкреатите: что можно и нельзя есть. Советы экспертов

Какие ограничения панкреатит накладывает на привычный рацион?

РБК
Открыть в приложении