Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Хрупкий балтийский берег Хрупкий балтийский берег

Как жители Балтики отвоевывают у моря родные берега

Вокруг света
Алексей Баталов говорил слово «люблю» только одному человеку Алексей Баталов говорил слово «люблю» только одному человеку

За девять лет нашей дружбы Алексей Владимирович дал мне порядка десяти интервью

Караван историй
Что нельзя говорить инспектору ГИБДД: откровения полицейских Что нельзя говорить инспектору ГИБДД: откровения полицейских

Инспекторы ГИБДД объяснили, как водителям быстрее пройти проверку

РБК
Насильное лечение и вера в светлое будущее: 7 главных ошибок семьи алкоголика Насильное лечение и вера в светлое будущее: 7 главных ошибок семьи алкоголика

Что не нужно делать, если ваш близкий человек заболел алкоголизмом?

Psychologies
Как устройство личности влияет на нашу судьбу Как устройство личности влияет на нашу судьбу

Хотите достичь успеха — определите свое место на социальной «карте»

Psychologies
Самые ревнивые звездные девушки Голливуда: Джоли, Кардашьян, Кунис и другие Самые ревнивые звездные девушки Голливуда: Джоли, Кардашьян, Кунис и другие

Иногда ревность становится настоящей проблемой для звездных влюбленных пар

VOICE
5 городов, которые на самом деле сводят с ума: все об опасных для психики «синдромах путешественника» 5 городов, которые на самом деле сводят с ума: все об опасных для психики «синдромах путешественника»

Какие опасности поджидают туристов в Иерусалиме, Париже и Венеции?

Вокруг света
Зверь из Хвасона: почему самый опасный маньяк Южной Кореи избежал наказания Зверь из Хвасона: почему самый опасный маньяк Южной Кореи избежал наказания

Иногда преступникам удается уйти от правосудия очень странными путями

VOICE
Сергей Филонович: «Живем как в песне — скорей бы утро, и снова на работу» Сергей Филонович: «Живем как в песне — скорей бы утро, и снова на работу»

Почему избыточный трудоголизм грозит выгоранием сотрудникам и руководителям?

РБК
Самые любимые настольные игры в СССР Самые любимые настольные игры в СССР

Иногда советским гражданам требовалось оторваться от шахмат и домино

Maxim
Гендер нашего времени Гендер нашего времени

«Род мужской»: хоррор Алекса Гарленда о коллизии полов

Weekend
Небоскреб для избранных Небоскреб для избранных

Уже с момента застройки этот дом считался самым престижным в столице

Караван историй
Исследование: половое воспитание помогает детям избежать насилия и получить помощь Исследование: половое воспитание помогает детям избежать насилия и получить помощь

Знания о сексуальном здоровье помогают избегать опасных ситуаций

Forbes
«Синдром Отелло»: как отличить обычную ревность от болезни «Синдром Отелло»: как отличить обычную ревность от болезни

Шекспир не зря называл ревность «зеленоглазым монстром»

VOICE
Полвека с Дали: кем была Гала Градива, муза великого художника Полвека с Дали: кем была Гала Градива, муза великого художника

Вечная спутница «безумца» Дали — Елена Дьяконова

Вокруг света
Александра Ребенок: «Хотелось бросить самой себе вызов, сделать то, чего никогда не делала» Александра Ребенок: «Хотелось бросить самой себе вызов, сделать то, чего никогда не делала»

Долгое время моя нестандартность казалась мне главным недостатком

Караван историй
Ее лучшая версия: неоправданные ожидания общества от женщин в трагикомедии «Клон» Ее лучшая версия: неоправданные ожидания общества от женщин в трагикомедии «Клон»

Станет ли мир счастливее, если заменить несовершенных нас идеальными двойниками?

Forbes
Вне политики, выше споров, без комментариев: Елизавета II отмечает 70 лет на престоле Вне политики, выше споров, без комментариев: Елизавета II отмечает 70 лет на престоле

Как британская королева сохранила статус живой легенды?

Forbes
«Я хочу принести пользу своему народу»: как живут индейцы Сери в Мексике «Я хочу принести пользу своему народу»: как живут индейцы Сери в Мексике

Жизнь племени Сери неразрывно связана с его традициями

Вокруг света
Больше чем учитель: кто такой ментор и зачем он нужен ребенку Больше чем учитель: кто такой ментор и зачем он нужен ребенку

Зачем нужен менторинг нашим детям?

Psychologies
У меня в глазу спектрометр: инструкция по разложению света невооруженным взглядом. У меня в глазу спектрометр: инструкция по разложению света невооруженным взглядом.

Мы все носим с собой спектрометры

N+1
Вспоминаем хорошие книги: 5 громких новинок научной фантастики 2018 года Вспоминаем хорошие книги: 5 громких новинок научной фантастики 2018 года

Романы, которые позволят взглянуть на фантастические варианты будущего

ТехИнсайдер
Как забыть прошлое и жить настоящим: советы психолога Как забыть прошлое и жить настоящим: советы психолога

Как отпустить прошлое и начать жить настоящим?

Psychologies
Изотопы азота указали на высокое положение мегалодона в цепи питания Изотопы азота указали на высокое положение мегалодона в цепи питания

Трофический уровень мегалодона был выше, чем у любых других акул

N+1
Ваша честь! С помощью этого фэшн-трюка адвокат Деппа влюбила в себя весь мир Ваша честь! С помощью этого фэшн-трюка адвокат Деппа влюбила в себя весь мир

Разбирательство между Деппом и Херд запомнится нам надолго

VOICE
8 ошибок при выборе ноутбука, которые мы делаем особенно часто 8 ошибок при выборе ноутбука, которые мы делаем особенно часто

Почему не стоит гнаться за дискретными видеокартами и алюминиевыми корпусами?

CHIP
Как Максим Как Максим

После событий в Беслане фотография "Русского танка" обошла весь мир

ТехИнсайдер
У одного из крупнейших золотодобытчиков России большие проблемы: что делать инвестору У одного из крупнейших золотодобытчиков России большие проблемы: что делать инвестору

Что будет с золотодобытчиком Petropavlovsk и что делать инвесторам?

Forbes
5 биографий музыкантов, которые стоит прочесть 5 биографий музыкантов, которые стоит прочесть

Самая полная биография Цоя и еще четыре интересные книги о великих музыкантах

СНОБ
Как преуспеть в учебе: 3 совета нобелевского лауреата Как преуспеть в учебе: 3 совета нобелевского лауреата

Рассказываем о методике нобелевского лауреата, которая облегчает обучение

Psychologies
Открыть в приложении