Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Аллергия начинается с микробиома Аллергия начинается с микробиома

С каждым годом растёт число людей, страдающих аллергиями. В чём причина?

Здоровье
«АвтоВАЗ» начал выпускать антикризисные Lada Granta: что известно об их комплектации «АвтоВАЗ» начал выпускать антикризисные Lada Granta: что известно об их комплектации

До конца июня «АвтоВАЗ» хочет выпустить семь тысяч обновленных Lada Granta

Maxim
Шокирующие факты из документального фильма про Дженнифер Лопес: тяжелое выступление с Шакирой на Супербоуле, сексизм и политика Шокирующие факты из документального фильма про Дженнифер Лопес: тяжелое выступление с Шакирой на Супербоуле, сексизм и политика

Как прошло выступление Дженнифер Лопес и Шакиры на Супербоуле в 2020 году

Правила жизни
Экспресс-тест: тиран ли ты? Экспресс-тест: тиран ли ты?

Сколько характерных признаков тирана ты обнаружишь у себя?

Maxim
Это все неправда! 5 главных стереотипов о женщинах, не имеющих отношения к реальности (ну, почти) Это все неправда! 5 главных стереотипов о женщинах, не имеющих отношения к реальности (ну, почти)

Пришло время развенчать главные стереотипы о женщинах

VOICE
Что в вашем моющем средстве? Что в вашем моющем средстве?

Как моющие средства влияют на здоровье и окружающую среду?

Новый очаг
Раздражение после бритья: от чего возникает и как избежать Раздражение после бритья: от чего возникает и как избежать

Раздражение после бритья — распространенная проблема

РБК
Анна Старшенбаум: «Я люблю жизнь. Мне очень многое в ней нравится» Анна Старшенбаум: «Я люблю жизнь. Мне очень многое в ней нравится»

Анну Старшенбаум называют «ангелом с детским взглядом»

Здоровье
Вышивка, музыка, путешествия: что делает Виктория Шелягова в Ивановской области Вышивка, музыка, путешествия: что делает Виктория Шелягова в Ивановской области

Зачем Виктория Шелягова купила дом в Ивановской области?

СНОБ
Одна вокруг света: новая страна и ночь в полицейском участке Одна вокруг света: новая страна и ночь в полицейском участке

172-я серия о кругосветном путешествии москвички Ирины Сидоренко: Перу

Forbes
Взгляд изнутри Взгляд изнутри

Эндоскопические исследования стали золотым стандартом в диагностике заболеваний

Здоровье
Петров крест, или о полномочиях забвения Петров крест, или о полномочиях забвения

Петров крест — это и есть трава забвения?

Наука и жизнь
Проститутки, кровь и миллионы: каково работать председателем ТСЖ Проститутки, кровь и миллионы: каково работать председателем ТСЖ

Работа с людьми — как уравнение с множеством неизвестных

Правила жизни
В четырех стенах: российские ученые проследили связь между изоляцией и ростом иммунитета В четырех стенах: российские ученые проследили связь между изоляцией и ростом иммунитета

Организмы испытуемых ответили на стресс и снижение физической активности

Вокруг света
Как снять боль, если вы обожгли язык: 8 проверенных методов Как снять боль, если вы обожгли язык: 8 проверенных методов

Обжечь язык легко, но как справиться с этой болью?

ТехИнсайдер
Как топ-менеджер медиахолдинга и дрэг-квин заработали сотни миллионов долларов на козьем молоке Как топ-менеджер медиахолдинга и дрэг-квин заработали сотни миллионов долларов на козьем молоке

«Что можно сделать из козьего молока?», — так началась история Beekman

Inc.
Борис Эйфман — о танце, Петербурге и заслуженном озарении Борис Эйфман — о танце, Петербурге и заслуженном озарении

Борис Эйфман — о том, почему из раза в раз обращается к текстам Достоевского

РБК
Революция дилетантов: как дерматолог и юрист устроили Кубинскую революцию Революция дилетантов: как дерматолог и юрист устроили Кубинскую революцию

Как маленькая компания интеллигентов изменила жизнь целой страны

Вокруг света
Черное море и горный воздух: где отдыхала российская богема в прошлом веке Черное море и горный воздух: где отдыхала российская богема в прошлом веке

Как и где отдыхала российская богема в начале XX века

Вокруг света
Одно прикосновение фанатки сломало всю ее жизнь: история актрисы Джин Тирни Одно прикосновение фанатки сломало всю ее жизнь: история актрисы Джин Тирни

Джин Тирни всего лишь одно прикосновение поклонницы принесло много страданий

VOICE
Антимиры Антимиры

Теоретически могут существовать целые антигалактики, заполненные антизвездами

ТехИнсайдер
Чилийский прадедушка: найдено самое старое живое существо на Земле, его возраст — 5484 года Чилийский прадедушка: найдено самое старое живое существо на Земле, его возраст — 5484 года

Самое старое дерево на планете

Вокруг света
Как изменить голос в Дискорде: 4 бесплатные и простые программы на любой вкус Как изменить голос в Дискорде: 4 бесплатные и простые программы на любой вкус

4 бесплатные программы, которые помогут изменить голос в Discord

CHIP
Великий музыкальный Великий музыкальный

«Эннио. Маэстро»: фильм о главном композиторе в истории кино

Weekend
В миллион раз быстрее: перевернет ли возможности интернета новый рекорд скорости В миллион раз быстрее: перевернет ли возможности интернета новый рекорд скорости

Японские ученые продемонстрировали рекордную скорость передачи данных

Forbes
Как выглядит самая уродливая собака в мире Как выглядит самая уродливая собака в мире

В Калифорнии выбрали живое воплощение понедельников

Maxim
«Поговорите открыто о своих чувствах на работе» «Поговорите открыто о своих чувствах на работе»

Александр Барсуков — о десяти способах защитить сотрудников от выгорания

РБК
Каждому ребенку по отдельной жилплощади: строим шалаш своими руками Каждому ребенку по отдельной жилплощади: строим шалаш своими руками

Сегодня мы соорудим шалаш за час, чтобы детвора заселилась в этот же день

ТехИнсайдер
Спаржа, свекла и другие овощи, которые плохо усваиваются в сыром виде Спаржа, свекла и другие овощи, которые плохо усваиваются в сыром виде

Эти продукты лучше пожарить или потушить, чтобы не навредить здоровью

Лиза
Генрих Остерман: как немецкий дуэлянт стал серым кардиналом Анны Оиоанновны Генрих Остерман: как немецкий дуэлянт стал серым кардиналом Анны Оиоанновны

Из-за какой-то драки, шестнадцатилетний студент стал первым министром России

ТехИнсайдер
Открыть в приложении