Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Краткая история мысли Краткая история мысли

Трактат по философии для подрастающего поколения

kiozk originals
Экономьте деньги и места на спасательных шлюпках: гид по выживанию для стартапов Экономьте деньги и места на спасательных шлюпках: гид по выживанию для стартапов

Что делать, чтобы пережить тяжелые времена?

Forbes
Мелочи, которые ты мог не заметить в фильме «Форрест Гамп» Мелочи, которые ты мог не заметить в фильме «Форрест Гамп»

Феноменальная любовь к деталям в фильме «Форрест Гамп»

Maxim
Как старую бочку превратить в коптильню для холодного копчения Как старую бочку превратить в коптильню для холодного копчения

Один из распространенных способов изготовления коптильни - использование бочки

ТехИнсайдер
Три корзины с недоношенными младенцами. Как начиналась неонатальная терапия Три корзины с недоношенными младенцами. Как начиналась неонатальная терапия

История инкубаторов для младенцев

ТехИнсайдер
По секрету всему свету: что такое порноместь и можно ли за нее сесть в тюрьму По секрету всему свету: что такое порноместь и можно ли за нее сесть в тюрьму

Что движет теми, кто оборачивает знаки расположения в оружие против бывшей

Maxim
Аналитики назвали самые дорогие города для проживания экспатов Аналитики назвали самые дорогие города для проживания экспатов

Самыми дорогими городами для проживания стали Гонконг, Нью-Йорк и Женева

Forbes
5 крутых возможностей вакуумного упаковщика 5 крутых возможностей вакуумного упаковщика

Мы нашли целых 5 причин купить вакууматор

CHIP
У нептичьих динозавров впервые обнаружили пупок У нептичьих динозавров впервые обнаружили пупок

У небольших растительноядных динозавров был пупок

N+1
Одной левой: Пол Маккартни и еще 9 знаменитых левшей Одной левой: Пол Маккартни и еще 9 знаменитых левшей

Занимательные факты о левшах

Вокруг света
Уходим на каникулы: 5 признаков, что вам пора в отпуск Уходим на каникулы: 5 признаков, что вам пора в отпуск

Как понять, что действительно пора в отпуск?

Psychologies
Как шариковая ручка покорила мир: история изобретения Как шариковая ручка покорила мир: история изобретения

Утром 29 октября 1945 года у дверей универмага Gimbels выстроилась очередь

ТехИнсайдер
6 великих задач, которые до сих пор не решены в гражданской авиации 6 великих задач, которые до сих пор не решены в гражданской авиации

С обычным пассажирским самолетом человек все еще разобраться до конца не может

Maxim
Трюковые самокаты: как выбрать подходящую модель Трюковые самокаты: как выбрать подходящую модель

Трюковой самокат — это особый вид, сделанный специально для выполнения трюков

ТехИнсайдер
Запасы из морозилки: какие древности находят под снегом и льдом Запасы из морозилки: какие древности находят под снегом и льдом

Вечная мерзлота скрывает останки древних растений, животных и людей

Вокруг света
Аллергия на солнце Аллергия на солнце

Солнечная аллергия: симптомы, тест на предрасположенность, лечение

Лиза
Передний привод: что это и чем отличается от заднего Передний привод: что это и чем отличается от заднего

Ни один тип привода не идеален, каков баланс основных показателей у переднего?

РБК
Как настоящая: в MIT научились выращивать мебель из искусственного дерева Как настоящая: в MIT научились выращивать мебель из искусственного дерева

Материал будет расти сразу в форме столешницы или книжной полки

Вокруг света
На отдых На отдых

Море, горы и свежая рыба: топ-7 направлений для путешествия на несколько дней

Караван историй
Черный дым из выхлопной трубы: причины и способы их устранения Черный дым из выхлопной трубы: причины и способы их устранения

О каких «заболеваниях» ДВС свидетельствует черный дым?

РБК
Новые региональные проекты, которые делают горожан счастливее Новые региональные проекты, которые делают горожан счастливее

«Сноб» поговорил с основателями частных проектов в регионах

СНОБ
10 красивых античных имен для девочки 10 красивых античных имен для девочки

Подборка оригинальных имен с историей родом из древнего мира

Вокруг света
Бывшие суперзвезды российского рынка. Что с ними теперь? Бывшие суперзвезды российского рынка. Что с ними теперь?

Как сложилась судьба самых популярных иномарок из девяностых и начала нулевых

РБК
Утро — доброе: 11 правил для хорошего начала дня Утро — доброе: 11 правил для хорошего начала дня

Лишь немногие способны спокойно собраться с утра и при этом все успеть

Psychologies
История одной вещи: клеенчатая скатерть, которая накрывала каждый советский стол История одной вещи: клеенчатая скатерть, которая накрывала каждый советский стол

Откуда на столах появилась клеенчатая скатерть и почему она была так популярна

Правила жизни
Порноместь: что делать, если вас шантажируют публикацией интимных фотографий Порноместь: что делать, если вас шантажируют публикацией интимных фотографий

«Слив» интимных материалов — не та проблема, от которой можно легко отмахнуться

Psychologies
Секретный арсенал инспекторов ГИБДД: что нужно знать Секретный арсенал инспекторов ГИБДД: что нужно знать

Миникамеры на одежде, беспилотные дроны и другие гаджеты инспекторов ДПС

РБК
Цифровые дальтоники: как видят мир люди, которые не различают цифры Цифровые дальтоники: как видят мир люди, которые не различают цифры

Тройки, семерки и девятки выглядят иначе для “цифровых дальтоников”

ТехИнсайдер
Пожиратели костей из морских глубин: кто такие оседаксы и почему их открыли лишь недавно? Пожиратели костей из морских глубин: кто такие оседаксы и почему их открыли лишь недавно?

5 фактов о жутких и странных существах

Вокруг света
И посмотреть, и почитать: 7 удачных экранизаций книг — сериалы, которые вам стоит увидеть И посмотреть, и почитать: 7 удачных экранизаций книг — сериалы, которые вам стоит увидеть

В руках талантливого режиссера некоторые книжные сюжеты получают новое прочтение

Правила жизни
Открыть в приложении