Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тело Дженнифер: что Лопес делает с собой, чтобы в 53 выглядеть на 30 — уроки антистарения Тело Дженнифер: что Лопес делает с собой, чтобы в 53 выглядеть на 30 — уроки антистарения

Джей Ло годами (да что там годами — десятилетиями) живет в турбо-режиме

VOICE
Музыка на кончиках пальцев: раскрываем тайны выдающихся пианистов Музыка на кончиках пальцев: раскрываем тайны выдающихся пианистов

Раскрываем тайны выдающихся людей

Вокруг света
Три голоса пхали Три голоса пхали

В основе «Пхали», как и в традиционной грузинской музыке, – трехголосие

Вокруг света
И стала Россия империей… И стала Россия империей…

Итогом Северной войны стало перерождение России в империю

Дилетант
«Игра по правилам»: как 9 гендерных стереотипов влияют на сексуальную жизнь мужчин? «Игра по правилам»: как 9 гендерных стереотипов влияют на сексуальную жизнь мужчин?

Как социальные нормы влияют на сексуальную самооценку мужчин?

Psychologies
«Она позвала меня к себе»: Анна Седокова призналась, что ей подарила Дженнифер Лопес «Она позвала меня к себе»: Анна Седокова призналась, что ей подарила Дженнифер Лопес

Анна Седокова рассказала о личном знакомстве с голливудской иконой

VOICE
Как подготовить ребенка к школе для одаренных детей: советы родителям Как подготовить ребенка к школе для одаренных детей: советы родителям

Как отражается на психике ребенка установка быть лучшим во всем?

Psychologies
Что у Китая с Тайванем? Что у Китая с Тайванем?

Почему Китайская Народная Республика и Китайская Республика не дружат?

Maxim
Держим дистанцию Держим дистанцию

Как сохранить отношения на расстоянии

Лиза
Игорь Горьков Игорь Горьков

Генеральный директор Nexign Игорь Горьков — можно ли предсказать будущее?

Собака.ru
Подключить нельзя запретить: когда на производствах появятся «цифровые работники» Подключить нельзя запретить: когда на производствах появятся «цифровые работники»

Как оптимизировать отдельные участки, процессы и сценарии на заводе?

ТехИнсайдер
Один выпал с 9 этажа и прожил 25 лет, а другой протянул почти полвека: 10 котов-долгожителей Один выпал с 9 этажа и прожил 25 лет, а другой протянул почти полвека: 10 котов-долгожителей

Давайте вместе позавидуем котам долгожителям и возьмем с них пример

ТехИнсайдер
Колибри оказались самыми пестрыми птицами Колибри оказались самыми пестрыми птицами

Девять из десяти птиц с самой разнообразной окраской относятся к колибри

N+1
От Моники Геллер до Блэр Уолдорф: культовые кинообразы, которые повлияли на моду От Моники Геллер до Блэр Уолдорф: культовые кинообразы, которые повлияли на моду

Лучшие фэшн-хаки культовых и стильных персонажей

VOICE
Ярчайшая черная дыра во Вселенной создала два загадочных объекта, о природе которых ученые спорят до сих пор Ярчайшая черная дыра во Вселенной создала два загадочных объекта, о природе которых ученые спорят до сих пор

Астрономы обнаружили два больших загадочных объекта, вырывающихся из черной дыры

ТехИнсайдер
Как сделать бомбочку для ванны своими руками: пошаговая инструкция Как сделать бомбочку для ванны своими руками: пошаговая инструкция

Почему бы не попробовать сделать бомбочку для ванны в домашних условиях?

VOICE
Патронус, боггарт и Карта Мародеров: психологические уроки «Гарри Поттера» Патронус, боггарт и Карта Мародеров: психологические уроки «Гарри Поттера»

Почему история о «мальчике, который выжил» не перестает нас увлекать?

Psychologies
За что фантастам вручают престижную премию За что фантастам вручают престижную премию

Подборка произведений, заслуживших престижную литературную премию "Локус"

ТехИнсайдер
«Если бы ты не покупал каждый день кофе, то давно бы накопил на жильё» «Если бы ты не покупал каждый день кофе, то давно бы накопил на жильё»

Богатыми могут стать вообще все: главное — перестать тратить деньги на ненужное

VC.RU
Идеальное червивое общество. О стиле двукратного победителя Каннского кинофестиваля Рубена Эстлунда Идеальное червивое общество. О стиле двукратного победителя Каннского кинофестиваля Рубена Эстлунда

За что мировое киносообщество ценит Рубена Эстлунда

СНОБ
Взгляд изнутри Взгляд изнутри

Эндоскопические исследования стали золотым стандартом в диагностике заболеваний

Здоровье
«Я — трудоголик»: почему важно планировать отпуск «Я — трудоголик»: почему важно планировать отпуск

Как не испытывать чувство вины за положенный отпуск?

Psychologies
«После того как меня изнасиловали, отношения с мужем дали трещину» «После того как меня изнасиловали, отношения с мужем дали трещину»

Наша героиня поделилась своим травматичным опытом

Psychologies
Проклятый аксессуар: почему дочь Жаклин Кеннеди отказалась от семейной реликвии Проклятый аксессуар: почему дочь Жаклин Кеннеди отказалась от семейной реликвии

История аксессуара, который передавался в семье Жаклин Кеннеди с 1903 года

VOICE
У детей ямников из Южного Приуралья обнаружили метастатический рак и цингу У детей ямников из Южного Приуралья обнаружили метастатический рак и цингу

Ученые исследовали останки из двух погребений IV тысячелетия до нашей эры

N+1
Функциональная МРТ помогла нейросети отличить либерала от консерватора Функциональная МРТ помогла нейросети отличить либерала от консерватора

По снимкам фМРТ ученые смогли предсказать политические взгляды человека

N+1
Раздражение после бритья: от чего возникает и как избежать Раздражение после бритья: от чего возникает и как избежать

Раздражение после бритья — распространенная проблема

РБК
Максим Винарский Максим Винарский

Биолог Максим Винарский выпустил книгу о последнем общем предке всех организмов

Собака.ru
Место для всех Место для всех

Как в «Севкабеле» появился уникальный социальный проект

СНОБ
Будь в моменте. Учись радоваться жизни прямо сейчас Будь в моменте. Учись радоваться жизни прямо сейчас

Что такое синдром отложенной жизни

Лиза
Открыть в приложении