Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ионный кубит заставили работать по циклу Стирлинга Ионный кубит заставили работать по циклу Стирлинга

Намеренная дефазировка увеличила КПД квантового двигателя на два процента

N+1
Глава Meta в Центральной Европе — Forbes: «В метавселенной у всех будут равные шансы» Глава Meta в Центральной Европе — Forbes: «В метавселенной у всех будут равные шансы»

Вице-президент Meta — о роли Цукерберга в создании метавселенной

Forbes
Быстрее, выше, дешевле: как Маск и Безос делят космос Быстрее, выше, дешевле: как Маск и Безос делят космос

Илон Маск против Джеффа Безоса: кто успешнее осваивает космос?

Forbes
«Мы виделись четыре раза за два года». Женщина раскрыла секрет удачного брака «Мы виделись четыре раза за два года». Женщина раскрыла секрет удачного брака

Именно расстояние делает брак наших героев крепким и счастливым

Cosmopolitan
8 доказательств того, что вы неправильно моете посуду: самые распространенные ошибки 8 доказательств того, что вы неправильно моете посуду: самые распространенные ошибки

Эти ошибки при мытье посуды влияют непосредственно на ваше здоровье!

ТехИнсайдер
О чем вам говорит ваш гнев О чем вам говорит ваш гнев

Гнев может быть полезным, если мы научимся понимать, о чем он говорит

Psychologies
Серотонин: что важно знать о «гормоне счастья» Серотонин: что важно знать о «гормоне счастья»

Что представляет собой один из важнейших гормонов, отвечающих за наше здоровье?

РБК
Опрично-земские порядки в российской истории Опрично-земские порядки в российской истории

В чем причины и содержание очередного поражения русской демократии

Дилетант
Мистическая Москва: 5 самых таинственных и пугающих легенд о столице Мистическая Москва: 5 самых таинственных и пугающих легенд о столице

Пугающие истории Москвы

Playboy
Вокалиста Therr Maitz Виктория Жук: «Есть планы записать сольный сборник» Вокалиста Therr Maitz Виктория Жук: «Есть планы записать сольный сборник»

Виктория ЖУк — как создаются новые аранжировки для популярных треков

Cosmopolitan
Кислотность среды повлияла на дисперсность сополимеров Кислотность среды повлияла на дисперсность сополимеров

Дисперсность целевого полимера уменьшается при добавлении кислоты

N+1
Четырехногая змея оказалась ящерицей Четырехногая змея оказалась ящерицей

Раннемеловой рептилии отказали в статусе переходного звена

N+1
Физики сплошных сред хватило для моделирования аккреционного диска черной дыры Физики сплошных сред хватило для моделирования аккреционного диска черной дыры

Теория физики сплошных сред применима в сверхсильных гравитационных полях

N+1
15 отличных южнокорейских сериалов, которые нужно смотреть 15 отличных южнокорейских сериалов, которые нужно смотреть

Южнокорейские дорамы, которые не уступают знаменитым сериалам

Esquire
Звезда нашего периода Звезда нашего периода

Узнаем у Ренаты Литвиновой, почему она считает бриллианты своими оберегами

Glamour
«Ребенку, а не ей»: что не так с предложением контролировать расход алиментов «Ребенку, а не ей»: что не так с предложением контролировать расход алиментов

Почему идея контроля алиментов придумана совсем не для блага детей?

Cosmopolitan
Орангутаны отличились индивидуальным и меняющимся со временем стилем рисования Орангутаны отличились индивидуальным и меняющимся со временем стилем рисования

Приматы могут обладать стилем рисования, который эволюционирует в течение жизни

N+1
Стены без окон и другие хитрости: как магазины заставляют нас тратить деньги Стены без окон и другие хитрости: как магазины заставляют нас тратить деньги

Как нас заставляют терять контроль и покупать то, что нам не нужно?

Psychologies
Сбавить обороты: 8 способов справиться со своей раздражительностью без вреда для себя и партнера Сбавить обороты: 8 способов справиться со своей раздражительностью без вреда для себя и партнера

Даже в счастливых браках супругам бывает непросто сдержать свое негодование

Лиза
«Мужчины меня боятся, а женщины ненавидят». Девушку хейтят за привлекательность «Мужчины меня боятся, а женщины ненавидят». Девушку хейтят за привлекательность

Вероника Райек столкнулась с травлей в сети из-за своей … красоты

Cosmopolitan
Best of the Best Best of the Best

Вспоминаем лучших из лучших — номинантов на премию GQ Men of the Year

GQ
Тайна хрущёвок: зачем в старых квартирах делали окно между кухней и ванной? Тайна хрущёвок: зачем в старых квартирах делали окно между кухней и ванной?

Правда и мифы о том, зачем в квартирах делали окно между кухней и ванной

Cosmopolitan
Он - великан, а она - карлица: фильмы о необычных историях любви Он - великан, а она - карлица: фильмы о необычных историях любви

Все различия не имеют значения, когда речь заходит о любви

Cosmopolitan
Ученые нашли в изумруде новое состояние воды Ученые нашли в изумруде новое состояние воды

Физики обнаружили в каналах кристаллов берилла новое состояние воды

Популярная механика
Музей вошел в моду Музей вошел в моду

Как менялся подход к выставкам моды

Weekend
Александра Черкасова-Служитель о Павле Прилучном, новом фильме и буллинге Александра Черкасова-Служитель о Павле Прилучном, новом фильме и буллинге

Интервью с Александрой Черкасовой-Служитель

Cosmopolitan
Самая быстрая Lada в мире: сколько стоит, как едет и из чего сделана Самая быстрая Lada в мире: сколько стоит, как едет и из чего сделана

Спортивная Lada Vesta, которая выступает в классе «туринг» в гонках

Maxim
В Афганистане запретили фильмы и сериалы с участием женщин — к чему это приведет В Афганистане запретили фильмы и сериалы с участием женщин — к чему это приведет

Власти Афганистана запретили к показу фильмы и сериалы с участием женщин

Cosmopolitan
Женщина года: бремя первых Женщина года: бремя первых

Что будет, если в одной комнате окажутся сразу две женщины года?

Glamour
Перейти на зеленый. Стать вегетарианцем и не навредить своему здоровью Перейти на зеленый. Стать вегетарианцем и не навредить своему здоровью

Как правильно перейти на вегетарианство?

Лиза
Открыть в приложении