Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Коч — судно полярных мореходов XVII века. Новые данные» «Коч — судно полярных мореходов XVII века. Новые данные»

Что мы знаем о технологии судостроительства XVII?

N+1

Истории о маленьких ночных шалостях

Playboy
Революция в камне: как ученые разработали бетон, способный топить снег и лед Революция в камне: как ученые разработали бетон, способный топить снег и лед

Чудо инженерии, способное без источников питания топить лед и снег

Inc.
LinkedIn для медиков: как стартап Н1 привлек $100 млн и собрал онлайн-данные о врачах LinkedIn для медиков: как стартап Н1 привлек $100 млн и собрал онлайн-данные о врачах

Компания собрала информацию о 10 млн врачей по всему миру и заработала на этом

Forbes
«Жертвы» одного хита: как складываются судьбы музыкантов с одной популярной песней «Жертвы» одного хита: как складываются судьбы музыкантов с одной популярной песней

Psychologies вспоминает судьбы нескольких «артистов одного хита»

Psychologies
Видимо-невидимо Видимо-невидимо

Сьюки Уотерхаус примеряет украшения и выбирает, какую роль сыграть сегодня

Harper's Bazaar
Диета «Секреты Лос-Анджелеса»: худеем как звезды Голливуда Диета «Секреты Лос-Анджелеса»: худеем как звезды Голливуда

Этой диеты придерживаются голливудские звезды, чтобы быстро прийти в форму

Cosmopolitan
«Мальчики открыли ротики». Как Оксимирон спровоцировал противостояние мужчин и разозлил женщин «Мальчики открыли ротики». Как Оксимирон спровоцировал противостояние мужчин и разозлил женщин

Оксимирон выпустил трек, который окрестили сеансом психотерапии

СНОБ
«Я больше не могу»: 5 шагов в борьбе с эмоциональным выгоранием «Я больше не могу»: 5 шагов в борьбе с эмоциональным выгоранием

«Работа надоела настолько, что не могу себя заставить включить утром ноутбук»

Psychologies
Опростоволосились: 9 роковых красавиц, которых испортил блонд Опростоволосились: 9 роковых красавиц, которых испортил блонд

Звезды, решившиеся на блонд, который оказался им не к лицу

VOICE
Гетто, которого «не было» Гетто, которого «не было»

Было ли в Москве еврейское гетто?

Дилетант
Эмоции мешают думать: чему можно научиться у Майкла Корлеоне Эмоции мешают думать: чему можно научиться у Майкла Корлеоне

Чему можно научиться у мафиози Корлеоне

Правила жизни
Не знала, что ждет ребенка: 6 причин, почему женщины не замечают беременность Не знала, что ждет ребенка: 6 причин, почему женщины не замечают беременность

Почему женщины не замечают беременность и как ее можно не заметить

Cosmopolitan
Измена: взгляд с двух сторон. Если неверный партнер — вы Измена: взгляд с двух сторон. Если неверный партнер — вы

Какие чувства испытывает тот, кто изменил своему партнеру?

Psychologies
Стратостат услышал инфразвук от подземного взрыва Стратостат услышал инфразвук от подземного взрыва

Инфразвук проще засечь из стратосферы, чем с поверхности Земли

N+1
Дочери Газманова, Табакова, Крапивиной: как выглядят дебютантки бала Tatler-2021 Дочери Газманова, Табакова, Крапивиной: как выглядят дебютантки бала Tatler-2021

Посмотрим на девушек, которых скоро будет обсуждать вся страна!

Cosmopolitan
Зачем Украине нужен свой «Азовский поход» Зачем Украине нужен свой «Азовский поход»

Человеческая природа очень предсказуема

СНОБ
Ее Королевское Высочество: фильмы, сериалы и подкаст о принцессе Диане Ее Королевское Высочество: фильмы, сериалы и подкаст о принцессе Диане

Если вы не устали от Дианы Спенсер, рассказываем, какие что посмотреть о ней

Esquire
Витаминная защита Витаминная защита

За что отвечает витамин D в организме ребенка?

Здоровье
Жена, лидер, убийца: как Патриция Реджани покорила дом Gucci, а потом потеряла все Жена, лидер, убийца: как Патриция Реджани покорила дом Gucci, а потом потеряла все

Реальная история преступления, освещенного в «Доме Gucci»

Forbes
3 упражнения для любви к себе 3 упражнения для любви к себе

Принятие себя делает нас счастливее, но требует большой внутренней работы

Psychologies
Интернет-портрет Интернет-портрет

О чем говорит наше поведение в социальных сетях

Лиза
Горящая земля и деревня под водой: 7 мест на планете, куда бы вы не захотели отправиться Горящая земля и деревня под водой: 7 мест на планете, куда бы вы не захотели отправиться

Пожар под землей и опасные отходы: в этих городах вы точно не пожелаете побывать

Playboy
Повесть о Настоящем Адвокате Повесть о Настоящем Адвокате

Адвокат Семён Ария и дело об убийстве супруг Раскиных

Дилетант
Почему мы так любим проходить тесты? Почему мы так любим проходить тесты?

Хочешь пройти всего один тест из интернета, но понимаешь, что прошло уже полдня?

Psychologies
Поедем на водороде Поедем на водороде

Наиболее эффективен для нас электрический транспорт на водородных элементах

Эксперт
Куда уходят наши налоги Куда уходят наши налоги

Что скрывается за словом «федерация» и как это сказывается на налоговой системе

СНОБ
Российские физики обобщили адиабатическую теорему на случай ненулевой температуры Российские физики обобщили адиабатическую теорему на случай ненулевой температуры

Адиабатические системы работают лучше в случаях ненулевой температуры

N+1
Том Хоппер: «Из спортзала я выхожу счастливым» Том Хоппер: «Из спортзала я выхожу счастливым»

Том Хоппер рассказал нам, как его успокаивает штанга, и поделился рецептом пиццы

Cosmopolitan
Синдром менеджера: что это такое и как его предотвратить Синдром менеджера: что это такое и как его предотвратить

Как проявляется синдром менеджера и можно ли его избежать?

Psychologies
Открыть в приложении