Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Шерсть дыбом: Медведи-взломщики, макаки-мародеры и другие преступники дикой природы» «Шерсть дыбом: Медведи-взломщики, макаки-мародеры и другие преступники дикой природы»

Зачем орнитологи взрывали птиц динамитом

N+1
Каково это — жить с прозопагнозией (неспособностью распознавать лица) Каково это — жить с прозопагнозией (неспособностью распознавать лица)

Невролог Оливер Сакс рассказывает о прозопагнозии

Esquire
Между прошлым и будущим: 5 научных теорий о путешествиях во времени Между прошлым и будущим: 5 научных теорий о путешествиях во времени

Несколько научных гипотез о том, как перенестись в «прекрасное далеко»

ТехИнсайдер
10 способов ускорить утренние сборы на работу 10 способов ускорить утренние сборы на работу

Можно ли оптимизировать процесс сбора на работу?

Psychologies
7 законов психологии, которые изменят твою жизнь: что о них нужно знать и как ими пользоваться 7 законов психологии, которые изменят твою жизнь: что о них нужно знать и как ими пользоваться

Что такое законы психологии и как правильно их применять

VOICE
«Разбогатеть нам мешают внутренние демоны» «Разбогатеть нам мешают внутренние демоны»

Говорим с коучем о новой валюте – энергии

Psychologies
Сколько свободного времени нам нужно для счастья Сколько свободного времени нам нужно для счастья

Какое оптимальное количество свободного времени в сутках?

Psychologies
Сьюки-любовь Сьюки-любовь

Сьюки Уотерхаус рассказала о том, как начала просто петь

Harper's Bazaar
Семь советов, чтобы похудеть к Новому году Семь советов, чтобы похудеть к Новому году

Как легко похудеть на 5-6 килограмм?

Здоровье
Было, но не прошло: может ли бывший муж стать верным другом? Было, но не прошло: может ли бывший муж стать верным другом?

Если друг оказался вдруг... бывшим мужем, значит, у тебя все прекрасно!

Cosmopolitan
Мадонна, Деми Мур, Шер: как старели бы звезды без пластической хирургии Мадонна, Деми Мур, Шер: как старели бы звезды без пластической хирургии

Как выглядели бы звезды, если бы предпочли держаться подальше от хирургов

Cosmopolitan
Жизнь после CEO: уйти, чтобы остаться Жизнь после CEO: уйти, чтобы остаться

Иногда уйти — это лучший способ остаться

Inc.
Жена, лидер, убийца: как Патриция Реджани покорила дом Gucci, а потом потеряла все Жена, лидер, убийца: как Патриция Реджани покорила дом Gucci, а потом потеряла все

Реальная история преступления, освещенного в «Доме Gucci»

Forbes
Экстремальная гелиевая звезда оказалась необычной богатой гелием звездой Экстремальная гелиевая звезда оказалась необычной богатой гелием звездой

Астрономы переопределили свойства звезды HD 144941

N+1
Лайфхаки для туриста: как увезти из путешествия красивые фото Лайфхаки для туриста: как увезти из путешествия красивые фото

Есть «сувениры», любовь к которым объединяет почти всех туристов, – фотографии

Популярная механика
Он не Илон: как младший брат основателя Tesla скопил состояние в $700 млн Он не Илон: как младший брат основателя Tesla скопил состояние в $700 млн

Илон Маск — не единственный из Масков, разбогатевший благодаря инвестициям

Forbes
Как утопия ушла в монастырь Как утопия ушла в монастырь

Проект Григория Ревзина «Оправдание утопии». Санкт-галленский план

Weekend
Мой ласковый и нежный сталкер: история женщины, для которой преследователь стал единственным родным человеком Мой ласковый и нежный сталкер: история женщины, для которой преследователь стал единственным родным человеком

Историю девушки, которая искала смысл жизни, а нашла телефонного маньяка

Esquire
Лучшие саундтрек-альбомы к известным фильмам Лучшие саундтрек-альбомы к известным фильмам

Удачный саундтрек – одна из составляющих успеха фильма

GQ
Кадры будущего Кадры будущего

Как новые технологии изменят рынок HR до 2030 года

РБК
Эксперт института дизайна Стэнфорда назвал три упражнения, чтобы повысить свою креативность Эксперт института дизайна Стэнфорда назвал три упражнения, чтобы повысить свою креативность

Креативность как мускул — чем больше его напрягать, тем больше он укрепляется

Inc.
Измена: взгляд с двух сторон. Если изменили вам Измена: взгляд с двух сторон. Если изменили вам

Измена — это «симптом» отношений, а в отношениях всегда участвуют две стороны

Psychologies
Режиссер года: Кира Коваленко Режиссер года: Кира Коваленко

Кинокритик объясняет, почему фильм «Разжимая кулаки» вызвал такой ажиотаж

Glamour
Как связаны между собой спорт и психосоматика? Как связаны между собой спорт и психосоматика?

Как разобраться со своими проблемами, занимаясь спортом

Cosmopolitan
Батут в гримерке и еще 5 интересных фактов о Дэнни Де Вито Батут в гримерке и еще 5 интересных фактов о Дэнни Де Вито

Дэнни Де Вито несмотря на маленькой рост смог стать всемирным любимцем

Maxim
Презервативы-унисекс: что это такое, как они работают и кому подойдут Презервативы-унисекс: что это такое, как они работают и кому подойдут

Стартап Wondaleaf Uni Condom занимается производством презервативов унисекс

Cosmopolitan
Одна вокруг света: красное море и вездесущие велосипедисты Одна вокруг света: красное море и вездесущие велосипедисты

Красное море в Латинской Америке и неожиданные препятствия

Forbes
«Хотим быть как она». Двойники Адель повально начали худеть «Хотим быть как она». Двойники Адель повально начали худеть

Трибюьт-актрисы начали избавляться от веса, чтобы сохранить сходство с Адель

Cosmopolitan
Почему курага не хуже абрикоса и чем она полезна Почему курага не хуже абрикоса и чем она полезна

Курага отлично дополняет разные блюда и подходит для полезного перекуса

РБК
Быть Стрельцом — это… 10 вещей, которые поймет только этот знак Быть Стрельцом — это… 10 вещей, которые поймет только этот знак

Поскольку сейчас на дворе сезон Стрельцов, поговорим именно о них

Cosmopolitan
Открыть в приложении