Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мухи-журчалки начали точно подражать осам уже 33 миллиона лет назад Мухи-журчалки начали точно подражать осам уже 33 миллиона лет назад

Ученые обнаружили ископаемую муху-журчалку, которая подражала окраске ос

N+1
Я подарю тебе сердце: какие органы можно напечатать на биопринтере Я подарю тебе сердце: какие органы можно напечатать на биопринтере

Что представляет собой процесс биопечати

Популярная механика
Между прошлым и будущим: 5 научных теорий о путешествиях во времени Между прошлым и будущим: 5 научных теорий о путешествиях во времени

Несколько научных гипотез о том, как перенестись в «прекрасное далеко»

ТехИнсайдер
«Больше хоббитов, хороших и разных». Отрывок из книги об эволюции человека «Больше хоббитов, хороших и разных». Отрывок из книги об эволюции человека

Отрывок из книги «Эволюция человека. Кости, гены и культура»

СНОБ
Дискуссия о формате: почему российской рознице нужны единые стандарты регулирования Дискуссия о формате: почему российской рознице нужны единые стандарты регулирования

Государство хочет установить правила регулирования работы маркетплейсов

Forbes
Есть ли дружба во френдзоне Есть ли дружба во френдзоне

Дружба между мужчиной и женщиной — это обязательно намек на секс?

СНОБ
Физики проследили за распространением мощного лазерного луча в воде Физики проследили за распространением мощного лазерного луча в воде

Физики исследовали распространение мощного лазерного излучения через воду

N+1
Каких героев «Великолепного века» не существовало на самом деле? Каких героев «Великолепного века» не существовало на самом деле?

Сценаристы «Великолепного века» выдумали нескольких персонажей

Cosmopolitan
Нет неправильных эмоций: как поддержать человека, у которого рак Нет неправильных эмоций: как поддержать человека, у которого рак

С какими эмоциями сталкивается онкобольной и как его поддержать?

Cosmopolitan
Ностальгия по постапокалипсису Ностальгия по постапокалипсису

«Финч» — сентиментальная ода американскому сай-фаю XX века

Weekend
Отвечают головой Отвечают головой

Ruslan Baginskiy – один из самых узнаваемых в мире украинских брендов

Harper's Bazaar
Ляйсан Утяшева: «Я обожаю эксперименты!» Ляйсан Утяшева: «Я обожаю эксперименты!»

Ляйсан Утяшева — о счастливого браке и любви к разным творческим форматам

Cosmopolitan
От корки до корки: 11 книг на длинные выходные От корки до корки: 11 книг на длинные выходные

11 свежих книг — от истории до современной прозы

Esquire
Палеогенетики впервые извлекли человеческую ДНК из кальцита Палеогенетики впервые извлекли человеческую ДНК из кальцита

Палеогенетикам впервые удалось выделить древнюю ДНК человека из кальцита

N+1
Удивительная история ездовых собак в СССР Удивительная история ездовых собак в СССР

Собаки на Крайнем севере были сторожем, проводником в другой мир и транспортом

Maxim
Suzuki Vitara: кроссовер, на который подсаживаешься Suzuki Vitara: кроссовер, на который подсаживаешься

Оказавшись за рулем Suzuki Vitara, не захочешь с ним расставаться

Maxim
Палеоантропологи нашли окаменевшую поясницу австралопитека седиба Палеоантропологи нашли окаменевшую поясницу австралопитека седиба

Палеоантропологи обнаружили пять окаменевших поясничных позвонков австралопитека

N+1
Как понять, что ваш босс — нарцисс Как понять, что ваш босс — нарцисс

Как распознать нарцисса в компании?

Psychologies
Команда года: Алиса Гладченко и Екатерина Шиляева Команда года: Алиса Гладченко и Екатерина Шиляева

Две российские школьницы, ставшие лучшими на мировой олимпиаде по информатике

Glamour
Как открыть бизнес с родственниками и не разрушить семью Как открыть бизнес с родственниками и не разрушить семью

Семейный бизнес — отличная идея или полный провал?

GQ
Майнинг: что это, как работает и для чего используется Майнинг: что это, как работает и для чего используется

основные принципы майнинга, что это такое и как все работает

CHIP
Как мы воспринимаем время: то оно тянется, то несётся Как мы воспринимаем время: то оно тянется, то несётся

Что такое чувство времени?

Популярная механика
Физики экспериментально обнаружили паулевскую блокировку светорассеяния Физики экспериментально обнаружили паулевскую блокировку светорассеяния

Эффект паулевской блокировки светорассеяния искали 30 лет

N+1
Физики напрямую увидели сигма-дырку на поверхности атома брома Физики напрямую увидели сигма-дырку на поверхности атома брома

Первое в мире прямое подтверждение анизотропии заряда в галогенах

N+1
Зачем на каждый Новый год наряжают ёлку? Зачем на каждый Новый год наряжают ёлку?

Откуда взялась мода украшать на Новый Год и Рождество хвойные деревья

Cosmopolitan
Материалы корпуса ноутбука: какой лучше выбрать Материалы корпуса ноутбука: какой лучше выбрать

Из каких вообще материалов производят ноутбуки и как выбрать подходящий?

Популярная механика
Кто такая Анна Сорокина: русская лжемиллионерша, обманувшая американскую элиту Кто такая Анна Сорокина: русская лжемиллионерша, обманувшая американскую элиту

В основу сериала легла реальная история русской мошенницы Анны Сорокиной

Cosmopolitan
Невероятное будущее: футуролог о том, как изменится наша жизнь через 15 лет Невероятное будущее: футуролог о том, как изменится наша жизнь через 15 лет

Наши родители бы сказали, что это невозможно

Playboy
Кто такая Екатерина Вельмакина? Смотрим фото победительницы конкурса «Краса России — 2021» Кто такая Екатерина Вельмакина? Смотрим фото победительницы конкурса «Краса России — 2021»

Мы не дадим тебе пропускать конкурсы женской красоты

Maxim
Пигментация кожи: как избавиться от темных пятен Пигментация кожи: как избавиться от темных пятен

С чем связано появление темных участков кожи, как предотвратить этот процесс?

РБК
Открыть в приложении