Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Губки на роструме снизили эффективность эхолокации афалин Губки на роструме снизили эффективность эхолокации афалин

Почему афалины редко охотятся с губками на роструме?

N+1
До Окси и после: как изменился русский рэп за двадцать лет До Окси и после: как изменился русский рэп за двадцать лет

Какое влияние Окси оказал на русский рэп и оказал ли

РБК
4 способа улучшить сон с помощью спорта 4 способа улучшить сон с помощью спорта

Методы, которые существенно помогают при различных аспектах нарушений сна

ТехИнсайдер
Арслан Бердиев Арслан Бердиев

Шеф-повар Арслан Бердиев — главная сенсация Петербурга

Собака.ru
Сохраняйте спокойствие Сохраняйте спокойствие

Спокойствие — мощный способ достижения успеха в жизни

kiozk originals
Подавленные переживания: 5 эмоций, которые «застревают» в нашем теле Подавленные переживания: 5 эмоций, которые «застревают» в нашем теле

Как попытка заглушить эмоции влияет на наше здоровье и внешний вид?

Psychologies
Без инстаграма не разберешься Без инстаграма не разберешься

«На близком расстоянии»: «Паразиты» по-русски

Weekend
Убила мужа, провела в тюрьме 18 лет и… счастлива: история Патриции Гуччи Убила мужа, провела в тюрьме 18 лет и… счастлива: история Патриции Гуччи

Кем была «черная вдова» семьи Гуччи

Cosmopolitan
Японские макаки оказались любителями зимней рыбалки Японские макаки оказались любителями зимней рыбалки

Японские макаки из долины Камикочи научились ловить рыбу

N+1
Спектроскопия помогла недеструктивно измерить красноту мякоти яблок Спектроскопия помогла недеструктивно измерить красноту мякоти яблок

Спектроскопия поможет повысить эффективность их сортировки

N+1
Профессиональные «болезни» предпринимателей: что это и как с ними бороться Профессиональные «болезни» предпринимателей: что это и как с ними бороться

Чего ждать от типичных «болезней предпринимателя» и можно ли от них уберечься

Inc.
Позволим себе лишнего! Позволим себе лишнего!

Иногда стоит дать себе поблажку и получить от еды чистое наслаждение

Лиза
Космический тако: космонавты съели выращенный на МКС перец чили Космический тако: космонавты съели выращенный на МКС перец чили

Космонавты съели перец чили, выращенный в космосе

Playboy
Как проверить сердце: кому и когда это нужно делать Как проверить сердце: кому и когда это нужно делать

Кому и когда пора проверять сердце

РБК
Быстрее, выше, сильнее, беспилотнее. В каком спорте соревнуются беспилотные автомобили Быстрее, выше, сильнее, беспилотнее. В каком спорте соревнуются беспилотные автомобили

Какие у беспилотников есть состязания и как выбирают победителя?

Популярная механика
Изменение океанических течений назвали основной причиной ордовикского вымирания Изменение океанических течений назвали основной причиной ордовикского вымирания

Ученые предложили новую интерпретацию первого из крупных массовых вымираний

N+1
Как сохранить Тик Ток без водяного знака: инструкция для смартфонов Как сохранить Тик Ток без водяного знака: инструкция для смартфонов

Самые простые и безопасные способы скачать видео из ТикТока без водяного знака

CHIP
Лифт для корабля: как работают судоподъёмники Лифт для корабля: как работают судоподъёмники

Как и когда люди придумали судоподъемники?

Популярная механика
От тебя я другого и не ожидала От тебя я другого и не ожидала

Родители играют очень большую роль в развитии тревоги и депрессии

Лиза
Белковое окрашивание волос: как получить стойкий и мягкий эффект от краски Белковое окрашивание волос: как получить стойкий и мягкий эффект от краски

Способ сделать процедуру окрашивания щадящей и закрепить оттенок волос

Cosmopolitan
Я подарю тебе сердце: какие органы можно напечатать на биопринтере Я подарю тебе сердце: какие органы можно напечатать на биопринтере

Что представляет собой процесс биопечати

Популярная механика
«Мы как Nascar — избавляемся от всего, что тормозит»: в США фирмы всё реже просят диплом и нанимают без собеседований «Мы как Nascar — избавляемся от всего, что тормозит»: в США фирмы всё реже просят диплом и нанимают без собеседований

Компаниям в США приходится снижать требования к новым сотрудникам

VC.RU
Удивительная история пса Боджи, который ездит в общественном транспорте Стамбула Удивительная история пса Боджи, который ездит в общественном транспорте Стамбула

Боджи — талисман стамбульского метро с удивительной жизнью

Maxim
Почему мы без ума от чипсов, а не от капусты: как возникает пищевая зависимость Почему мы без ума от чипсов, а не от капусты: как возникает пищевая зависимость

Как понять, есть ли у тебя зависимость от какой-то еды, и что с этим делать

Cosmopolitan
Релятивистские эффекты воспроизвели в электрических цепях Релятивистские эффекты воспроизвели в электрических цепях

Физики просимулировали дрожащее движение и парадокс Клейна

N+1
«Отсутствие силы воли помогло мне чего-то добиться в жизни». Интервью с ресторатором и телеведущим Дмитрием Левицким «Отсутствие силы воли помогло мне чего-то добиться в жизни». Интервью с ресторатором и телеведущим Дмитрием Левицким

Предприниматель и телеведущий рассказал о пользе лени

СНОБ
Штосс, бостон и винт: во что играли герои русской классики Штосс, бостон и винт: во что играли герои русской классики

Собрали правила популярных карточных игр и нашли примеры в русской литературе

Культура.РФ
Новые лица: лучшие российские сериалы этого года с яркими дебютантами Новые лица: лучшие российские сериалы этого года с яркими дебютантами

Новые сериалы — идеальная возможность для начинающих актёров проявить себя

Cosmopolitan
Джентльмен удачи Джентльмен удачи

Александр Цыпкин – писатель, сценарист, а с недавних пор и актер дает советы

Playboy
Тили-тили тесто: выпечка по рецептам шеф-повара Александра Семыкина Тили-тили тесто: выпечка по рецептам шеф-повара Александра Семыкина

Выпечка по рецептам шефа ресторана «Пирог мясника» покорит любого

Cosmopolitan
Открыть в приложении