Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 рекомендаций, которые помогут контролировать уровень сахара в крови 8 рекомендаций, которые помогут контролировать уровень сахара в крови

Если вы заботитесь о своем здоровье, важно контролировать уровень сахара в крови

Популярная механика
«К черту мое лицо». Кто делает маски Канье Уэсту и зачем он их носит «К черту мое лицо». Кто делает маски Канье Уэсту и зачем он их носит

Рассказываем о других фантасмагорических головных уборах Канье Уэсту

РБК
Old but gold: как и почему растет рынок технологий для пожилых людей Old but gold: как и почему растет рынок технологий для пожилых людей

Продукты и услуги для старшего поколения — глобальный тренд

Forbes
Ретроспектива Нобелевской премии по литературе: какие страны отмечали в формулировках Ретроспектива Нобелевской премии по литературе: какие страны отмечали в формулировках

Лауреаты каких стран награждались за вклад в национальную литературу

Популярная механика
«Никто не может нас обидеть, кроме нас самих»: почему это неправда «Никто не может нас обидеть, кроме нас самих»: почему это неправда

Почему нельзя игнорировать обиду?

Psychologies
«Беременная жена гонит меня ночью за мороженым. Это манипуляция?» «Беременная жена гонит меня ночью за мороженым. Это манипуляция?»

Что делать, если беременная жена просит мороженое в 3 часа ночи?

Psychologies
Импринтинг, или Запечатление. Как устроены воспоминания у детей и целой нации Импринтинг, или Запечатление. Как устроены воспоминания у детей и целой нации

Яркие впечатления детства порой определяют наши вкусы и даже поведение

СНОБ
Переходим все границы Переходим все границы

Кризис наступает, если один человек хочет перемен, а второй тянет время

Cosmopolitan
Шпион, выйди вон! Шпион, выйди вон!

Не проходит и дня, чтобы мы не зашли на страницу бывшего...

Psychologies
«Места, пропитанные ненавистью, лишь плодят ненависть». Отрывок из книги об экскурсиях в лагеря смерти «Места, пропитанные ненавистью, лишь плодят ненависть». Отрывок из книги об экскурсиях в лагеря смерти

Отрывок из книги «Монстр памяти» Ишая Сарида

СНОБ
Используйте эти 5 способов, чтобы оценивать продуктивность сотрудников на удаленке Используйте эти 5 способов, чтобы оценивать продуктивность сотрудников на удаленке

5 способов повысить продуктивность и вовлеченность сотрудников на удаленке

Inc.
Как омолодить лицо при помощи бровей: маскируем усталость и морщины Как омолодить лицо при помощи бровей: маскируем усталость и морщины

Если хочется выглядеть моложе, лучше возьми на вооружение наши советы

Cosmopolitan
Поведение вулканов связали с состоянием магмы в резервуаре Поведение вулканов связали с состоянием магмы в резервуаре

Как состояние магмы определяет характер извержения вулкана?

N+1
Ученые нашли способ, благодаря которому Ученые нашли способ, благодаря которому

Новый сигнальный путь, который превращает «плохие» жиры в более здоровые формы

Популярная механика
Гаджеты из прошлого: топ-6 крутых устройств, вызывающих прилив ностальгии Гаджеты из прошлого: топ-6 крутых устройств, вызывающих прилив ностальгии

Гаджеты, которые оставались в тренде годами, если не десятилетиями

CHIP
Девушка встретила любовь всей своей жизни, когда сменила номер телефона Девушка встретила любовь всей своей жизни, когда сменила номер телефона

Джейд Скотт и Мэтью Ньюман поженились благодаря старой сим-карте девушки

Cosmopolitan
Диета на капусте: хрустеть и худеть Диета на капусте: хрустеть и худеть

Рассказываем о пользе капусты, правилах капустной диеты и примерном меню

Cosmopolitan
Цифровая смерть: о чем стоит подумать пользователям соцсетей после сбоя Facebook Цифровая смерть: о чем стоит подумать пользователям соцсетей после сбоя Facebook

Привычные нам сервисы могут исчезнуть в любой момент

Forbes
Кто изобрел аэрозольный баллончик? Кто изобрел аэрозольный баллончик?

Первый шаг к применению аэрозольных баллонов сделал изобретатель Эрик Ротхейм

Популярная механика
Михаил Вишневский Михаил Вишневский

Михаил Вишневский: «Грибы могут примерно всё»

Собака.ru
3 техники для борьбы с перееданием 3 техники для борьбы с перееданием

Как предотвратить переедание?

Psychologies
Вомбаты какают кубиками, а древние люди явно ели сыр с плесенью. Зачем ученые изучают фекалии? Вомбаты какают кубиками, а древние люди явно ели сыр с плесенью. Зачем ученые изучают фекалии?

Фекалии человека и животных могут рассказать о мире больше, чем мы думаем

СНОБ
Редкого полосатого филина впервые сфотографировали в дикой природе Редкого полосатого филина впервые сфотографировали в дикой природе

Этот вид был открыт в 1872 году, но с тех пор редко попадался на глаза ученым

N+1
Кто такая Дикая Женщина и как ее в себе найти Кто такая Дикая Женщина и как ее в себе найти

Почему нам настолько тяжело прислушиваться к себе?

Psychologies
Здоровье ног. Как предотвратить и лечить варикоз Здоровье ног. Как предотвратить и лечить варикоз

Почему возникает варикоз, как его лечат и можно ли обойтись без операции?

Cosmopolitan
Как стать победителем в мире агрессоров Как стать победителем в мире агрессоров

Как противостоять агрессорам без лишнего негатива, ссор и «сжигания мостов»

Psychologies
Космические хорроры, от которых захватывает дух Космические хорроры, от которых захватывает дух

Научная фантастика и хорроры — жанры, смешение которых мы видим нечасто

Популярная механика
Амур и его команда Амур и его команда

Ты готова уважать всё, чем дорожит твой мужчина. Например, его друзей…

Cosmopolitan
Еще 10 горячих звезд сериалов — участниц нового рейтинга «100 самых сексуальных женщин страны» Еще 10 горячих звезд сериалов — участниц нового рейтинга «100 самых сексуальных женщин страны»

Горячие звезды сериалов

Maxim
Не Настя, а Амина: Решетова и другие звезды, которые сменили имена Не Настя, а Амина: Решетова и другие звезды, которые сменили имена

10 примеров, когда знаменитости меняли имена

Cosmopolitan
Открыть в приложении