Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как похудеть, не считая калорий: 5 способов контролировать питание Как похудеть, не считая калорий: 5 способов контролировать питание

Важно следить за тем, сколько вы съели. А вы знаете, много вы едите или мало?

Популярная механика
Как построить телескоп Как построить телескоп

«Когда я заглянул в свой телескоп, я лишился дара речи»

Популярная механика
Сможет ли ИИ написать «Войну и мир-2» Сможет ли ИИ написать «Войну и мир-2»

SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдер
Самое четкое изображение живой кишечной палочки помогло понять архитектуру ее мембраны Самое четкое изображение живой кишечной палочки помогло понять архитектуру ее мембраны

Ученые проследили динамику изменений мембраны кишечной палочки

N+1
Рост заболеваемости раком легких в России объяснили распространением методов диагностики Рост заболеваемости раком легких в России объяснили распространением методов диагностики

К концу 2010-х годов в России наблюдался рост заболеваемости раком легких

N+1
«Чувству меры нас научат Маша и три медведя» «Чувству меры нас научат Маша и три медведя»

Успеваем ли мы адаптироваться к вызовам цифровой среды

Psychologies
Падающие башни мира: не только Пизанская! Падающие башни мира: не только Пизанская!

Падающие башни — что с ними делать?

Популярная механика
Взглянуть на миллиарды лет назад Взглянуть на миллиарды лет назад

Как построить телескоп площадью 100 квадратных километров

Наука

19 кадров тех трех страшных дней 26 октября 2002 года

Cosmopolitan
Как устроена экономика продакт-плейсмента в кино и эффективен ли такой вид маркетинга Как устроена экономика продакт-плейсмента в кино и эффективен ли такой вид маркетинга

Как бренды попадают в высокобюджетные картины — в пересказе The Hustle

VC.RU
Все болезни — от нервов? Загадки психосоматики Все болезни — от нервов? Загадки психосоматики

Как именно наше душевное состояние влияет на тело?

Добрые советы
Где восторг? Почему полет Пересильд в космос не взволновал россиян Где восторг? Почему полет Пересильд в космос не взволновал россиян

Вместе с открытием космоса придется перепридумать и язык человеческих эмоций

СНОБ
Названы 12 лучших видеоигр для развития интеллекта у детей Названы 12 лучших видеоигр для развития интеллекта у детей

Видеоигры, которые помогут развить память и критическое мышление у детей

Inc.
Камбербэтч и котики: как великий кошачий художник закончил жизнь в психушке Камбербэтч и котики: как великий кошачий художник закончил жизнь в психушке

Луис Уэйн и его коты

Cosmopolitan
Большие данные в логистике: зачем нужны и как применяются Большие данные в логистике: зачем нужны и как применяются

Как анализ BIG DATA помогает участникам всех этапов цепи поставок?

Популярная механика
Рабочие из приложения: как платформы меняют рынок труда для синих воротничков Рабочие из приложения: как платформы меняют рынок труда для синих воротничков

Введение режима самозанятых радикально меняют ситуацию на рынке рабочей силы

Forbes
Как правильно закаляться и не замерзнуть Как правильно закаляться и не замерзнуть

Несколько полезных советов перед холодами

GQ
Генерал-рекетмейстер Генерал-рекетмейстер

Единственный портрет Боровиковского, разгадка которого заняла более полувека

Дилетант
Как в США несколько лет сражались за яйца — история одной нелепой войны Как в США несколько лет сражались за яйца — история одной нелепой войны

Война за яйца: в ходе неё гибли люди и едва ли не погибла целая экосистема

Популярная механика
Вопрос цены: почему при лобовых столкновениях пассажиры более дорогого автомобиля выживают чаще Вопрос цены: почему при лобовых столкновениях пассажиры более дорогого автомобиля выживают чаще

Влияет ли стоимость автомобиля на безопасность пассажиров?

Популярная механика
Корейская челка: трендовая стрижка из сериала на Netflix, которая покорила мир Корейская челка: трендовая стрижка из сериала на Netflix, которая покорила мир

Стрижка Чон Хо-Ён идеально вписывается в самые актуальные бьюти-тренды

Cosmopolitan
Фактор риска: что нужно знать о тромбозе Фактор риска: что нужно знать о тромбозе

Что нужно знать о факторах риска образования тромбов и как себя защитить?

Домашний Очаг
Фонды чемпионов Фонды чемпионов

Сколько платят боксерам, бойцам ММА и поп-ММА в России и за ее пределами

Forbes
Вратарь против империи Пабло Эскобара: как Рене Игита ввязался в междоусобицы двух картелей и пострадал Вратарь против империи Пабло Эскобара: как Рене Игита ввязался в междоусобицы двух картелей и пострадал

Как голкипер Колумбии ввязался в междоусобицах двух наркобаронов

Esquire
5 фильмов о легендарных музыкантах 5 фильмов о легендарных музыкантах

Личные истории людей, песни которых знает наизусть добрая половина человечества

GQ
Сетевому архитектору из Мичигана долго не проводили интернет — тогда он создал свой оператор связи и подключил соседей Сетевому архитектору из Мичигана долго не проводили интернет — тогда он создал свой оператор связи и подключил соседей

Как Джаред Мауч сам себе подключил высокоскоростной интернет

VC.RU
7 простых способов улучшить ваши социальные навыки 7 простых способов улучшить ваши социальные навыки

Как прокачать навыки коммуникации, чтобы «выйти в люди»

Psychologies
«Неважно, если кто-то из них умрет»: как талибы искореняют наркобизнес в Афганистане «Неважно, если кто-то из них умрет»: как талибы искореняют наркобизнес в Афганистане

Как Талибан взялся за наркоторговцев

Maxim
«Родные не знали, что этот ребенок существует»: правда и ложь об «отказниках» «Родные не знали, что этот ребенок существует»: правда и ложь об «отказниках»

Можем ли мы осуждать родителей за решение оставить ребенка?

Psychologies
Вы знали, сколько это стоит? 10 фильмов с самыми дорогими спецэффектами Вы знали, сколько это стоит? 10 фильмов с самыми дорогими спецэффектами

Зрелищные кинокартины, на создание которых были потрачены миллионы долларов

Cosmopolitan
Открыть в приложении