Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Время во Вселенной может не существовать вовсе: рассказываем, почему этого не стоит бояться Время во Вселенной может не существовать вовсе: рассказываем, почему этого не стоит бояться

Существует ли время?

Популярная механика
Как таланты раз за разом изобретали швейную машинку Как таланты раз за разом изобретали швейную машинку

Как изобрели швейную машину

Популярная механика
Как в лучших фильмах: 5 шпионских гаджетов времен холодной войны Как в лучших фильмах: 5 шпионских гаджетов времен холодной войны

Устройства времен холодной войны, которые делали работу шпионов эффективнее

ТехИнсайдер
Клеймо «плюс-сайз». Что не так с появлением Джилл Кортлев на обложке российского Vogue Клеймо «плюс-сайз». Что не так с появлением Джилл Кортлев на обложке российского Vogue

В таком контексте дискурс о бодипозитиве выглядит очередным глянцевым лицемерием

СНОБ
Как кофеин влияет на мозг и тело: неожиданные факты Как кофеин влияет на мозг и тело: неожиданные факты

Исследования выявили ряд интересных фактов, связанных с кофеином

Psychologies
Молодые люди назвали «Траву у дома» любимой песней для караоке Молодые люди назвали «Траву у дома» любимой песней для караоке

«Трава у дома» стала любимым советским хитом молодежи

Cosmopolitan
Как работает лазерная эпиляция Как работает лазерная эпиляция

Разбираемся, что такое лазерная эпиляция

Популярная механика
Клин клином вышибают: когда белковая и углеводная диеты могут работать одинаково Клин клином вышибают: когда белковая и углеводная диеты могут работать одинаково

Решение сесть на диету не означает, что ты отныне обречена терпеть муки голода

Cosmopolitan
Сиенна огненная Сиенна огненная

Жизнь Сиенны Миллер, одной из главных it-girls нулевых, кажется спокойной

Harper's Bazaar
Возвращение «Землян» на большую сцену – не случайность, а закономерность Возвращение «Землян» на большую сцену – не случайность, а закономерность

Поговорим о таком явлении как «феномен возвращения»

Cosmopolitan
Миллионерша, которую разорили мужчины: история Барбары Хаттон Миллионерша, которую разорили мужчины: история Барбары Хаттон

«Бедная богатая маленькая девочка» — так называли Барбару Хаттон в газетах

Cosmopolitan
Дал бог зайку, но за что? Честные сериалы про материнство Дал бог зайку, но за что? Честные сериалы про материнство

Подборка честных сериалов о материнстве, которые рассказывают все как есть

Cosmopolitan
Вопрос психологу: что такое патологическая ревность и можно ли от нее избавиться? Вопрос психологу: что такое патологическая ревность и можно ли от нее избавиться?

Esquire решил разобраться в вопросах ревности и заручился помощью эксперта

Esquire
Нужен характер Нужен характер

В борьбе с раком молочной железы многое зависит от решимости пациенток

Cosmopolitan
«Это все мое, родное»: лучшая точка для отдыха в России «Это все мое, родное»: лучшая точка для отдыха в России

Fвторские программы по Северному Приладожью, которые открывают новые маршруты

Psychologies
Не форсировать события и не тратить деньги на рекламу: как развивается автопереключатель раскладки Caramba Switcher Не форсировать события и не тратить деньги на рекламу: как развивается автопереключатель раскладки Caramba Switcher

Интервью с создателем Caramba Switcher Сергеем Москалёвым

VC.RU
Дамблдор от моды. Парижский показ-трибьют Альберу Эльбазу, который войдет в историю Дамблдор от моды. Парижский показ-трибьют Альберу Эльбазу, который войдет в историю

Шоу-трибьют в честь Альбера Эльбаза

Esquire
Синяков нет, но душа искалечена: ответы на важные вопросы о психологическом насилии Синяков нет, но душа искалечена: ответы на важные вопросы о психологическом насилии

Обязательно ли эмоциональное насилие приводит к физическому?

Forbes
Как к себе домой Как к себе домой

Сербия рада гостям из России!

Лиза
Правила защиты от «сложных» членов семьи Правила защиты от «сложных» членов семьи

Как быть, если общение с некоторыми членами семьи лишь портит вам нервы?

Psychologies
Теснота нестихового ряда Теснота нестихового ряда

Игорь Гулин о поэзии Сергея Кулле

Weekend
Кубик и Рубик. Сравнится ли Duster с Jimny на офф-роуде? Кубик и Рубик. Сравнится ли Duster с Jimny на офф-роуде?

Сравнение Renault Duster с Suzuki Jimny на первый взгляд выглядит нелогичным

4x4 Club
Всевидящее око: военная история радара Всевидящее око: военная история радара

Победа в воздушной битве за Британию обязана системе радиолокационных станций

Популярная механика
Удаленный коллектив Удаленный коллектив

Что мы приобретаем и что теряем, работая исключительно за компьютером?

Psychologies
Антон Васильев. Катя и мужчины, которые ее любили... Антон Васильев. Катя и мужчины, которые ее любили...

Брат актрисы Екатерины Васильевой рассказывает о своей знаменитой семье

Коллекция. Караван историй
Жених убитой блогерши Габби Петито найден мертвым: в Сети обсуждают, что могло произойти Жених убитой блогерши Габби Петито найден мертвым: в Сети обсуждают, что могло произойти

Резонансное дело пропавшей блогерши Габби Петито получило продолжение

Maxim
Без доступной среды и компенсаций: как живут семьи с детьми с диагнозом spina bifida Без доступной среды и компенсаций: как живут семьи с детьми с диагнозом spina bifida

Интервью с основательницей фонда помощи детям со spina bifida Инной Инюшкиной

Forbes
Участники и сопричастные Участники и сопричастные

Главные действующие лица достигнутых в 1938 году в Мюнхене соглашений

Дилетант
Почему вятичи ватные? Почему вятичи ватные?

Как полюбить историю и даже получать от неё удовольствие?

ПУСК
В бирманском янтаре обнаружили миниатюрного краба В бирманском янтаре обнаружили миниатюрного краба

Это древнейший неморской краб, известный палеонтологам.

N+1
Открыть в приложении