Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

7 комнатных растений, которые не ядовиты для домашних животных: ваша кошка будет в безопасности 7 комнатных растений, которые не ядовиты для домашних животных: ваша кошка будет в безопасности

Расскажем о совершенно безопасных для питомцев растениях

Популярная механика
Дарья Ведерникова: Почему важно помогать малому бизнесу Дарья Ведерникова: Почему важно помогать малому бизнесу

Почему микробизнес очень важен для нашей жизни в городе

СНОБ
Почему капитанский мостик находится в корме, если с носа обзор лучше Почему капитанский мостик находится в корме, если с носа обзор лучше

Где должен быть установлен капитанский мостик — на корме или на носу корабля?

ТехИнсайдер
$385 млрд скрытых долгов: как Китай загнал бедные страны в долговую ловушку $385 млрд скрытых долгов: как Китай загнал бедные страны в долговую ловушку

Как Китай стал мировым кредитором и что это может значить для других стран?

Forbes
Новое открытие в нейробиологии: ученые разобрались, как на самом деле работает память Новое открытие в нейробиологии: ученые разобрались, как на самом деле работает память

Какой процесс играет ключевую роль в том, как хранятся воспоминания?

Inc.
Что если в будущее возьмут нас? Отрывок из книги  Ника Монтфорта «Будущее» — о том, как почувствовать, что все в наших руках Что если в будущее возьмут нас? Отрывок из книги  Ника Монтфорта «Будущее» — о том, как почувствовать, что все в наших руках

Фрагмент книги «Будущее» об изобретателе компьютерной мыши

Esquire
«Пьяный» секс: самые распространенные мифы и правда «Пьяный» секс: самые распространенные мифы и правда

Можно ли использовать алкоголь в качестве прелюдии и предисловия к сексу?

Maxim
Поднимите нам эко! Поднимите нам эко!

Петербургские бренды косметики наводят мосты с поставщиками натурпродуктов

Собака.ru
Песчаные дюны оказались способны образовывать пары на расстоянии Песчаные дюны оказались способны образовывать пары на расстоянии

Песчаные квазидвумерные дюны формируют стабильные пары

N+1
Можно помедленнее? Можно помедленнее?

Slow sex («медленный секс»). Точно стоит попробовать, если есть время и силы

Cosmopolitan
7 самых необычных и таинственных мест на планете 7 самых необычных и таинственных мест на планете

Эти уголки планеты заставят вас удивиться

Playboy
Олег Кашин — о «Живом журнале», ставшем в нулевых центром интеллектуальной жизни и главным местом для дискуссий Олег Кашин — о «Живом журнале», ставшем в нулевых центром интеллектуальной жизни и главным местом для дискуссий

Журналист Олег Кашин вернулся в 2001-й год и рассказал о столичной тусовке

Esquire
15 лучших фотографий, снятых с дрона. Победители конкурса Drone Photo Awards 2021 15 лучших фотографий, снятых с дрона. Победители конкурса Drone Photo Awards 2021

Итоги конкурса фотографий, снятых с помощью беспилотника, Drone Photo Awards

Esquire
5 способов сделать жизнь дома комфортнее 5 способов сделать жизнь дома комфортнее

Умный дом, светодизайн, VR и другие способы сделать дом лучше

Популярная механика
«Ни одного года мы не ели хлеба вволю» «Ни одного года мы не ели хлеба вволю»

«В соседнем селе 7 июня умерли с голоду в один день шестнадцать человек»

Наука
Праздник-проказник Праздник-проказник

Детям праздник нужен для того, чтобы в этот день делать всё, что душе угодно

ПУСК
Мусульмане, горожане и жители крайнего севера: зачем ориентировать бизнес на метарегионы Мусульмане, горожане и жители крайнего севера: зачем ориентировать бизнес на метарегионы

Ориентация на метарегионы может дать больше, чем ориентация на страны

Inc.
«Обещаю оставаться для тебя загадкой»: Анна Седокова скрывает родителей от мужа «Обещаю оставаться для тебя загадкой»: Анна Седокова скрывает родителей от мужа

Янис Тимма еще не всё узнал о своей жене Анне Седоковой

Cosmopolitan
«Цифра» против информации: почему мы не умеем использовать интернет «Цифра» против информации: почему мы не умеем использовать интернет

Чем плох словарь, которым мы активно пользуемся при описании интернета?

Forbes
Он не влюбленный, он маньяк! 5 сериалов, которые научат тебя разбираться в людях Он не влюбленный, он маньяк! 5 сериалов, которые научат тебя разбираться в людях

Сериалы, в которых под маской милого принца прятался опасный маньяк

Cosmopolitan
Сильная и зависимая: как становятся жертвой абьюза благополучные женщины Сильная и зависимая: как становятся жертвой абьюза благополучные женщины

Как жертвами абьюза становятся женщины, которые, кажется, от этого застрахованы

Cosmopolitan
10 способов понять, что мужчина не настроен серьезно 10 способов понять, что мужчина не настроен серьезно

Вы уже давно встречаетесь, но тебе постоянно кажется: что-то идет не так

Cosmopolitan
Присоединяй и властвуй Присоединяй и властвуй

Примеры объявления одним государством об аннексии другого

Дилетант
Как решать проблемы креативно Как решать проблемы креативно

Рассказываем, как решать проблемы креативно  на примере наших любимых киногероев

GQ
Сезонное предложение Сезонное предложение

Как скорректировать свой рацион поздней осенью

Лиза
Кавказ подо мною Кавказ подо мною

Отправляемся в Приэльбрусье!

Лиза
Магазин на диване Магазин на диване

Как нас заставляют тратить больше, чем мы собирались, и как этого избежать?

Psychologies
Мамонтов и другую арктическую мегафауну погубил рост влажности Мамонтов и другую арктическую мегафауну погубил рост влажности

Мамонтов погубили не охотники, а потепление климата и рост влажности

N+1
Падающие башни мира: не только Пизанская! Падающие башни мира: не только Пизанская!

Падающие башни — что с ними делать?

Популярная механика
Как похудеть без диет: реальные способы сбросить вес, не ужесточая питание Как похудеть без диет: реальные способы сбросить вес, не ужесточая питание

Можно ли похудеть без диет? Давай разберемся!

Cosmopolitan
Открыть в приложении