Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Без зубрежки: 5 захватывающих книг о математике Без зубрежки: 5 захватывающих книг о математике

Книги, написанные математиками об их любимом предмете

Популярная механика
О чем не расскажут риэлторы: безопасно ли жить там, где кто-то умер? О чем не расскажут риэлторы: безопасно ли жить там, где кто-то умер?

Стоит ли избегать квартир, в которых произошла смерть?

Psychologies
5 сверхспособностей, которые станут доступны людям уже через 5 лет по версии футурологов 5 сверхспособностей, которые станут доступны людям уже через 5 лет по версии футурологов

Какие «суперспособности» станут реальностью уже к 2030 году — и какой ценой?

Maxim
Отношения с абьюзером — путь к посттравматическому расстройству Отношения с абьюзером — путь к посттравматическому расстройству

Что такое посттравматическое расстройство и как с ним бороться

Psychologies
Опасно ли летать на старых самолетах и почему их до сих пор так много Опасно ли летать на старых самолетах и почему их до сих пор так много

Почему авиакомпании используют самолеты, которые можно называть пожилыми?

Maxim
Первых кроманьонцев заподозрили в охоте на хищников ради меха и материалов для украшений Первых кроманьонцев заподозрили в охоте на хищников ради меха и материалов для украшений

Археологи проанализировали фаунистический материал из пещеры Бачо-Киро

N+1
Используйте эти 5 способов, чтобы оценивать продуктивность сотрудников на удаленке Используйте эти 5 способов, чтобы оценивать продуктивность сотрудников на удаленке

5 способов повысить продуктивность и вовлеченность сотрудников на удаленке

Inc.
Нелюбимая: как балерине Марго Фонтейн изменял парализованный муж Нелюбимая: как балерине Марго Фонтейн изменял парализованный муж

На сцене Марго Фонтейн купалась в лучах славы, а дома терпела измены мужа

Cosmopolitan
Города, ушедшие под воду Города, ушедшие под воду

Эти "Атлантиды" тысячелетиями ждут своего часа, чтобы их исследовали

Популярная механика
5 лайхаков, которые уберегут деньги на вашем счету от мошенников 5 лайхаков, которые уберегут деньги на вашем счету от мошенников

Утечки данных, в том числе и банковских карт, происходят регулярно

CHIP
Человек и ледокол Человек и ледокол

Евгений Гришковец рассказал, каково это – пройти сквозь льды к Северному полюсу

Men’s Health
Грамотность для жизни Грамотность для жизни

Что такое функциональная грамотность и как ей можно научить

Наука
Как психологи справляются с утренним стрессом: 8 способов Как психологи справляются с утренним стрессом: 8 способов

Что делать, если вы проснулись с плохим настроением?

Psychologies
План спасения: тренируем мышцы тазового дна План спасения: тренируем мышцы тазового дна

Врачи все чаще рекомендуют тренировать мышцы тазового дна

Домашний Очаг
Это надо видеть: как выглядели торты на свадьбах Елизаветы II, Дианы и других Это надо видеть: как выглядели торты на свадьбах Елизаветы II, Дианы и других

Торт – важная часть свадьбы. Вот что бывает, если речь идет о королевской семье

Cosmopolitan
Сбитый летчик: что делать, чтобы твой Сбитый летчик: что делать, чтобы твой

Главное помни, осечки случаются у всех, и в этом нет ничего страшного

Playboy
В погоне за молодостью В погоне за молодостью

Глядя на некоторых женщин, мы недоумеваем: как им в 50 удается выглядеть на 30?!

Лиза
Все болезни — от нервов? Загадки психосоматики Все болезни — от нервов? Загадки психосоматики

Как именно наше душевное состояние влияет на тело?

Добрые советы
Не только борщ: какие качества действительно пригодятся тебе в семье и работе Не только борщ: какие качества действительно пригодятся тебе в семье и работе

Как одновременно быть женой, мамой и востребованным профессионалом?

Лиза
10 прочнейших автомобилей, способных пересечь пустыню 10 прочнейших автомобилей, способных пересечь пустыню

Автомобили, способные пересечь пустыню не хуже тачек из «Безумного Макса»

Популярная механика
Деньги, оральный секс и 12 роз в неделю: модель опубликовала райдер для парней Деньги, оральный секс и 12 роз в неделю: модель опубликовала райдер для парней

Мория Миллс опубликовала список правил, соблюдения которых она ждет от кавалеров

Cosmopolitan
Много получать и почти не работать — цель современной молодежи? Много получать и почти не работать — цель современной молодежи?

«Не напрягаться и получать хорошие деньги» — чего хочет подрастающее поколение?

СНОБ
Чем раньше, тем успешнее. Как диагностика раннего развития ребенка поможет ему избежать проблем в будущем Чем раньше, тем успешнее. Как диагностика раннего развития ребенка поможет ему избежать проблем в будущем

Как отслеживать физическое и психологическое развитие ребенка

СНОБ
4 неожиданных способа добычи золота 4 неожиданных способа добычи золота

Вокруг нас, оказывается, раскидана уйма золота

Maxim
5 вещей, которые эмоционально зрелые люди делают регулярно 5 вещей, которые эмоционально зрелые люди делают регулярно

Достаточно ли вы… взрослый?

Psychologies
Фильмы и сериалы, которые — случайно или нарочно — учат зрителей плохому Фильмы и сериалы, которые — случайно или нарочно — учат зрителей плохому

Иногда киноделы могут случайно научить опасным вещам

Maxim
Как оказать себе первую психологическую помощь? Как оказать себе первую психологическую помощь?

Как научиться самостоятельно оказывать себе психологическую помощь?

Psychologies
Как правильно носить черное: 9 способов не стать мрачной и безликой Как правильно носить черное: 9 способов не стать мрачной и безликой

Если в твоем гардеробе преобладает черная одежда, скорее читай инструкцию

Cosmopolitan
ПМС: инструкция по выживанию для мужчин ПМС: инструкция по выживанию для мужчин

ПМС — этого врага ты должен знать в лицо

Maxim
Усложнение мемов с годами доказали математически Усложнение мемов с годами доказали математически

Ученые подвергли обработке более двух миллионов картинок с мемами

N+1
Открыть в приложении