Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мозг нужен не для мышления: 5 неожиданных фактов от профессора Гарварда Мозг нужен не для мышления: 5 неожиданных фактов от профессора Гарварда

Отрывок из книги ​«Семь с половиной уроков о мозге» ​

Популярная механика
Вождь индейки Вождь индейки

Агрохолдинг Наума Бабаева «Дамате» вскоре может стать самым крупным

Esquire
Код руды: как оптимизировать измельчение руды с помощью искусственного интеллекта Код руды: как оптимизировать измельчение руды с помощью искусственного интеллекта

Какие цифровые инструменты используются при измельчении руд

ТехИнсайдер
Токсичное поведение, которое в обществе принято считать нормой Токсичное поведение, которое в обществе принято считать нормой

Признаки токсичного общения, на которые мы закрываем глаза

Psychologies
Найден способ омолодить стареющие клетки мозга Найден способ омолодить стареющие клетки мозга

Обратить старость вспять реально, причем на это понадобится всего один день

ТехИнсайдер

Женщина, которая хочет в общей сложности родить 17 раз

Cosmopolitan
Неубиваемые цитаты из фильма «ДМБ» Неубиваемые цитаты из фильма «ДМБ»

Крылатые перлы из, пожалуй, самого культового российского фильма на тему армии

Maxim
Не только Гарри Поттер: 7 увлекательных книг Джоан Роулинг Не только Гарри Поттер: 7 увлекательных книг Джоан Роулинг

Подборка книг, в которых Джоан Роулинг предстает в неожиданных авторских амплуа

Популярная механика
Убить прокрастинатора: 5 книг о привычках, которые изменят вашу жизнь Убить прокрастинатора: 5 книг о привычках, которые изменят вашу жизнь

Книги, которые помогут добиться желаемого благодаря полезным привычкам

Популярная механика
«Однажды в сказке»: читаем ребенку вместе с Людмилой Петрановской «Однажды в сказке»: читаем ребенку вместе с Людмилой Петрановской

Отрывок из книги «Читаем и развиваемся с психологом. Однажды в сказке»

Psychologies
«Приходилось становиться мягче»: Дарья Мороз о трудностях брака с Богомоловым «Приходилось становиться мягче»: Дарья Мороз о трудностях брака с Богомоловым

Как Дарья Мороз боролась с нарциссизмом и училась уступать

Cosmopolitan
Незолотое кольцо: 5 лучших архитектурных маршрутов по России Незолотое кольцо: 5 лучших архитектурных маршрутов по России

У нас огромное количество памятников разнообразных архитектурных стилей

Популярная механика
Невозможно сдержать слезы: история дружбы Вина Дизеля и Пола Уокера Невозможно сдержать слезы: история дружбы Вина Дизеля и Пола Уокера

Как коллеги из "Форсажа" стали друзьями и названными братьями

Cosmopolitan
Аномальный топологический изолятор защитил микроволновой сигнал от больших помех Аномальный топологический изолятор защитил микроволновой сигнал от больших помех

Физики объединили свойства изоляторов Черна со свойствами изоляторов Флоке

N+1
Дина Рубина: В благодетельных дебрях психиатрии. Отрывок из романа «Маньяк Гуревич» Дина Рубина: В благодетельных дебрях психиатрии. Отрывок из романа «Маньяк Гуревич»

История страны и время, от которого можно спастись только в безумии

СНОБ
4 факта о тревожности, которые помогут вам с ней справиться 4 факта о тревожности, которые помогут вам с ней справиться

Что важно знать о тревожности, чтобы с ней справиться

Psychologies
Мы не сидим сложа руки Мы не сидим сложа руки

Лучший декоратор вашего дома — это вы сами

Tatler
«Сходите в церковь»: матери детей с расщелиной губы рассказали о своей жизни «Сходите в церковь»: матери детей с расщелиной губы рассказали о своей жизни

Как начать разговор о здоровье ребенка.

Cosmopolitan
9 малоизвестных, но хороших советских фильмов (часть 2) 9 малоизвестных, но хороших советских фильмов (часть 2)

Самое время открыть для себя другую сторону советского кино

Maxim
Как сплести кольчугу: расследование ПМ Как сплести кольчугу: расследование ПМ

Почему кольчуга была популярна там, где любая ошибка вела к смерти?

Популярная механика
Археологи раскопали три средневековых поселения под Муромом и Владимиром Археологи раскопали три средневековых поселения под Муромом и Владимиром

Ученым удалось обнаружить некрополи под Муромом и Владимиром

N+1
Безопасность вместо развития: какой капитализм построили в России за 30 лет Безопасность вместо развития: какой капитализм построили в России за 30 лет

30 лет назад Россия выбрала курс на строительство капитализма

Forbes
Стоит отметить Стоит отметить

Оксана Бондаренко, основательница бренда «Ли–Лу», отмечает 28 лет в бизнесе

Harper's Bazaar
Анализ морфологии зубов опроверг гипотезу о заселении Америки из Японии Анализ морфологии зубов опроверг гипотезу о заселении Америки из Японии

Среди ученых продолжается дискуссия о времени и маршрутах заселения Америки

N+1
Победителей не судят: почему все помешались на Победителей не судят: почему все помешались на

Из чего сложился успех "Игры в кальмара"

Esquire
Как таланты раз за разом изобретали швейную машинку Как таланты раз за разом изобретали швейную машинку

Как изобрели швейную машину

Популярная механика
Любовь, обман и предательство: новые турецкие сериалы, которые тебя заворожат Любовь, обман и предательство: новые турецкие сериалы, которые тебя заворожат

Как ни крути, а в Турции умеют снимать любовные драмы

Cosmopolitan
Вредные советы: пошаговая инструкция, как усложнить себе жизнь Вредные советы: пошаговая инструкция, как усложнить себе жизнь

Зачастую мы сами можем легко помешать себе со всем справиться, и вот как

Psychologies
«Мой 16-летний сын стал отцом-одиночкой» «Мой 16-летний сын стал отцом-одиночкой»

Незапланированная беременность юной подружки сына — страшный сон родителей!

Psychologies
Каким детям может быть полезна паллиативная помощь и как ее получить Каким детям может быть полезна паллиативная помощь и как ее получить

Паллиативная помощь нужна всем, чей срок ограничен из-за неизлечимой болезни

Psychologies
Открыть в приложении