Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Это не автомобиль: какой самый опасный вид транспорта Это не автомобиль: какой самый опасный вид транспорта

Рейтинг самых «аварийных» типов транспорта

ТехИнсайдер
Все на речку! 8 поразительных преимуществ плавания, о которых вы даже не догадывались Все на речку! 8 поразительных преимуществ плавания, о которых вы даже не догадывались

Плавание: плюсом к подтянутой фигуре вы получите еще и крепкое здоровье

ТехИнсайдер
Кибербезопасность в бизнесе — игнорировать нельзя использовать Кибербезопасность в бизнесе — игнорировать нельзя использовать

Как кибербезопасность вписывается в общую систему информационной безопасности

Inc.
Покупатели были в гневе: как в жизни Барби появился Кен – неизвестные страницы культовой истории любви Покупатели были в гневе: как в жизни Барби появился Кен – неизвестные страницы культовой истории любви

Барби и Кен: история взлетов и падений

VOICE
Цветовые ошибки: как один оттенок способен испортить весь интерьер Цветовые ошибки: как один оттенок способен испортить весь интерьер

Какие ошибки в выборе цвета стен способны испортить весь интерьер?

VOICE
Нейрохимия компульсивности оказалась схожа у здоровых людей и пациентов с ОКР Нейрохимия компульсивности оказалась схожа у здоровых людей и пациентов с ОКР

Компульсивность представляет собой трансдиагностическую психиатрическую черту

N+1
Маршрут построен Маршрут построен

5 идей на уик-энд в Ивановской области

Лиза
Не тяжкий крест, а зона комфорта: почему в вашей жизни слишком много страданий Не тяжкий крест, а зона комфорта: почему в вашей жизни слишком много страданий

Психолог Лабковский объяснил, что кроется за нашей любовью к стенаниям

Psychologies
Если вы пострадали от домашнего насилия: что нужно знать — 9 полезных выводов Если вы пострадали от домашнего насилия: что нужно знать — 9 полезных выводов

Насилие может быть не только физическим

Psychologies
Московский скоростной диаметр: зачем он нужен и как по нему ездить Московский скоростной диаметр: зачем он нужен и как по нему ездить

Какие задачи решает Московский скоростной диаметр и как им пользоваться

РБК
Что читать летом: современная притча о любви и утрате «Чистый цвет» Шилы Хети Что читать летом: современная притча о любви и утрате «Чистый цвет» Шилы Хети

Начало книги «Чистый цвет», где Шила Хети включает нас в мифологию

Правила жизни
Чем так важна икона «Троица» Андрея Рублева для мирового искусства? Чем так важна икона «Троица» Андрея Рублева для мирового искусства?

Почему икона стала камнем преткновения между РПЦ и музейным обществом?

Maxim
Нос кошки устроен как отличный газовый хроматограф Нос кошки устроен как отличный газовый хроматограф

Ученые создали трехмерную компьютерную модель носа кошки

ТехИнсайдер
Опасная бессонница Опасная бессонница

Учёные предупреждают: бессонница связана с повышенным риском сердечного приступа

Здоровье
Как будет “уют” по-китайски: тест-драйвим роскошный минивэн Voyah Dream Как будет “уют” по-китайски: тест-драйвим роскошный минивэн Voyah Dream

Необычный люкс-минивэн от китайского бренда Voyah

ТехИнсайдер
Пряности Пряности

Пряности, без которых немыслима не только французская, но и многие другие кухни

Здоровье
Эти четыре новых вида белка могут в скором будущем заменить животные продукты — какие они на вкус? Эти четыре новых вида белка могут в скором будущем заменить животные продукты — какие они на вкус?

Собрали самые интересные открытия — белок из воздуха, грибов, электричества

VOICE
«Вы либо станете миллиардером, либо вас арестуют»: пять современных сериалов о бизнесе на основе реальных историй «Вы либо станете миллиардером, либо вас арестуют»: пять современных сериалов о бизнесе на основе реальных историй

Самые актуальные и интересные сериалы о бизнесе

Inc.
Как отучить собаку копать ямы на огороде. 5 простых советов Как отучить собаку копать ямы на огороде. 5 простых советов

При последовательной дрессировке можно отучить пса рыться в земле

Лиза
Почему люди с темной кожей должны использовать крем для загара? Интересный факт Почему люди с темной кожей должны использовать крем для загара? Интересный факт

Нужно ли темнокожим людям защищать свою кожу от солнца?

ТехИнсайдер
Вошли в династию: как выглядят мужья и жены детей знаменитых актеров Вошли в династию: как выглядят мужья и жены детей знаменитых актеров

Избранники и избранницы, которые вошли в знаменитые актерские династии

VOICE
Иван Волков Иван Волков

Все постановки с актером Иваном Волковым — автоматически зрительские хиты

Собака.ru
Генетики прочитали ДНК трех средневековых новгородцев из найденного в Юрьевом монастыре саргофага Генетики прочитали ДНК трех средневековых новгородцев из найденного в Юрьевом монастыре саргофага

Генетики прочитали останки людей, живших в XII или XIII веке

N+1
Каким был Эрнесто Че Гевара — рассказывает его брат Каким был Эрнесто Че Гевара — рассказывает его брат

Младший брат Че рассказывает об их детстве и о жизни в тени протеста

Правила жизни
Чем полезна черешня: объяснения нутрициолога Чем полезна черешня: объяснения нутрициолога

Как съесть ведро черешни и не умереть?

Psychologies
Как на первом свидании определить, подходит ли женщина вам в сексе Как на первом свидании определить, подходит ли женщина вам в сексе

Можно ли на первом свидании понять, как проявит себя женщина в сексе?

Psychologies
Жаркая погода и озон в воздухе сделали собак агрессивными Жаркая погода и озон в воздухе сделали собак агрессивными

Агрессивность собак зависит от погодных условий

N+1
Основатель Masters Полина Бондарева — о Левашовском хлебозаводе Основатель Masters Полина Бондарева — о Левашовском хлебозаводе

Как бизнес идет в сторону искусства, а искусство продолжает искать новые формы

РБК
«Малочисленные народы прекрасно интегрированы в современном обществе» «Малочисленные народы прекрасно интегрированы в современном обществе»

Об участии в современной экономике женщин коренных малочисленных народов

РБК
В чем разница между красным, белым и желтым репчатым луком? Дело не только в цвете! В чем разница между красным, белым и желтым репчатым луком? Дело не только в цвете!

Теперь вы будете знать, какой лук лучше выбирать в магазине!

ТехИнсайдер
Открыть в приложении