Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кладбище домашних животных: что делать, если умер питомец Кладбище домашних животных: что делать, если умер питомец

Что делать, если умер кот или собака? Как и где происходит кремация животных?

ТехИнсайдер
Подарочный комплект от Brabus: внедорожник, катер и часы Подарочный комплект от Brabus: внедорожник, катер и часы

Кому-нибудь нужен подходящий подарочный комплект на день рождения?

4x4 Club
«Огонь-батареи»: как изменились космические солнечные батареи за 67 лет «Огонь-батареи»: как изменились космические солнечные батареи за 67 лет

Какой путь прошли солнечные элементы космического типа с момента изобретения?

ТехИнсайдер
Самые неожиданные способы заразиться венерическими болезнями Самые неожиданные способы заразиться венерическими болезнями

Гонореей, сифилисом, хламидиозом можно заразиться бытовым путем

Maxim
Любовь или зависимость? 7 признаков нездоровых отношений Любовь или зависимость? 7 признаков нездоровых отношений

Как отличить истинные чувства от зависимости, способной разрушать нас изнутри?

VOICE
С первыми лучами солнца: что может произойти с завтраком в отеле С первыми лучами солнца: что может произойти с завтраком в отеле

История таинственного исчезновения завтрака в отеле

Правила жизни
Физик разобрался в стабильности нити стрингшутера Физик разобрался в стабильности нити стрингшутера

Физик экспериментально и теоретически исследовал вращение нити в стрингшутере

N+1
Как нестандартно использовать изоленту: эта простая вещь спасет в любой сложной ситуации Как нестандартно использовать изоленту: эта простая вещь спасет в любой сложной ситуации

Эта простая липкая вещь способна выручить во многих бытовых ситуациях

ТехИнсайдер
«Онлайн снимает любые барьеры для людей» «Онлайн снимает любые барьеры для людей»

О внедрении искусственного интеллекта и секретах популярности коротких видео

РБК
«Куда уходят деньги?»: как научиться финансовой грамотности — 2 простых шага «Куда уходят деньги?»: как научиться финансовой грамотности — 2 простых шага

Как научить мозг отслеживать траты?

Psychologies
Юдит Шалански: «Каталог утраченных вещей». Удержать прошлое в памяти Юдит Шалански: «Каталог утраченных вещей». Удержать прошлое в памяти

Отрывок из романа-попытки Юдит Шалански оживить прошлое и погрустить об ушедшем

СНОБ
Пример для саудитов: как Китай попытался стать футбольной сверхдержавой, но не смог Пример для саудитов: как Китай попытался стать футбольной сверхдержавой, но не смог

Чем поучителен пример китайского футбольного бума

Forbes
От блокбастеров до острой курицы: как голливудский продюсер развивает сферу общепита От блокбастеров до острой курицы: как голливудский продюсер развивает сферу общепита

Продюсер Джон Дэвис развивает рестораны формата fast casual

Forbes
Почему Великая Тартария — миф? Почему Великая Тартария — миф?

Разбираемся, кто и почему придумал миф о великом государстве славяно-ариев

Maxim
Летние неприятности Летние неприятности

Лето – время отпусков и детских кишечных инфекций

Здоровье
История Дэвида Реймера, которого насильно превратили в девочку: гендерный эксперимент Джона Мани История Дэвида Реймера, которого насильно превратили в девочку: гендерный эксперимент Джона Мани

Как пустяковая операция обернулась катастрофой для семьи Реймер

ТехИнсайдер
Не похожий на меня: что смотреть, если вам нравится «Черное зеркало» Не похожий на меня: что смотреть, если вам нравится «Черное зеркало»

Пять шоу, похожих на «Черное зеркало»

Правила жизни
Cкорая помощь из сада Cкорая помощь из сада

Под рукой нет аптечки? Некоторые растения работают не хуже таблеток

Лиза
Как сделать QR код и зачем он нужен Как сделать QR код и зачем он нужен

Рассказываем о том, как легко и быстро создать QR код

CHIP
Ученья идут: какие технологии и почему закрепились в сфере образования Ученья идут: какие технологии и почему закрепились в сфере образования

Как нейросети изменяют сферу образования?

Forbes
Чип и фэйл: как избежать ошибок в импортозамещении Чип и фэйл: как избежать ошибок в импортозамещении

Как производителям избежать ошибок при импортозамещении

Forbes
Искусство займа Искусство займа

Почему реальная цена кредитов больше заявленной

Деньги
Китай, нам надо культурно поговорить Китай, нам надо культурно поговорить

Что объединяет современных россиян и граждан КНР?

СНОБ
На краю земли На краю земли

Дизайнер Seasons Дарья Уланова вместе с друзьями отправилась на Сахалин

Seasons of life
Нос кошки устроен как отличный газовый хроматограф Нос кошки устроен как отличный газовый хроматограф

Ученые создали трехмерную компьютерную модель носа кошки

ТехИнсайдер
Имитация человеческого глаза подняла роботизированное Имитация человеческого глаза подняла роботизированное

Нейроморфное устройство позволит роботам принимать быстрые решения

ТехИнсайдер
Как научиться просыпаться по утрам без будильника? Как научиться просыпаться по утрам без будильника?

Как «запрограмировать» свои внутренние часы на нужный вам график?

ТехИнсайдер
Почерк мастера Почерк мастера

В этом интерьере чудесным образом переплелись история и современность

SALON-Interior
Зодчие империи Зодчие империи

Сколько зарабатывали главные архитекторы Санкт-Петербурга

Деньги
Стражи Галактики: Джеймс Ганн трогательно прощается с любимой бандой аутсайдеров вселенной Marvel Стражи Галактики: Джеймс Ганн трогательно прощается с любимой бандой аутсайдеров вселенной Marvel

Какой получилась третья часть «Стражей галактики»

Правила жизни
Открыть в приложении