Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход «А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход

Поставщики начали отказывать в поставках гелия даже научным лабораториям

ТехИнсайдер
Вечный капитал на добрые дела: как его создать и зачем это нужно Вечный капитал на добрые дела: как его создать и зачем это нужно

Как обеспечить выбранную организацию или проект поддержкой на долгие годы?

Inc.
На каких самолетах будут летать россияне в ближайшие годы На каких самолетах будут летать россияне в ближайшие годы

Как развивается гражданская авиаотрасль в России

СНОБ
41-летняя комедиантка страдает от хронического сексуального возбуждения после смерти отца 41-летняя комедиантка страдает от хронического сексуального возбуждения после смерти отца

«Эффектом освобождения» — как смерть может влиять на дофоминовую систему?

Psychologies
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Туманные горизонты Туманные горизонты

Компаниям придется продолжить адаптацию к радикально изменившимся условиям

РБК
На земле и на суше: зачем люксовые бренды выступают с экологическими инициативами На земле и на суше: зачем люксовые бренды выступают с экологическими инициативами

Какой вклад индустрия роскоши вносит в сохранение флоры и фауны на планете

Forbes
Особенности национальной газификации Особенности национальной газификации

Газовики Подмосковья полностью перешли на российскую продукцию

Деньги
Исследование: что малый и средний бизнес в России знает про устойчивое развитие Исследование: что малый и средний бизнес в России знает про устойчивое развитие

Как в России обстоят дела с ESG?

Forbes
«Развиваем толерантность»: как работают спортивные проекты для людей с инвалидностью «Развиваем толерантность»: как работают спортивные проекты для людей с инвалидностью

Истории героинь, которые занимаются спортом с людьми с инвалидностью

Forbes
Высокий сезон Высокий сезон

Начало лета – самое время есть спаржу. Свежую, сочную, наполненную витаминами

Лиза
Анастасия Стежко: «Важно и нужно позволять себе быть женщиной» Анастасия Стежко: «Важно и нужно позволять себе быть женщиной»

Она органична в разных ролях – будь то жена олигарха, следователь или ведунья

Здоровье
«Была подвержена влиянию молодого человека из США»: почему Юлия Паршута ушла из группы «Инь-Ян» «Была подвержена влиянию молодого человека из США»: почему Юлия Паршута ушла из группы «Инь-Ян»

Юлия Паршута захотела изменить свою жизнь из-за бойфренда, живущего за границей

VOICE
Линия надрыва Линия надрыва

Как эмоции превращались в события в кино эпохи застоя

Weekend
Эпоха возрождения Эпоха возрождения

В Мозамбике после гражданской войны восстанавливают Национальный парк Горонгоза

Robb Report
5 освежающих и зажигательных летних коктейлей с коньяком 5 освежающих и зажигательных летних коктейлей с коньяком

Коктейлей с коньяком получаются вкусные. И, что немаловажно, прохладительные!

Maxim
«Мое проклятье! Я далеко не идеальна!»: Наталья Ионова рассказала Павлу Воле о своей травме «Мое проклятье! Я далеко не идеальна!»: Наталья Ионова рассказала Павлу Воле о своей травме

36-летняя певица Наталья Ионова призналась, что у нее нет ногтя на пальце

VOICE
Как гриб-зомби управляет телом своего хозяина: жуткое открытие Как гриб-зомби управляет телом своего хозяина: жуткое открытие

Гриб-паразит дергает своего хозяина за нервные волокна как марионетку

ТехИнсайдер
«Архитектура меняет мир и общество». Сяоцзюнь Бу — о традициях, футуризме и новаторстве «Архитектура меняет мир и общество». Сяоцзюнь Бу — о традициях, футуризме и новаторстве

Сяоцзюнь Бу — как менталитет страны проявляется в архитектурном облике городов

СНОБ
Мария Червоткина Мария Червоткина

Главный инфлюенсер Петербурга Мария Червоткина — фея русской моды новой волны

Собака.ru
«Маленькие птичьи сердца». Дебютный роман Виктории Ллойд-Барлоу о родительстве и одиночестве «Маленькие птичьи сердца». Дебютный роман Виктории Ллойд-Барлоу о родительстве и одиночестве

Отрывок из романа Виктории Ллойд-Барлоу о цене доверия между людьми

СНОБ
Что можно есть ночью, если ты не можешь уснуть и умираешь с голоду: большой список от диетологов Что можно есть ночью, если ты не можешь уснуть и умираешь с голоду: большой список от диетологов

Держи список блюд и продуктов, которыми можно перекусить посреди ночи

VOICE
Как сохранять спокойствие и рассудок в сложные времена Как сохранять спокойствие и рассудок в сложные времена

Как взять свои эмоции под контроль, когда на ситуацию нельзя повлиять?

Правила жизни
Новый метод лечения малярии: паразита, передающего болезнь, можно сбить с толку Новый метод лечения малярии: паразита, передающего болезнь, можно сбить с толку

Если дезориентировать паразита, он не сможет заражать человека и размножаться

ТехИнсайдер
Дресс-код и шутки о погоде: что нужно знать женщине-экспату, чтобы вести бизнес в ОАЭ Дресс-код и шутки о погоде: что нужно знать женщине-экспату, чтобы вести бизнес в ОАЭ

Сложно ли женщине вести бизнес в ОАЭ?

Forbes
Шимпанзе объединили жесты и мимику во избежание двусмысленности Шимпанзе объединили жесты и мимику во избежание двусмысленности

Частота мультимодальных сигналов, используемых шампанзе, увеличилась с возрастом

N+1
История с цветом История с цветом

Интерьер этого дома — профессиональный микс разных стилей

Идеи Вашего Дома
Герой триллеров: 5 лучших аудиокниг легендарного Джона Маррса Герой триллеров: 5 лучших аудиокниг легендарного Джона Маррса

Отправляемся в мир историй, леденящих душу!

Maxim
Сказка на хуторе Сказка на хуторе

На месте бывшей свалки Сергей Кушнаренко создал уникальный ландшафтный парк

Отдых в России
«Обжигающе горячий»: как чипсы Cheetos навсегда изменили жизнь Ричарда Монтаньеса «Обжигающе горячий»: как чипсы Cheetos навсегда изменили жизнь Ричарда Монтаньеса

Фильм о мексиканце, который завязал с криминалом и устроился на фабрику чипсов

Forbes
Открыть в приложении