Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Затерянные миры: 8 самых неисследованных мест Земли Затерянные миры: 8 самых неисследованных мест Земли

Рассказываем о самых таинственных уголках нашей планеты

ТехИнсайдер
Как четверо детей 40 дней блуждали по джунглям после авиакатастрофы и выжили Как четверо детей 40 дней блуждали по джунглям после авиакатастрофы и выжили

Как детям удалось выжить в лесу?

Psychologies
Абонент не в сети: почему цифровой детокс и отказ от технологий не всегда помогают Абонент не в сети: почему цифровой детокс и отказ от технологий не всегда помогают

Как разумно регулировать свое поведение в соцсетях и в обращении с технологиями

Forbes
«Базовая задача — регулирование трансграничного рынка» «Базовая задача — регулирование трансграничного рынка»

Каких мер ожидают от государства производители биологически активных добавок

РБК
Блогер рассказал, как надо правильно вести себя в Японии, и развеял стереотип о запретах на открытую одежду в общественных местах Блогер рассказал, как надо правильно вести себя в Японии, и развеял стереотип о запретах на открытую одежду в общественных местах

Правила поведения в японском обществе, которые помогут путешественникам

Maxim
Объединение страны и репрессии: как королева Изабелла I Кастильская правила Испанией Объединение страны и репрессии: как королева Изабелла I Кастильская правила Испанией

Королева Изабелла I Кастильская разрушала стереотипы о женственности

Forbes
Милые дикие кошки, которые на самом деле опасные и кровожадные Милые дикие кошки, которые на самом деле опасные и кровожадные

Даже не вздумайте гладить этих котеек!

Maxim
Древние египтяне пили галлюциногены с человеческой кровью! Вот как ученые узнали об этом Древние египтяне пили галлюциногены с человеческой кровью! Вот как ученые узнали об этом

Необычный коктейль готовили люди, поклонявшиеся божеству по имени Бес

ТехИнсайдер
Марина Львова: «Это плавный эволюционный процесс» Марина Львова: «Это плавный эволюционный процесс»

Как начать путь к «бирюзовой» компании и чем это полезно бизнесу

РБК
Были ли в России придворные шуты? Были ли в России придворные шуты?

На Руси шутов звали «дураками». Многие из них происходили из бояр или дворян

Культура.РФ
Чем запомнился политик и медиамагнат Сильвио Берлускони Чем запомнился политик и медиамагнат Сильвио Берлускони

Как бывший премьер-министр Италии Сильвио Берлускони создал медиакорпорацию

СНОБ
Как кормление ребенка грудью влияет на его результаты в школе? Поразительно! Как кормление ребенка грудью влияет на его результаты в школе? Поразительно!

Время кормления детей грудным молоком влияет на результаты школьных тестов

ТехИнсайдер
Лиза Шакира Лиза Шакира

«Шакира-Шакира» мы начали скандировать сразу

Собака.ru
Новый метод лечения малярии: паразита, передающего болезнь, можно сбить с толку Новый метод лечения малярии: паразита, передающего болезнь, можно сбить с толку

Если дезориентировать паразита, он не сможет заражать человека и размножаться

ТехИнсайдер
Что можно есть ночью, если ты не можешь уснуть и умираешь с голоду: большой список от диетологов Что можно есть ночью, если ты не можешь уснуть и умираешь с голоду: большой список от диетологов

Держи список блюд и продуктов, которыми можно перекусить посреди ночи

VOICE
Душистые травы прованса Душистые травы прованса

Любители вкусно покушать при упоминании Прованса вспоминают прованские травы

Наука и жизнь
Ожерелье городов Ожерелье городов

Зарайск, Серпухов и Дмитров – три старинных самобытных города

Отдых в России
Максим Матвеев: «Поход к терапевту не делает тебя психом» Максим Матвеев: «Поход к терапевту не делает тебя психом»

Интервью с одним из самых востребованных актеров страны

СНОБ
Экономика будущего глазами футурологов | Economy of the Future Through the Eyes of Futurologists Экономика будущего глазами футурологов | Economy of the Future Through the Eyes of Futurologists

Дискуссия экспертов журнала «Позитивные изменения»

Позитивные изменения
Пожилая британка искупалась в холодной воде и потеряла память Пожилая британка искупалась в холодной воде и потеряла память

Британские врачи описали случай потери памяти после купания в холодной воде

N+1
Детский мозг лучше приспособлен для восприятия целого мира, чем отдельных деталей Детский мозг лучше приспособлен для восприятия целого мира, чем отдельных деталей

Дети лучше взрослых схватывают целую картину мира

ТехИнсайдер
Дресс-код и шутки о погоде: что нужно знать женщине-экспату, чтобы вести бизнес в ОАЭ Дресс-код и шутки о погоде: что нужно знать женщине-экспату, чтобы вести бизнес в ОАЭ

Сложно ли женщине вести бизнес в ОАЭ?

Forbes
Маркетплейс для разработчиков: как развивать российский GitHub Маркетплейс для разработчиков: как развивать российский GitHub

Какие существуют способы развития сообщества open source в России

Forbes
Попасть в историю Попасть в историю

5 способов улучшить свой кредитный рейтинг

Лиза
Ретропраздник! 19 мобильников золотого 2003 года Ретропраздник! 19 мобильников золотого 2003 года

Перед вами обзор мобильников, которые появились на свет 20 лет назад

Maxim
Суп кочевника Суп кочевника

Монгольский наваристый мясной суп

Вокруг света
Ученые озадачены! У белокожих меньше пищевых аллергий, чем у людей с другими цветами кожи Ученые озадачены! У белокожих меньше пищевых аллергий, чем у людей с другими цветами кожи

Уровень дохода и цвет кожи человека влияют на развитие пищевых аллергий

ТехИнсайдер
Такие одинаковые, но разные ягоды: чем отличается черешня от вишни Такие одинаковые, но разные ягоды: чем отличается черешня от вишни

Вишня и черешня похожи между собой, но все же отличаются

ТехИнсайдер
Этнокультурный вектор устойчивого развития. Женщины Севера Этнокультурный вектор устойчивого развития. Женщины Севера

Современные тренды устойчивого развития меняют подходы к управлению

РБК
Туризм как точка роста Туризм как точка роста

Россия планирует новые масштабные проекты

Деньги
Открыть в приложении