Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Глупая мода или настоящая забота о здоровье: что такое босоногая обувь Глупая мода или настоящая забота о здоровье: что такое босоногая обувь

Есть ли толк от босоногой обуви?

ТехИнсайдер
Ген рецептора калиевого канала оказался ответственным за высоту человеческого голоса Ген рецептора калиевого канала оказался ответственным за высоту человеческого голоса

Что отвечает за высоту человеческого голоса?

N+1
«Думающие» ИИ-спутники сами выбирают момент съемки Земли «Думающие» ИИ-спутники сами выбирают момент съемки Земли

Как работает система, позволяющая спутникам анализировать обстановку

ТехИнсайдер
Те самые легендарные коктейли по рецептам Венички Ерофеева Те самые легендарные коктейли по рецептам Венички Ерофеева

Принимать строго визуально и умозрительно! Болтать, но не смешивать!

Maxim
Что такое «сухой запой» и что не так с решением жить в трезвости Что такое «сухой запой» и что не так с решением жить в трезвости

Что такое «сухой запой», почему так происходит и как спастись

Maxim
Нюрка-воровка, невольница в золотой клетке и коварная обольстительница. Актриса Анастасия Ильинская — о своих ролях Нюрка-воровка, невольница в золотой клетке и коварная обольстительница. Актриса Анастасия Ильинская — о своих ролях

Актриса Анастасия Ильинская — о Театре на Бронной и своих планах на будущее

СНОБ
12 лучших и интересных шпионских фильмов СССР 12 лучших и интересных шпионских фильмов СССР

Необходимые для полноты картины советские шпионские триллеры 80-х

Maxim
Лучшие сериалы про маньяков. Часть 4 Лучшие сериалы про маньяков. Часть 4

12 сериалов для любителей безопасно пощекотать себе нервы

Maxim
Кудрявые волосы: как ухаживать и укладывать? Советы стилиста Кудрявые волосы: как ухаживать и укладывать? Советы стилиста

Как мыть, сушить и укладывать кудрявые волосы

Правила жизни
Роман Карманов: Культура и дружеское общение решают все Роман Карманов: Культура и дружеское общение решают все

Какие значимые творческие проекты есть в России и каких инициатив не хватает?

СНОБ
Как тип привязанности повлияет на ваши отношения: 3 сценария Как тип привязанности повлияет на ваши отношения: 3 сценария

Как сценарий отношений зависит от детского опыта партнеров?

Psychologies
Как положение языка во рту влияет на наше здоровье: странный фактор, о котором вы не знали Как положение языка во рту влияет на наше здоровье: странный фактор, о котором вы не знали

Как может правильное положение языка влиять на все наше тело?

ТехИнсайдер
7 фильмов о разрушительной силе любви 7 фильмов о разрушительной силе любви

Фильмы о всепоглощающем чувстве любви, которой отдается в жертву самое дорогое

Maxim
От постмодернистской насмешки до университетской программы: какой путь преодолел комикс в России? От постмодернистской насмешки до университетской программы: какой путь преодолел комикс в России?

Расскажем о становлении комикса в России вместе с историком Алексеем Павловским

Правила жизни
Сверхэффективный гидрогель поглощает воду прямо из воздуха даже в пустыне Сверхэффективный гидрогель поглощает воду прямо из воздуха даже в пустыне

Создан супервпитывающий гидрогель, который может вытягивать влагу в пустыне

ТехИнсайдер
Ищу хорошего психолога Ищу хорошего психолога

Найти хорошего психолога самостоятельно непросто

Лиза
Медовые маски и патчи из огурцов: почему народные средства не помогут вашей коже Медовые маски и патчи из огурцов: почему народные средства не помогут вашей коже

На что нужно обращать внимание, выбирая косметику?

Psychologies
От Робби Уильямса до Марины Абрамович: как выглядит современный арт-рынок Эмиратов От Робби Уильямса до Марины Абрамович: как выглядит современный арт-рынок Эмиратов

Насколько велик их рыночный потенциал в Объединенных Арабских Эмиратах сегодня.

Forbes
Следующая станция — Дубай Следующая станция — Дубай

Как не потеряться в «четвертой столице» России и найти там своих

СНОБ
Как ужиться мачехе и падчерице, воспитанным в разных культурах Как ужиться мачехе и падчерице, воспитанным в разных культурах

Мачехе и падчерице часто трудно принять друг друга

СНОБ
Обсасывать и выбрасывать: на рынках Китая появилось странное блюдо из жареных камней Обсасывать и выбрасывать: на рынках Китая появилось странное блюдо из жареных камней

Кулинарное увлечение китайцев с жареной галькой потрясло интернет

ТехИнсайдер
Математики нашли девятое дедекиндово число. В нем оказалось 42 знака Математики нашли девятое дедекиндово число. В нем оказалось 42 знака

Математики рассчитали значение девятого числа Дедекинда

N+1
Гардеробная своими руками. Дизайнерские идеи для любого помещения Гардеробная своими руками. Дизайнерские идеи для любого помещения

Хорошо спроектированная гардеробная обеспечивает достаточно места для хранения

Лиза
Номер на одного: как поездка в одиночестве поможет пережить развод — 3 преимущества Номер на одного: как поездка в одиночестве поможет пережить развод — 3 преимущества

Поездка в одиночестве имеет немало преимуществ

Psychologies
Милютины Милютины

В отличие от большей части тогдашней элиты, Милютины поднялись из низов

Дилетант
Пример для саудитов: как Китай попытался стать футбольной сверхдержавой, но не смог Пример для саудитов: как Китай попытался стать футбольной сверхдержавой, но не смог

Чем поучителен пример китайского футбольного бума

Forbes
Школа юмора и любви к себе и окружающим: каким получился финал сериала «Тед Лассо» Школа юмора и любви к себе и окружающим: каким получился финал сериала «Тед Лассо»

В чем секрет успеха «Теда Лассо» и каким получился последний сезон

Forbes
«Кластерный механизм — ключевой фактор развития химпрома» «Кластерный механизм — ключевой фактор развития химпрома»

Как сегодня развивается химическая отрасль и какие задачи решает бизнес

РБК
Спасти глаза летом: как выбрать качественные солнцезащитные очки Спасти глаза летом: как выбрать качественные солнцезащитные очки

Как выбрать качественные солнцезащитные очки и не переплатить

ТехИнсайдер
Квадрокоптер-трансформер c ротор-колесами научился стоять на двух ногах Квадрокоптер-трансформер c ротор-колесами научился стоять на двух ногах

Инженеры разработали робота-трансформера под названием Morphobot M4

N+1
Открыть в приложении