Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как нехватка сна влияет на ваши внешность и тело? Эксперты дали полный ответ Как нехватка сна влияет на ваши внешность и тело? Эксперты дали полный ответ

Регулярные ночные недосыпы могут привести к серьезным проблемам со здоровьем

ТехИнсайдер
Орангутаны немного побитбоксили Орангутаны немного побитбоксили

Приматологи слушали вокализации орангутанов с островов Борнео и Калитаман

N+1
Вовсе не для развлечения: зачем на самом деле в Windows были встроены игры «Косынка» и «Сапер» Вовсе не для развлечения: зачем на самом деле в Windows были встроены игры «Косынка» и «Сапер»

«Косынка» и «Сапер»: какой замысел Билла Гейтса они в себе таили?

ТехИнсайдер
Почему в автомобилях до сих пор используют свинцовые, а не литиевые аккумуляторы? Почему в автомобилях до сих пор используют свинцовые, а не литиевые аккумуляторы?

Технологии сделали возможными массовое распространение электромобилей

CHIP
«Мамонты следующие»: Colossal Biosciences вернула к жизни вымерших 10 тысяч лет назад лютоволков «Мамонты следующие»: Colossal Biosciences вернула к жизни вымерших 10 тысяч лет назад лютоволков

Как ученым Colossal Biosciences удалось произвести на свет щенков лютоволка

VC.RU
Тренд на джентрификацию Тренд на джентрификацию

В современных городах набирает обороты джентрификация

РБК
Бережный уход: как получить все, если приходится сменить работу Бережный уход: как получить все, если приходится сменить работу

Итак, ты решила: пора увольняться, как сделать это правильно?

VOICE
Сказка на хуторе Сказка на хуторе

На месте бывшей свалки Сергей Кушнаренко создал уникальный ландшафтный парк

Отдых в России
От Робби Уильямса до Марины Абрамович: как выглядит современный арт-рынок Эмиратов От Робби Уильямса до Марины Абрамович: как выглядит современный арт-рынок Эмиратов

Насколько велик их рыночный потенциал в Объединенных Арабских Эмиратах сегодня.

Forbes
«Перчинка» и даже Трамп: этих звезд ты точно не заметила в «Сексе в большом городе» «Перчинка» и даже Трамп: этих звезд ты точно не заметила в «Сексе в большом городе»

В оригинальном «Сексе в большом городе» засветились многие звезды

VOICE
«Вот и все. Смежили очи гении...» Василий Качалов «Вот и все. Смежили очи гении...» Василий Качалов

Беспрецедентный пример славы, почитания и поклонения перед талантом

Караван историй
Истории о нарушении пищевого поведения у подростков Истории о нарушении пищевого поведения у подростков

Как быть и к каким специалистам обращаться, если у подростка РПП?

СНОБ
На краю земли На краю земли

Дизайнер Seasons Дарья Уланова вместе с друзьями отправилась на Сахалин

Seasons of life
Как есть, чтобы похудеть: 6 советов диетолога Как есть, чтобы похудеть: 6 советов диетолога

Похудеть легко: от нас требуются лишь незначительные изменения в поведении

Psychologies
Что такое шугаринг и как его правильно делать Что такое шугаринг и как его правильно делать

Шугаринг — метод удаления волос, которым пользовались еще древние египтяне

РБК
Тоновый язык декодировали с помощью многопоточной нейронной сети Тоновый язык декодировали с помощью многопоточной нейронной сети

Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1
Самые уязвимые: как стигма в обществе влияет на женщин с ментальными расстройствами Самые уязвимые: как стигма в обществе влияет на женщин с ментальными расстройствами

Как стигматизация повышает уязвимость женщин с ментальными расстройствами

Forbes
«Онлайн снимает любые барьеры для людей» «Онлайн снимает любые барьеры для людей»

О внедрении искусственного интеллекта и секретах популярности коротких видео

РБК
Нужно ли мыть домашнюю кошку? Лайфхаки для кошатников! Нужно ли мыть домашнюю кошку? Лайфхаки для кошатников!

Как поддерживать гигиену домашней кошки? Нужно ли купать питомца?

ТехИнсайдер
«Релокация похожа на влюбленность»: как строить международную карьеру «Релокация похожа на влюбленность»: как строить международную карьеру

Как решиться и выйти на международный рынок труда, если кажется, что уже поздно

Forbes
Максим Матвеев: «Поход к терапевту не делает тебя психом» Максим Матвеев: «Поход к терапевту не делает тебя психом»

Интервью с одним из самых востребованных актеров страны

СНОБ
Выжимаем соки из ПК: разгон видеокарты Выжимаем соки из ПК: разгон видеокарты

Как повысить производительность компьютерного железа?

CHIP
Где познакомиться с женщиной сегодня Где познакомиться с женщиной сегодня

Психотерапевт Андрей Курпатов о лучших способах встретить свою вторую половинку

Maxim
Готовимся к отпуску: как правильно чистить чемодан Готовимся к отпуску: как правильно чистить чемодан

Как правильно почистить чемодан из ткани и из пластика

ТехИнсайдер
Торможение на повороте: что мешает построить в России экономику предложения Торможение на повороте: что мешает построить в России экономику предложения

Экономика предложения: достаточно ли в России производственных ресурсов для нее?

Forbes
Китай, нам надо культурно поговорить Китай, нам надо культурно поговорить

Что объединяет современных россиян и граждан КНР?

СНОБ
Арсений Попов Арсений Попов

Актер и главный импровизатор страны, Арсений Попов

Собака.ru
Бородатые свиньи помогли ботаникам открыть первую пальму с подземными цветками и плодами Бородатые свиньи помогли ботаникам открыть первую пальму с подземными цветками и плодами

Ботаники описали первую пальму, у которой цветки и плоды развиваются под землей

N+1
Понимают ли кошки человеческую речь? Понимают ли кошки человеческую речь?

Есть ли смысл разговаривать с кошками? Понимают ли они нашу речь?

ТехИнсайдер
Дети и взрослые с СДВГ: отвечаем на самые важные вопросы Дети и взрослые с СДВГ: отвечаем на самые важные вопросы

Как отличить особенности поведения или темперамента ребенка от диагноза?

Psychologies
Открыть в приложении