Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Медитация вызывает изменения в областях мозга, связанных с памятью и эмоциями Медитация вызывает изменения в областях мозга, связанных с памятью и эмоциями

Как медитация может потенциально помочь в лечении психических заболеваний

ТехИнсайдер
«Называть эти вещи наукой нельзя» «Называть эти вещи наукой нельзя»

Кто такой родолог и сколько он получает

Лиза
Роботы Figure научились сообща сортировать предметы Роботы Figure научились сообща сортировать предметы

Компания Figure разработала универсальный алгоритм управления роботами

N+1
Умиротворение Умиротворение

В августе 1940 года немецкие самолеты совершили первый налёт на Великобританию

Дилетант
Как набрать мышечную массу согласно науке: секреты рельефного тела Как набрать мышечную массу согласно науке: секреты рельефного тела

Набор мышечной массы – это не просто про штангу и куриную грудку

ТехИнсайдер
Что происходит в отечественном геймдеве Что происходит в отечественном геймдеве

Как на геймдев-индустрию повлияли санкции и где корпорации ищут новые таланты

СНОБ
Как писал Борис Поплавский Как писал Борис Поплавский

Как жил поэт Борис Поплавский и чем примечательны его тексты

СНОБ
Как преодолеть любые жизненные испытания: 3 главных шага Как преодолеть любые жизненные испытания: 3 главных шага

Можем ли мы научиться чему-то у героев жизнеутверждающих фильмов?

Psychologies
Жена зарабатывает больше: как обойти стереотипы и сохранить гармонию в отношениях Жена зарабатывает больше: как обойти стереотипы и сохранить гармонию в отношениях

Существуют многие успешные пары, где жена зарабатывает больше, и они счастливы

Psychologies
Ветеринар-сексист возместит ущерб секретарше за харассмент: история и комментарий психолога Ветеринар-сексист возместит ущерб секретарше за харассмент: история и комментарий психолога

Что недопустимо на рабочем месте?

Psychologies
Как «усыпить» герпес? Как «усыпить» герпес?

Почему же летом так часто на губах расцветает «простуда»?

Здоровье
Человечество перекачало столько грунтовых вод, что ось Земли наклонилась Человечество перекачало столько грунтовых вод, что ось Земли наклонилась

Ученые из Университета Сеула оценили объем выкаченной из земли воды

ТехИнсайдер
Лунная красотка: почему с подиума пропала супермодель Надя Ауэрманн и что она делает сейчас Лунная красотка: почему с подиума пропала супермодель Надя Ауэрманн и что она делает сейчас

В 1990-е Надя Ауэрманн была одной из самых востребованных и знаменитых моделей

VOICE
Подарочный комплект от Brabus: внедорожник, катер и часы Подарочный комплект от Brabus: внедорожник, катер и часы

Кому-нибудь нужен подходящий подарочный комплект на день рождения?

4x4 Club
На краю земли На краю земли

Дизайнер Seasons Дарья Уланова вместе с друзьями отправилась на Сахалин

Seasons of life
Материнство и работа: как поддержать коллегу в декрете и после него Материнство и работа: как поддержать коллегу в декрете и после него

Советы, которые помогут и уходящей в декрет сотруднице, и ее коллегам

Forbes
Инвестиции в антикварные книги: доводы за и против Инвестиции в антикварные книги: доводы за и против

Как разнообразить свой портфель, вложившись в этот не самый очевидный актив

РБК
Секс без обязательств: вред или польза — узнайте правду Секс без обязательств: вред или польза — узнайте правду

О плюсах и минусах мимолетных встреч

Psychologies
Провал Геринга Провал Геринга

Быстрая победа над Францией высоко подняла авторитет Германа Геринга

Дилетант
Между «Севером — Югом» и «Западом — Востоком» Между «Севером — Югом» и «Западом — Востоком»

Потенциал развития сельского хозяйства Самарской области

Агроинвестор
Олег Чечик: «Любое искусство — это техника плюс эмоции» Олег Чечик: «Любое искусство — это техника плюс эмоции»

Олег Чечик о своей профессии

Maxim
Старая новая дача Старая новая дача

Знакомьтесь с обновлённой версией дома для сезонного проживания

Идеи Вашего Дома
Узоры Поволжья Узоры Поволжья

Небольшая Республика Марий Эл в основном известна своей столицей

Отдых в России
Лучшие сериалы про маньяков. Часть 4 Лучшие сериалы про маньяков. Часть 4

12 сериалов для любителей безопасно пощекотать себе нервы

Maxim
Mercedes выпускает G500 V8 Final Edition, а AMG – чёрно-золотой G63 Grand Edition Mercedes выпускает G500 V8 Final Edition, а AMG – чёрно-золотой G63 Grand Edition

Как G-классу от Mercedes удалось стать символом роскоши и стиля?

4x4 Club
От белого платья до личного выбора: как эмансипация изменила свадебные традиции От белого платья до личного выбора: как эмансипация изменила свадебные традиции

Как наряд невесты прошел путь от церемониального облачения до личного выбора

Forbes
Первый-второй. О классовом делении в современном обществе Первый-второй. О классовом делении в современном обществе

«Зачем стремиться к лучшему и что это такое — лучше?»

СНОБ
«А мне все мало». Как побороть постоянное чувство голода «А мне все мало». Как побороть постоянное чувство голода

Что делать, если хочется есть, даже если ты недавно поела

Лиза
10 фильмов Beat Film Festival 10 фильмов Beat Film Festival

Beat Film Festival, знакомящий зрителя с хитами мирового документального кино

Weekend
Александр Семенов, Даниил Веретенников & Гавриил Малышев Александр Семенов, Даниил Веретенников & Гавриил Малышев

Рупоры капрома готовят книгу о постсоветском наследии России

Собака.ru
Открыть в приложении