Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Разработаны методы генного редактирование смертельно опасных заболеваний мозга Разработаны методы генного редактирование смертельно опасных заболеваний мозга

Ученые успешно применили технологии генного редактирования для коррекции мутаций

ТехИнсайдер
«Авада Вендетта». Нейросеть превратила героев «Гарри Поттера» в итальянцев «Авада Вендетта». Нейросеть превратила героев «Гарри Поттера» в итальянцев

Получилась альтернативная версия «Крестного отца».

Правила жизни
«Контраст помогает глубже исследовать естественность через призму искусственности — и наоборот»: интервью с художницей Анастас «Контраст помогает глубже исследовать естественность через призму искусственности — и наоборот»: интервью с художницей Анастас

Художница Анастас о телесности и взаимодействии человека с технологиями

Правила жизни
Были ли в России придворные шуты? Были ли в России придворные шуты?

На Руси шутов звали «дураками». Многие из них происходили из бояр или дворян

Культура.РФ
«Дикое» государство: 7 фактов о жизни на Аляске «Дикое» государство: 7 фактов о жизни на Аляске

Вечная мерзлота, действующие вулканы, множество диких животных — все это Аляска

ТехИнсайдер
Можно ли улучшить память? Можно ли улучшить память?

Что мы запоминаем и почему?

VC.RU
Убийца из США 40 лет был в бегах, но его наконец поймали! История одного преступника Убийца из США 40 лет был в бегах, но его наконец поймали! История одного преступника

Дональд Сантини скрывался от полиции сорок лет

ТехИнсайдер
41-летняя комедиантка страдает от хронического сексуального возбуждения после смерти отца 41-летняя комедиантка страдает от хронического сексуального возбуждения после смерти отца

«Эффектом освобождения» — как смерть может влиять на дофоминовую систему?

Psychologies
Как формируется пищевая зависимость? Отрывок из книги «Почему я не худею» Как формируется пищевая зависимость? Отрывок из книги «Почему я не худею»

Отрывок из книги «Почему я не худею» о формировании пищевых зависимостей.

Правила жизни
Из России — в Грузию: зачем дочь Тутберидзе сменила спортивное гражданство Из России — в Грузию: зачем дочь Тутберидзе сменила спортивное гражданство

Что потеряло наше фигурное катание и приобрело грузинское?

Forbes
Пино-нуар со дна Черного моря Пино-нуар со дна Черного моря

Как Андрюсу Юцису удается создавать легкое вино в жарком климате

СНОБ
Дизайнеры, чиновники, маркетологи: кто еще может скоро потерять работу из-за ИИ Дизайнеры, чиновники, маркетологи: кто еще может скоро потерять работу из-за ИИ

Кого генеративный ИИ уже вытеснил с рынка труда и кого заменит в будущем

Forbes
Как подобрать форму носа по типу лица: лучшая памятка от хирурга перед ринопластикой Как подобрать форму носа по типу лица: лучшая памятка от хирурга перед ринопластикой

Врач рассказал, как грамотно подготовиться к пластике носа

VOICE
Миссия допустима: 5 случаев, когда можно шпионить за партнером Миссия допустима: 5 случаев, когда можно шпионить за партнером

По мнению экспертов, есть ситуации, в которых можно следить за партнером

VOICE
Каннибализм и насилие: в чем обвиняли актера Арми Хаммера Каннибализм и насилие: в чем обвиняли актера Арми Хаммера

Конец затянувшегося скандала вокруг Арми Хаммера

Forbes
Эпоха возрождения Эпоха возрождения

В Мозамбике после гражданской войны восстанавливают Национальный парк Горонгоза

Robb Report
«Среди взрослых куча злых — зачем детям их уважать?»: монолог режиссера Бориса Хлебникова «Среди взрослых куча злых — зачем детям их уважать?»: монолог режиссера Бориса Хлебникова

Режиссер Борис Хлебников — о том, как не давить на детей

Psychologies
Город для игр: как женщины-архитекторы создают необычные детские площадки Город для игр: как женщины-архитекторы создают необычные детские площадки

Игровые площадки — это точка притяжения не только для детей, но и для родителей

Forbes
Домик в деревне: почему фермерские продукты не всегда лучше промышленных Домик в деревне: почему фермерские продукты не всегда лучше промышленных

Отличается ли фермерская продукция от промышленной?

Forbes
Вместо Google Docs: 5 сервисов для совместной работы с документами Вместо Google Docs: 5 сервисов для совместной работы с документами

Предлагаем хорошие альтернативы Google Docs

CHIP
Суд бульварной истории Суд бульварной истории

«Мое преступление»: Франсуа Озон и феминизм

Weekend
8 полезных свойств чабреца 8 полезных свойств чабреца

Чем полезен чабрец? Он высоко ценится и в кулинарии, и в медицине

РБК
«Быть собой: Новая теория сознания» «Быть собой: Новая теория сознания»

Восприятие — это результат предсказаний мозга насчет источников сигналов

N+1
Ароматические углеводороды покрасили тела Пояса Койпера в красный цвет Ароматические углеводороды покрасили тела Пояса Койпера в красный цвет

Астрономы подтвердили идею образования красной окраски тел Пояса Койпера

N+1
Модный ресейл: как заработать на перепродаже одежды и аксессуаров Модный ресейл: как заработать на перепродаже одежды и аксессуаров

Можно ли в мире быстрой моды заработать на перепродаже вещей?

РБК
Синтетическая кожа передает сигналы в мозг и может сделать протезы чувствительными Синтетическая кожа передает сигналы в мозг и может сделать протезы чувствительными

Ученые Стэнфорда разработали мягкую и растяжимую электронную кожу

ТехИнсайдер
Когда воссияли звезды: ученые рассказали, какой была таинственная «эпоха Реионизации» на заре времен Когда воссияли звезды: ученые рассказали, какой была таинственная «эпоха Реионизации» на заре времен

Астрономы пытаются разгадать секреты того, когда Вселенная зажгла свои огни

ТехИнсайдер
Нутрия: инвазивные грызуны необычного размера Нутрия: инвазивные грызуны необычного размера

Нутрии не только грызуны с прекрасным мехом, но и настоящие вредители

ТехИнсайдер
Ошибка 0x80070422: когда она появляется, и как ее исправить Ошибка 0x80070422: когда она появляется, и как ее исправить

Как исправить ошибку 0x80070422 при обновлении Windows 10

CHIP
Украшения, сумки, часы: предметы роскоши, которые растут в цене Украшения, сумки, часы: предметы роскоши, которые растут в цене

Какие вещи люксового сегмента лидируют с точки зрения инвестиций

РБК
Открыть в приложении