Как устроен объяснимый ИИ и какие проблемы он решает

РБКHi-Tech

Интеллект, понятный каждому

Как устроен объяснимый ИИ и какие проблемы он решает

Автор: Мария Решетникова

Современные разработки в сфере искусственного интеллекта упираются в проблему «черного ящика», которая ставит под сомнение объективность и точность моделей. Решением может стать прозрачный и объяснимый ИИ.

Объяснимый искусственный интеллект представляет собой следующий шаг в развитии ИИ, который сделает технологию более понятной и прозрачной. Внедрение объяснимого ИИ позволит расширить сферу его применения на отрасли, которые работают с потенциально чувствительными данными,— медицину, финансы, судопроизводство и другие.

Что такое объяснимый ИИ

Объяснимый ИИ (Explainable AI, XAI)—это направление исследований в области искусственного интеллекта. Оно стремится создать системы и модели, способные объяснять свои действия и принимать решения понятным для людей образом, чтобы повысить доверие к ИИ. Объяснимый ИИ используется для описания алгоритмов, а также ожидаемых последствий их работы и возможных отклонений. Для этого используются методы визуализации, более простые алгоритмы, а также интерактивные интерфейсы с подсказками.

Благодаря XAI, а также объяснимым процессам машинного обучения организации могут получить доступ к процессам принятия решений, лежащим в основе технологии, и вносить в них коррективы. Он также позволяет улучшить взаимодействие с пользователями, повышая доверие с их стороны.

Характеристики XAI

Объяснимый ИИ должен включать в себя три основных элемента.

Точность прогноза. Запустив моделирование и сравнив выходные данные XAI с результатами в наборе обучающих данных, можно определить точность работы модели. Самый популярный метод, используемый для этого,—это локальные интерпретируемые модельно-агностические объяснения (LIME), которые позволяют объяснить каждый прогноз нейросети. Они анализируют входные данные после того, как те проходят через алгоритм, и сравнивают полученный результат с прогнозируемым. Для этого LIME используют собственный специально обученный на этих данных алгоритм. Сравнение позволяет понять ход рассуждения исходной нейросети.

Прослеживаемость. Она достигается в том числе за счет ограничения способов принятия решений и установления более узкой области применения правил и функций машинного обучения. Примером метода отслеживания XAI является DeepLIFT (Deep Learning Important FeaTures—важные функции глубокого обучения), который сравнивает работу каждой точки («нейрона») нейросети с эталонным показателем и показывает зависимости между ними.

Объясняемость и интерпретируемость. Это показатели, которые отображают, насколько наблюдатель может понять причину принятия решения, а также предсказать вероятность успеха работы модели. Существуют специальные технологии, которые обеспечивают визуализацию этих показателей. Например, What-if—инструменты для визуального исследования поведения обученных моделей, тестирования их производительности в гипотетических ситуациях и анализа важности различных функций данных.

Преимущества XAI

Внедрение объяснимого ИИ дает ряд положительных эффектов как в коммерческом, так и в государственном секторах:

  • повышение производительности, более быстрое выявление ошибок в модели;
  • укрепление доверия со стороны клиентов и пользователей;
  • снижение регуляторных и других рисков.

В некоторых странах внедрение объяснимого ИИ станет обязательным требованием для компаний со стороны государств. Европарламент уже принял закон под названием AI Act, который устанавливает правила и требования для разработчиков моделей ИИ. Они должны обеспечить прозрачность работы таких систем.

Технологии XAI

Для создания объяснимого ИИ применяются следующие основные техники машинного обучения:

  • деревья решений выдают четкое визуальное представление процесса принятия решений ИИ;
  • системы на основе правил выводят алгоритмические правила работы в понятном для человека формате;
  • байесовские сети, или модели вероятностей, которые показывают причинно-следственные связи в работе алгоритма и объясняют неопределенности;
  • линейные модели демонстрируют, как каждый входной параметр влияет на решение нейросети.

Перспективы внедрения XAI

Несмотря на все плюсы XAI, внедрение такого ИИ сталкивается с рядом препятствий, таких как:

отсутствие консенсуса по определениям нескольких ключевых понятий—некоторые исследователи используют термины «объяснимость» и «интерпретируемость» как синонимы, а другие четко разделяют их;

недостаток практических рекомендаций по поводу того, как выбирать, внедрять и тестировать XAI;

отсутствие понимания, должен ли объяснимый ИИ быть понятным для обычных пользователей.

Отдельные исследователи предложили идею «белого ящика», или моделей, которые будут объяснимыми и прозрачными. Так, систему ИИ можно разбивать на модули, каждый из которых может быть интерпретирован, либо изначально строить модели с соблюдением правил прозрачности, чтобы разработчик не терял контроль над ситуацией.

Однако другие эксперты считают, что и «белый ящик» не решит проблему доверия к ИИ со стороны людей, у которых нет технического образования. По их мнению, XAI и объяснимый ИИ — это лишь часть более широких усилий для создания искусственного интеллекта, работа которого будет понятна любому человеку.

Тайны «черного ящика»

XAI использует специальные методы, позволяющие отслеживать и объяснять каждое решение, принятое в процессе машинного обучения. ИИ же обучается с помощью алгоритма, архитектура которого не до конца понятна. Эту проблему принято называть «черным ящиком»: даже если система дает точные ответы, зачастую сложно выяснить, как именно она пришла к такому решению.

Аналогичным образом сложно понять, когда именно система начала ошибаться в ответах и чем это было вызвано. Профессор компьютерных наук Университета Луисвилля Роман Ямпольский в своей работе «Необъяснимость и непостижимость искусственного интеллекта» отмечал: «Если все, что у нас есть,—это «черный ящик», то невозможно понять причины сбоев и повысить безопасность системы. Кроме того, если мы привыкнем принимать ответы ИИ без объяснения причин, мы не сможем определить, не начал ли он давать неправильные или манипулятивные ответы. Это чрезвычайно опасная дорога, на которую мы ступаем».

Преимущества «черного ящика» заключаются в том, что такое обучение происходит быстрее и стоит дешевле, а также позволяет давать системе для обучения сразу большой массив данных. Современные модели, такие как GPT и Alpha Zero, обучаются именно по модели «черного ящика». Так, OpenAI —разработчик ChatGPT, DALL-E и других ИИ-систем—не стала раскрывать набор данных, использованных для обучения модели GPT-4.

Участники сообщества раскритиковали действия компании, отметив, что они затрудняют разработку средств защиты от угроз, исходящих от систем ИИ. Вице-президент по информационному дизайну Бен Шмидт, который работает в стартапе моделей ИИ с открытым исходным кодом Nomic AI, считает, что выход GPT-4 «может положить конец «открытому» ИИ».

Такой подход имеет и другие негативные стороны—в «черном ящике» сложнее выявить предвзятость алгоритма и оценить качество входных данных. На эту проблему указали исследователи из Пало-Альто, центра Кремниевой долины. Они отмечали, что при обучении больших языковых моделей используются массивы данных из интернета, которые не отражают интересы всех групп населения, поскольку у некоторых из них просто нет доступа к Cети.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Алексей Мартынцев: «Кибербезопасность — это процесс, а не результат» Алексей Мартынцев: «Кибербезопасность — это процесс, а не результат»

Кибератаки на российские предприятия становятся все более профессиональными

РБК
Искусственный интеллект, настоящие чувства. Почему люди заводят романы с чат-ботами Искусственный интеллект, настоящие чувства. Почему люди заводят романы с чат-ботами

Почему люди влюбляются в чат-ботов и какие опасности таят такие связи?

Inc.
Евгений Колбин: «Мы построили бизнес-процессы вокруг клиента» Евгений Колбин: «Мы построили бизнес-процессы вокруг клиента»

Евгений Колбин рассказал о том, как развиваются облака в России

РБК
«Важно запасть в душу потребителю» «Важно запасть в душу потребителю»

Как государство поддерживает экспортеров

Эксперт
Рубен Ениколопов: «В вопросах на миллиарды долларов нельзя консультироваться с ChatGPT» Рубен Ениколопов: «В вопросах на миллиарды долларов нельзя консультироваться с ChatGPT»

Рубен Ениколопов: сможет ли Россия в одиночку совершить технологический рывок

РБК
Плохой «ритм» сна связан с 83 болезнями Плохой «ритм» сна связан с 83 болезнями

Люди плохо представляют, сколько они на самом деле спят

ТехИнсайдер
Сергей Шумский: «У роботов не будет инстинкта власти, как у человека» Сергей Шумский: «У роботов не будет инстинкта власти, как у человека»

Минувший год имеет шансы войти в историю как время взрывного роста нейросетей

РБК
Переходи на зеленый Переходи на зеленый

Мода на экосексуальность и привычки, полезные для тебя и для природы

Лиза
Ирина Калабихина: «Демографический взрыв уже у нас за спиной» Ирина Калабихина: «Демографический взрыв уже у нас за спиной»

Экономист Ирина Калабихина — что с нами будет дальше и хватит ли всем места?

РБК
Мудборд: Арнольд Шварценеггер из восьмидесятых как эталонное воплощение стиля культуриста Мудборд: Арнольд Шварценеггер из восьмидесятых как эталонное воплощение стиля культуриста

Как выглядел Арнольд Шварценеггер в восьмидесятых и что влияло на его стиль?

Правила жизни
За белым солнцем За белым солнцем

Белые ночи, Новый год, летний лед:  что еще возможно в июне в Якутии?

Новый очаг
Инвесторы стали избирательнее и осторожнее Инвесторы стали избирательнее и осторожнее

Агробизнес продолжает планировать инвестиции в развитие

Агроинвестор
Непечатное дело Непечатное дело

Скандалы, последние годы гремевшие в российской книжной индустрии

Правила жизни
Вера Васильева: «Я ничего специально не делаю, живу как хочется» Вера Васильева: «Я ничего специально не делаю, живу как хочется»

Ее взлет в кино был ярким и мощным, а годы в профессии — разными, трудными...

Караван историй
Такси высокого полета Такси высокого полета

Как и на чем мы будем передвигаться через несколько десятилетий

РБК
Борьба за наследство Борьба за наследство

Диадохи: наследники Александра Македонского, развалившие его империю

Дилетант
Загадочная смерть Дороти Хант, жены одного из ключевых участников Уотергейтского скандала Загадочная смерть Дороти Хант, жены одного из ключевых участников Уотергейтского скандала

Трагедия Дороти Хант и ее связь с Уотергейтским скандалом

ТехИнсайдер
У берегов Сингапура нашли 3,5 тонны средневековой китайской посуды У берегов Сингапура нашли 3,5 тонны средневековой китайской посуды

С давних времен остров Сингапур выступал важным перевалочным пунктом для моряков

N+1
Как приручить дедлайн: работаем со сроками Как приручить дедлайн: работаем со сроками

Как не превращать дедлайн в источник ужаса и авралов?

Inc.
В поиске общих интересов В поиске общих интересов

Пересечение интересов США и России возможно в энергетике и климатической сфере

Ведомости
Команда спасателей Команда спасателей

Справляемся с отпускными кризисными бьюти-ситуациями

Moodboard
Как увидеть угрозы безопасности при работе с ИИ? Ловите чек-лист Как увидеть угрозы безопасности при работе с ИИ? Ловите чек-лист

Чем опасны ИИ-модели для бизнеса и почему традиционная ИБ не справляется

Inc.
Абонент не в сети: почему цифровой детокс и отказ от технологий не всегда помогают Абонент не в сети: почему цифровой детокс и отказ от технологий не всегда помогают

Как разумно регулировать свое поведение в соцсетях и в обращении с технологиями

Forbes
История Амона Гета, жестокого коменданта концентрационного лагеря, который был казнен за свои преступления в 1946 году История Амона Гета, жестокого коменданта концентрационного лагеря, который был казнен за свои преступления в 1946 году

Имя Амона Гета могло было быть навсегда забыто, если бы не «Список Шиндлера»...

ТехИнсайдер
Помело: польза, вред, как есть и что приготовить — рецепт шеф-повара Помело: польза, вред, как есть и что приготовить — рецепт шеф-повара

Чем полезно помело и как правильно его есть?

РБК
Колорадские жабы оказались под угрозой из-за высокого спроса на их психоактивный яд Колорадские жабы оказались под угрозой из-за высокого спроса на их психоактивный яд

Почему снижается численность колорадских жаб

N+1
О чем молчат рекорды HoReCa О чем молчат рекорды HoReCa

Будут ли все последствия смещения потребления с кухни в ресторан положительными?

Агроинвестор
Антон Хабаров: «Это будет очень сложная для меня ситуация» Антон Хабаров: «Это будет очень сложная для меня ситуация»

Антон ответил на короткие, но откровенные блиц-вопросы. Получилось интересно!

Караван историй
«Нам остается либо примкнуть, либо возглавить процесс» «Нам остается либо примкнуть, либо возглавить процесс»

Cердечно-сосудистый хирург Глеб Ким — о том, как ИИ изменит медицину

Санкт-Петербургский университет
Музей как увлечение Музей как увлечение

Единственный в своем роде: музей при Институте космических исследований РАН

Знание – сила
Открыть в приложении