Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Перевоспитание мужчин и инвестиции: как Австралия стала примером в борьбе с насилием Перевоспитание мужчин и инвестиции: как Австралия стала примером в борьбе с насилием

Как Австралия смогла войти в топ-20 самых безопасных стран мира для женщин?

Forbes
Вступление в брак может повысить риск деменции: шокирующие выводы ученых Вступление в брак может повысить риск деменции: шокирующие выводы ученых

Как счастливая семейная жизнь может быть связана с когнитивными способностями?

ТехИнсайдер
Образование без серверов: как и зачем использовать облачные технологии вузам Образование без серверов: как и зачем использовать облачные технологии вузам

Использование облачных технологий в процессе образования улучшает успеваемость

Forbes
Европейская оборона Европейская оборона

Между выводом американских войск и «разумной достаточностью»

Деньги
10 вещей, которые нужно успеть сделать для пожилых родителей 10 вещей, которые нужно успеть сделать для пожилых родителей

Список бесценных вещей, которые вы можете сделать для ваших родителей

Maxim
Всё в цвету Всё в цвету

Обсудили с экспертом, как защитить чувствительную кожу в сезон пыльцы

Лиза
Губернатор Московской области Андрей Воробьев: Нас часто сравнивают с нашей столицей Губернатор Московской области Андрей Воробьев: Нас часто сравнивают с нашей столицей

Глава Подмосковья об управлении регионом с помощью цифры и конкуренции с Москвой

Ведомости
Цена возрождения Цена возрождения

Как восстанавливали экономику СССР после Великой Отечественной войны

Деньги
Смена сторон Смена сторон

Почему теннисисты меняют спортивное гражданство и выступают за другие страны

Ведомости
«Галилея археологов» «Галилея археологов»

Археологи давно борются с искушением перекопать поглубже всю Святую Землю

Знание – сила
Стоят ли дорогие фены своих денег: мнение парикмахеров Стоят ли дорогие фены своих денег: мнение парикмахеров

Нужен ли тебе фен за тридцать три, а не за три тысячи рублей? Давай разбираться!

VOICE
Секрет похудения, который заключается не в голодании или подсчете калорий Секрет похудения, который заключается не в голодании или подсчете калорий

Какое воздействие на организм окажет один день без углеводов?

ТехИнсайдер
Беззубый театр. Беседа на спорные темы Беззубый театр. Беседа на спорные темы

Продолжение статьи худрука Марка Розовского о современном театре

Знание – сила
Даниил Воробьев Даниил Воробьев

Встречайте — Даниил Воробьев, у которого почти сто работ в кино

Караван историй
Мария Андреева: «Нам самим круче, когда близкому хорошо» Мария Андреева: «Нам самим круче, когда близкому хорошо»

Мария Андреева: страх перед возрастными ролями и недоумение от молодых актеров

VOICE
«Сейчас период повышения внутренней эффективности» «Сейчас период повышения внутренней эффективности»

Дмитрий Фосман — о перспективах развития экспорта и работе по привлечению кадров

Агроинвестор
Взлетная полоса Взлетная полоса

Брутальный и динамичный интерьер для молодого человека

SALON-Interior
От Петра I до коней на Манежной площади: главные работы Зураба Церетели От Петра I до коней на Манежной площади: главные работы Зураба Церетели

Ключевые работы Зураба Церетели, без которых сложно представить облик городов

Forbes
Тайваньские макаки поохотились на пчел-листорезов Тайваньские макаки поохотились на пчел-листорезов

Макаки в ботаническом саду Фушань ловят и едят пчел-листорезов

N+1
«Впервые играю героя, переполненного любовью» «Впервые играю героя, переполненного любовью»

Андрей Максимов — о Маяковском, театре и байопике «Лиля»

OK!
Сверхурочная экономика Сверхурочная экономика

Власти и работодатели концептуально договорились об изменении Трудового кодекса

Ведомости
«Пройти процесс самопознания»: как через смыслы найти свою мотивацию в бизнесе «Пройти процесс самопознания»: как через смыслы найти свою мотивацию в бизнесе

Как найти мотивацию и смысл в своей деятельности

Forbes
Клещ выходит на охоту Клещ выходит на охоту

Чем опасны клещи?

Лиза
Колоссального кальмара впервые сняли на видео в естественной среде обитания Колоссального кальмара впервые сняли на видео в естественной среде обитания

Как удалось запечатлеть колоссального кальмара в родных для него глубинах океана

N+1
Голодные игры: как российским компаниям выжить в борьбе за последних специалистов Голодные игры: как российским компаниям выжить в борьбе за последних специалистов

Как радикально повысить производительности труда?

Forbes
Топ-7 хлебопечек: самые функциональные модели Топ-7 хлебопечек: самые функциональные модели

Хлебопечки, которые легко справятся с выпечкой ржаного хлеба и сладких батонов

CHIP
На высшей точке На высшей точке

В чем причины холодности женщины и как сделать наслаждение ярким

Лиза
«Спонсоров важно вовлекать в процесс» «Спонсоров важно вовлекать в процесс»

Татьяна Кочарян о спонсорских доходах и работе со зрителями баскетбола

Ведомости
Ирина Мирошниченко: «Я дала понять Андрею Тарковскому, что я замужем» Ирина Мирошниченко: «Я дала понять Андрею Тарковскому, что я замужем»

Актриса Ирина Мирошниченко рассказывает о своей молодости и начале карьеры

Коллекция. Караван историй
Все, что нам кажется маловажным: рецензия на пронзительные «Мелочи жизни» с Киллианом Мерфи Все, что нам кажется маловажным: рецензия на пронзительные «Мелочи жизни» с Киллианом Мерфи

«Мелочи жизни»: оглушающе тихая драма про то, что в жизни нет мелочей

Правила жизни
Открыть в приложении