Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Эпидемия «проявленности»: как искренность превратилась в коммерческий продукт Эпидемия «проявленности»: как искренность превратилась в коммерческий продукт

Как искренность превратилась в перформанс?

Forbes
Мяч в кольце Мяч в кольце

Спортивные события второго года Великой Отечественной войны

Ведомости
Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер

Инженеры разработали гибкие актуаторы, которые могут плавно деформироваться

N+1
Зажигая маяки Зажигая маяки

Зимнее бездорожье длиной в 2 недели: что манит участников «Экспедиции-Трофи»?

Отдых в России
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Бренд народного происхождения Бренд народного происхождения

Как в России развиваются художественные промыслы

Эксперт
Как и зачем одна женщина записала и сохранила более 30 лет передач на ТВ в США Как и зачем одна женщина записала и сохранила более 30 лет передач на ТВ в США

Архив Мэрион Стокс — это уникальная хроника истории

ТехИнсайдер
Японские ученые протестировали три способа пробуждения и выяснили, как избавиться от сонливости по утрам Японские ученые протестировали три способа пробуждения и выяснили, как избавиться от сонливости по утрам

Как изменение освещения в спальне поможет избавить от сонливости по утрам

Inc.
Даниил Воробьев Даниил Воробьев

Встречайте — Даниил Воробьев, у которого почти сто работ в кино

Караван историй
Как сохранить близость с детьми, даже когда они становятся взрослыми Как сохранить близость с детьми, даже когда они становятся взрослыми

Если вы хотите, чтобы ваши дети всегда доверяли вам, следуйте этим советам

Inc.
Вклад в людей и технологии Вклад в людей и технологии

Москва поддерживает бизнес, выделяя гранты на развитие экспортной деятельности

Ведомости
Какую одежду с этикеткой «стирка запрещена» можно стирать дома: мнение экспертов Какую одежду с этикеткой «стирка запрещена» можно стирать дома: мнение экспертов

Какие вещи можно привести в порядок дома, а какую лучше доверить профессионалам

VOICE
Падая в пропасть Падая в пропасть

Страхи мешают жить? Познакомьтесь с ними и попытайтесь приручить

Psychologies
Дмитрий Ермузевич: Отличный кадр Дмитрий Ермузевич: Отличный кадр

Фотограф Дмитрий Ермузевич о магии, которая случается, когда «вылетает птичка»

Maxim
Ликвидность на бумаге Ликвидность на бумаге

Почему в банковской системе России сохраняется структурный профицит ликвидности

Ведомости
Экологическая головоломка: как правильно убирать за собакой в 21 веке Экологическая головоломка: как правильно убирать за собакой в 21 веке

Как поддерживать чистоту после своей собаки, не нанося вреда окружающей среде?

Inc.
Социальные круги: почему мы не можем дружить со всеми Социальные круги: почему мы не можем дружить со всеми

Отрывок из книги «Homo Amicus. Деловой человек в поисках друга»

Forbes
Модный этикет Модный этикет

О том, какие сегодня существуют правила дресс-кода и надо ли их соблюдать

Grazia
Витаминный конфликт Витаминный конфликт

Что такое антивитамины и почему их стоит знать?

Лиза
Терапия будущего Терапия будущего

Марк Бартон — про ИИ-психолога и инновации в сфере психологической помощи

Psychologies
Мария Мацель: «Теперь наконец я могу делать и что-то свое» Мария Мацель: «Теперь наконец я могу делать и что-то свое»

Актриса Мария Мацель — о том, как снимаются фильмы-сны

Ведомости
Победители и побеждённые Победители и побеждённые

Противоречивый мир Англии: норманны властвовали землей, а саксы её возделывали

Дилетант
Интенсивное лечение артериальной гипертензии снизило риск деменции Интенсивное лечение артериальной гипертензии снизило риск деменции

Интенсивное выявление артериальной гипертензии значительно снижает риск деменции

N+1
Конструктор маркет-независимости Конструктор маркет-независимости

Как селлерам помогают сервисы по созданию независимых интернет-магазинов

Монокль
«Джеймс Уэбб» вновь нашел в атмосфере потенциального гикеана диметилсульфид «Джеймс Уэбб» вновь нашел в атмосфере потенциального гикеана диметилсульфид

«Джеймс Уэбб» вновь обнаружил признаки наличия диметилсульфида

N+1
От «Больницы Питт» до «Терапии»: 8 лучших новых медицинских сериалов От «Больницы Питт» до «Терапии»: 8 лучших новых медицинских сериалов

Медицинские драмы переживают новую волну популярности! А вот их подборка

Forbes
Генерируй, или проиграешь: искусственный интеллект задает темп чиновникам и бизнесу Генерируй, или проиграешь: искусственный интеллект задает темп чиновникам и бизнесу

Как искусственный интеллект облегчил жизнь и какие вызовы он поставил

ФедералПресс
Мама, ты меня не понимаешь! Мама, ты меня не понимаешь!

Как направить дочь по верному пути и при этом сохранить с ней контакт?

Лиза
В погоне за качеством В погоне за качеством

КУ российских компаний перестали быть просто центрами переподготовки

Ведомости
Разбираем типичные проблемы российских предпринимателей Разбираем типичные проблемы российских предпринимателей

Список из важнейших ошибок российских предпринимателей

Inc.
Открыть в приложении