Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как превратить бывшее болото в тематический парк и привлечь в него тысячи туристов Как превратить бывшее болото в тематический парк и привлечь в него тысячи туристов

Как предпринимательница превратила любовь к сказам в успешный проект

Forbes
Новое прочтение Новое прочтение

Современная архитектура и продуманный классический интерьер: дом в Подмосковье

SALON-Interior
Самые безопасные: 10 авиакомпаний мира, у которых не было авиакатастроф за всю историю их существования Самые безопасные: 10 авиакомпаний мира, у которых не было авиакатастроф за всю историю их существования

Какие авиакомпании безопаснее других за всю историю гражданской авиации

ТехИнсайдер
Если ребёнок обманывает Если ребёнок обманывает

Почему дети врут, и что родителям делать с этим враньём?

Здоровье
Пять языков любви Пять языков любви

Секрет прочных отношений

kiozk originals
Зуб мудрости: удалять нельзя оставить Зуб мудрости: удалять нельзя оставить

Все «за» и «против» удаления зубов мудрости

Здоровье
Энергия для Арктики Энергия для Арктики

Как в Арктике используют возобновляемую энергию и малые атомные электростанции

Ведомости
Какую одежду с этикеткой «стирка запрещена» можно стирать дома: мнение экспертов Какую одежду с этикеткой «стирка запрещена» можно стирать дома: мнение экспертов

Какие вещи можно привести в порядок дома, а какую лучше доверить профессионалам

VOICE
Бомбардировки, голод, штурм: как Калининград встречал конец войны Бомбардировки, голод, штурм: как Калининград встречал конец войны

Как принималось решение о том, что кенигсбергская земля отойдет Союзу

ФедералПресс
Эхо прошедшей войны Эхо прошедшей войны

Это после Великой Отечественной они стали народными актерами, но на фронте...

Коллекция. Караван историй
Мужчина мечты Мужчина мечты

Хочет ли Ярослав Могильников остаться в кино и как проходят его первые свидания

VOICE
Что наука знает о счастье: 3 исследования Что наука знает о счастье: 3 исследования

Марина Пустильник о том, что же делает человека счастливым

РБК
Почему герои русской литературы — это антипример концепции wellbeing Почему герои русской литературы — это антипример концепции wellbeing

Не перестаем любить героев великой классики, однако в жизни делаем все наоборот

РБК
Новое исследование: мат улучшает спортивные результаты Новое исследование: мат улучшает спортивные результаты

Как «матюки» во время физических нагрузок помогают превзойти свои возможности

Maxim
Остановить внутреннего паникера Остановить внутреннего паникера

Как утихомирить внутреннего тревожного паникера: советы от психотерапевтов

Psychologies
Непростая материя Непростая материя

Секреты, которые скрывают узоры ивановских тканей

Вокруг света
Даниил Воробьев: «Урок» – это большой разговор с матерью через экран» Даниил Воробьев: «Урок» – это большой разговор с матерью через экран»

Даниил Воробьев о том, как «выгуливает» своих героев вне съемочной площадки

Ведомости
Как первый полет в космос повлиял на моду и дизайн: от русского космизма до визуальной культуры после Гагарина Как первый полет в космос повлиял на моду и дизайн: от русского космизма до визуальной культуры после Гагарина

Как философия русского космизма сформировала визуальную культуру XX-XXI веков?

ТехИнсайдер
Амарант Амарант

Почему амарант — суперфуд и важнейшая пищевая культура XXI века

Здоровье
Настоящие произведения искусства: топ-5 самых красивых паспортов в мире Настоящие произведения искусства: топ-5 самых красивых паспортов в мире

Развороты некоторых паспортов можно смело вывешивать в галереях. Посмотрите!

ТехИнсайдер
«И всюду он гусар» «И всюду он гусар»

Лейб-гвардию Гусарского полка восторженно воспевали в стихах и на полотнах

Дилетант
Ботаники описали новый вид паразитирующих на грибах «волшебных фонариков» с Малайского полуострова Ботаники описали новый вид паразитирующих на грибах «волшебных фонариков» с Малайского полуострова

Как на востоке Малайского полуострова новый вид тисмий

N+1
Вступление в брак может повысить риск деменции: шокирующие выводы ученых Вступление в брак может повысить риск деменции: шокирующие выводы ученых

Как счастливая семейная жизнь может быть связана с когнитивными способностями?

ТехИнсайдер
Налетели на ось: за что перевозчиков сыпучих грузов штрафуют на миллионы Налетели на ось: за что перевозчиков сыпучих грузов штрафуют на миллионы

Перевозчики сыпучих грузов сообщают о тяжелой ситуации в отрасли

Forbes
Венгерская хроника Венгерская хроника

Михай Зичи: хроникёр придворной жизни России XIX в акварели

Дилетант
Рукопожатие крепкое Рукопожатие крепкое

Как развивается рынок высокотехнологичных протезов

Эксперт
Бестужевы (Бестужевы-Рюмины) Бестужевы (Бестужевы-Рюмины)

Бестужевы — род с таинственным происхождением и запутанной генеалогией

Дилетант
Неуместные следы и водоплавающий единорог: злоключения Карла Бау Неуместные следы и водоплавающий единорог: злоключения Карла Бау

«Научный» креационизм. Мифы и предубеждения

Наука и техника
Каждая десятая Каждая десятая

Об эндометриозе, его симптомах и способах справиться с болезнью

VOICE
Пленка и рынок: отрывок из книги «Царапины и глитчи. О сохранении и демонстрации кино в начале XXI века» Пленка и рынок: отрывок из книги «Царапины и глитчи. О сохранении и демонстрации кино в начале XXI века»

Эссе из сборника «О сохранении и демонстрации кино в начале XXI века»

Правила жизни
Открыть в приложении