Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Борьба вместо рестлинга: Халк Хоган создал профессиональную лигу и привлек чемпионов Борьба вместо рестлинга: Халк Хоган создал профессиональную лигу и привлек чемпионов

Пиво, чемпионы и венчурные фонды: зачем Халк Хоган создал свою лигу?

Forbes
Мяч в кольце Мяч в кольце

Спортивные события второго года Великой Отечественной войны

Ведомости
Типы матриц телевизоров: выбираем лучшую Типы матриц телевизоров: выбираем лучшую

Матрицы телевизоров: как в них не запутаться и какой тип выбрать?

CHIP
Угольщикам недогрузили триллионы Угольщикам недогрузили триллионы

Минэнерго оценило потери российской угольной отрасли в 2 трлн руб

Ведомости
Стесняюсь спросить: как распознать болезнь Альцгеймера? Стесняюсь спросить: как распознать болезнь Альцгеймера?

Альцгеймер: как распознать на ранних этапах и встречается ли он у молодых?

Правила жизни
8 советов стоматологов, как быстро и просто улучшить состояние зубов 8 советов стоматологов, как быстро и просто улучшить состояние зубов

Как поддерживать красоту и здоровье зубов

ТехИнсайдер
Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный

Как развить свой продукт с помощью digital-маркетинга

VOICE
«Сейчас период повышения внутренней эффективности» «Сейчас период повышения внутренней эффективности»

Дмитрий Фосман — о перспективах развития экспорта и работе по привлечению кадров

Агроинвестор
Детка, ты просто космос Детка, ты просто космос

Анна Завтур доказывает: не стоит видеть в ней только лирическую героиню

VOICE
«Издательский проект Петра Первого: Илья Копиевский и новые русские книги» «Издательский проект Петра Первого: Илья Копиевский и новые русские книги»

Как был устроен перенос научно-технических знаний на русский язык

N+1
Мимоза Мимоза

Героиня рассказа Лены Бурковой учится находить радость в простых вещах

Grazia
Непростая материя Непростая материя

Секреты, которые скрывают узоры ивановских тканей

Вокруг света
Месть и немного любви: пять лучших фильмов этой весны о женщинах Месть и немного любви: пять лучших фильмов этой весны о женщинах

Рассказываем о пяти фильмах про женщин, которые стоит посмотреть

Forbes
«Отсутствие масштабных идей сдерживает приток инвестиций» «Отсутствие масштабных идей сдерживает приток инвестиций»

На чьи деньги стоит рассчитывать российским стартапам

Эксперт
ИИ проверят на дырки ИИ проверят на дырки

Минцифры проведет эксперимент по внедрению ИИ в региональные «Госуслуги»

Ведомости
Нейроиммунная регуляция страха оказалась чувствительна к действию психоделиков Нейроиммунная регуляция страха оказалась чувствительна к действию психоделиков

Ученые обнаружили в мозге мышей нейроиммунную сеть, отвечающую за чувство страха

N+1
Как USAID научило армян ненавидеть Россию Как USAID научило армян ненавидеть Россию

Операция USAID под кодовым названием «Армения» войдет в учебники

Монокль
Дачники идут! Дачники идут!

Составили психологических портрет тех, кто предпочитает курортам свои фазенды

Лиза
Апрель: «нашествие» хохлаток Апрель: «нашествие» хохлаток

Хохлатки-эфемероиды — радостный вскрик пробуждающейся природы

Наука и жизнь
Секрет похудения, который заключается не в голодании или подсчете калорий Секрет похудения, который заключается не в голодании или подсчете калорий

Какое воздействие на организм окажет один день без углеводов?

ТехИнсайдер
Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников

Как Мэй Хабиб создает ПО на базе ИИ, которое берет на себя рутинные задачи

Forbes
Дорогой льдов: что такое Северный морской путь и зачем Россия его развивает Дорогой льдов: что такое Северный морской путь и зачем Россия его развивает

Какую роль Севморпуть играет в экономике России и какие перспективы его ждут

ФедералПресс
Ярмарка тщеславия Ярмарка тщеславия

В детстве тебе говорили, что хвастать нехорошо, но как же всё-таки правильно?

VOICE
Во имя красоты Во имя красоты

Елизавета Борзунова о том, как ей удается создавать уникальные украшения

Grazia
Мифотворец Мифотворец

120 лет со дня рождения танцовщика и балетмейстера Сержа Лифаря

Weekend
Как мы не совпадаем Как мы не совпадаем

Почему мы можем не совпадать с потенциальными партнерами?

Psychologies
Что наука знает о счастье: 3 исследования Что наука знает о счастье: 3 исследования

Марина Пустильник о том, что же делает человека счастливым

РБК
Бестужевы (Бестужевы-Рюмины) Бестужевы (Бестужевы-Рюмины)

Бестужевы — род с таинственным происхождением и запутанной генеалогией

Дилетант
IDеальное преступление IDеальное преступление

Четыре года назад «Популярная механика» опубликовала свой первый кибердетектив

ТехИнсайдер
От мела к модели: как искусственный интеллект перестраивает образовательный процесс От мела к модели: как искусственный интеллект перестраивает образовательный процесс

ИИ вошел во многие сферы жизни. Не избежала его и система образования

ТехИнсайдер
Открыть в приложении