Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

К гадалке не ходи: за последние четыре года продажи карт таро выросли в семь раз К гадалке не ходи: за последние четыре года продажи карт таро выросли в семь раз

Как и почему растет «гадательный» сегмент в тиражах издательств?

Forbes
Самые научно точные фильмы про космос Самые научно точные фильмы про космос

Существуют ли достоверные художественные фильмы про космос?

Maxim
Квантовая готовность: ждет ли бизнес новая технологическая революция Квантовая готовность: ждет ли бизнес новая технологическая революция

Существует риск проспать квантовую революцию, считает Андрей Скорочкин

Forbes
Цифровой сценарист: как ИИ создает иллюзию свободы выбора Цифровой сценарист: как ИИ создает иллюзию свободы выбора

Как научиться распознавать технологические манипуляции

Forbes
Сила воли: что мешает нам добиваться цели Сила воли: что мешает нам добиваться цели

Проблема отсутствия силы воли – в образе жизни, который ее ослабляет

Psychologies
В тени новой биологии, или Вверх по лестнице, ведущей вниз В тени новой биологии, или Вверх по лестнице, ведущей вниз

Сравнительная анатомия – старая наука, интеллектуальный опыт которой очень богат

Знание – сила
Заряженные капли отказались разбрызгиваться при ударе о твердую поверхность Заряженные капли отказались разбрызгиваться при ударе о твердую поверхность

Электричество вокруг заряженной капли предотвращает ее разбрызгивание

N+1
И хочется, и колется И хочется, и колется

Совпадает ли наше мнение о косметологии с реальностью? Развеиваем мифы

Grazia
Гарик Сукачёв: «Я одновременно и оптимист, и пессимист» Гарик Сукачёв: «Я одновременно и оптимист, и пессимист»

Гарик Сукачёв: «Что бы я ни создал, всегда критика была со знаком минус»

Караван историй
Невролог назвал 3 ошибки, которые люди совершают в молодости. Их можно исправить прямо сейчас Невролог назвал 3 ошибки, которые люди совершают в молодости. Их можно исправить прямо сейчас

Три вещи, которых можно избежать в молодости

Inc.
У нас секса нет? У нас секса нет?

Из-за чего мужчины комплексуют в постели?

Лиза
3 бизнес-ошибки основателя фастфуд-сети Mary Wong 3 бизнес-ошибки основателя фастфуд-сети Mary Wong

Основатель Mary Wong — о шишках, которые набил в процессе развития фастфуд-сети

Inc.
Исследование показало, сколько раз нужно заниматься сексом, чтобы снизить риск депрессии Исследование показало, сколько раз нужно заниматься сексом, чтобы снизить риск депрессии

Секс один-два раза в неделю может принести наибольшую психологическую пользу

Inc.
Юродивый из Лефортова Юродивый из Лефортова

Почему смерть рэпера обсуждала вся страна и что не так с молодежной политикой?

Монокль
Женщина хочет крови: что такое femgore и как нас пугают безумными героинями в кино Женщина хочет крови: что такое femgore и как нас пугают безумными героинями в кино

Как под страшной маской femgore скрываются сатира и социальная критика

Forbes
Весенняя аллергия Весенняя аллергия

Какие сюрпризы может преподносить аллергия

Здоровье
Всё в цвету Всё в цвету

Обсудили с экспертом, как защитить чувствительную кожу в сезон пыльцы

Лиза
От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России

Зачем нужна биометрия и как ее использовать в России

ТехИнсайдер
«Пройти процесс самопознания»: как через смыслы найти свою мотивацию в бизнесе «Пройти процесс самопознания»: как через смыслы найти свою мотивацию в бизнесе

Как найти мотивацию и смысл в своей деятельности

Forbes
Победители и побеждённые Победители и побеждённые

Противоречивый мир Англии: норманны властвовали землей, а саксы её возделывали

Дилетант
Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный

Как развить свой продукт с помощью digital-маркетинга

VOICE
Почему долгосрочные сбережения «не летят» Почему долгосрочные сбережения «не летят»

Почему у людей нет интереса к программе долгосрочных сбережений и ИИС-3

Монокль
Колоссального кальмара впервые сняли на видео в естественной среде обитания Колоссального кальмара впервые сняли на видео в естественной среде обитания

Как удалось запечатлеть колоссального кальмара в родных для него глубинах океана

N+1
Собаки могут предупредить о распространении опасной «лихорадки долины» Собаки могут предупредить о распространении опасной «лихорадки долины»

Ученые показали, что собаки также как и человек страдают от лихорадки долины

ТехИнсайдер
Почему карманы в мужских брюках глубже, чем в женских Почему карманы в мужских брюках глубже, чем в женских

Причины, по которым модельеры отказываются от глубоких карманов в женской одежде

ТехИнсайдер
Российское бьюти-чудо: как меняется отечественная индустрия косметики Российское бьюти-чудо: как меняется отечественная индустрия косметики

Как российская косметика становится полноценным трендсеттером

РБК
Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников

Как Мэй Хабиб создает ПО на базе ИИ, которое берет на себя рутинные задачи

Forbes
Оппонента не выбирают Оппонента не выбирают

Как изменилась политическая картина в Турции после ареста мэра Стамбула

Эксперт
8 самых грустных фильмов про собак 8 самых грустных фильмов про собак

Эти фильмы про собак точно тронут вас за душу

Maxim
Станет белее новых: как очистить маркерную доску от старых каракулей Станет белее новых: как очистить маркерную доску от старых каракулей

Как избавиться от разводов на маркерной доске и вернуть ей прежний вид?

ТехИнсайдер
Открыть в приложении