Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.
  • Удаление данных (Data Removal): исключение части данных из обучающего набора.
  • Вставка ложных объектов (Object Insertion): добавление несуществующих или ложных объектов в обучающий набор. Сюда же входят скрытые надписи, вотермарки, изображения.
  • Изменение меток классов (Label Flipping): изменение или искажение разметки классов в обучающем наборе. То есть данные не добавляются, но происходит подмена: например, картинки с кошками подписываются как картинки с собаками, и наоборот.

Но гораздо интереснее те методы, которые нельзя заметить, ведь современные отравленные данные могут выглядеть нормально для человеческого глаза, но при этом они тоже будут ломать алгоритм.

Одним из самых громких примеров отравления данных является программа Nightshade, созданная исследователями Чикагского университета. Это ответ на достаточно больную этическую тему для больших генеративных ИИ-моделей — проблему авторского права.

Чтобы обучить качественную модель на уровне DALL-E и Midjourney, нужно не просто много данных, нужно очень много данных. И многие большие модели не обладают правами на работы, которые использовались в обучении. А результат работы — сгенерированная картинка, которая не имеет признаков интеллектуальной собственности. Nightshade незаметно вставляет признаки одного объекта на картинки с другим. Там, где человеческий глаз увидит собаку, нейронная сеть может воспринимать признаки и контуры другого объекта, например кота. Это позволяет создавать искажения в изображениях, которые остаются незамеченными человеком, но влияют на работу модели искусственного интеллекта, обученной на этих данных. Изображения меняются таким образом, что видимая разница минимальна.

Зоны риска

Отравление данных — это очень серьезный метод воздействия на системы искусственного интеллекта, он может привести к различным по степени негативным последствиям в зависимости от контекста и особенностей атаки. На эффективность отравления данных влияют степень его скрытности и сложность обнаружения изменений.

Цели атаки и контекст также влияют на последствия — от обмана локальных систем безопасности до воздействия на масштабные финансовые или медицинские системы.

Сейчас отравление данных существует и на уровне прикладных инструментов для незащищенных некрупных систем, и как глобальная угроза безопасности, которая изучается ведущими учеными и отраслевыми специалистами.

Искусственный интеллект внедряется во все чувствительные сферы нашей жизни: финансы, медицину, пропускные системы и даже поиск преступников. Последствия отравления данных могут быть катастрофическими. Вот несколько примеров.

Распознавание лиц: злоумышленник может добавить в обучающий набор чужие изображения лиц, взятые из открытых источников. Это может привести к тому, что невиновного человека задержат правоохранительные органы.

Медицинские данные: подмена истории болезни пациента или результатов анализов в медицинских приложениях. Такая атака может привести к ложному диагнозу.

Финансовые данные: из-за добавления фальшивых транзакций или ухищрений в финансовые данные человеку могут предъявить необоснованные обвинения в финансовых махинациях. А атака большего масштаба может спровоцировать дестабилизацию рынка.

Дорожная ситуация (беспилотные автомобили): злоумышленник может добавить деформированные дорожные знаки или маркировку на дорогах в систему распознавания. Это может привести к авариям и несчастным случаям.

Способы защиты

Чтобы минимизировать риски отравления данных, необходим системный подход к кибербезопасности. С одной стороны, он должен включать традиционные методы: мониторинг сетей и использование брандмауэров, антивирусов и обновление программного обеспечения. Кроме того, для обнаружения вредоносных воздействий алгоритмами машинного обучения могут решаться такие задачи, как мониторинг аномалий, фильтрация и валидация данных после обучения.

Специалисту, работающему с большими моделями и сложными признаками, важно регулярно мониторить и изучать данные, которые он использовал для обучения моделей искусственного интеллекта. Это позволит своевременно выявлять подозрительные или аномальные паттерны, которые могут свидетельствовать о внедрении отравленных данных.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кровавые сцены Кровавые сцены

Хиджама — методика кровопускания, которой приписывают оздоровительный эффект

Tatler
«Пища для ума»: 10 продуктов, необходимых для здоровья мозга «Пища для ума»: 10 продуктов, необходимых для здоровья мозга

Продукты, которые помогут улучшить память и работу мозга в целом

ТехИнсайдер
Ольга Сварник: «Мозгу постоянно нужна новизна» Ольга Сварник: «Мозгу постоянно нужна новизна»

О мире, где человек вынужден конкурировать с нейросетями

РБК
Собак из скандинавского погребения в лодке приписали к элитной породе Собак из скандинавского погребения в лодке приписали к элитной породе

Ученые исследовали останки пяти собак, которых нашли на шведском острове Эланд

N+1
Как быстро почистить затирку плитки: советы профессиональных клинеров Как быстро почистить затирку плитки: советы профессиональных клинеров

Как быстро почистить затирку плитки и как потом за ней ухаживать?

VOICE
Ирина Млодик объяснила, как относиться к жизни ребенка в виртуальном мире Ирина Млодик объяснила, как относиться к жизни ребенка в виртуальном мире

Почему не нужно воевать с виртуальным миром детей

Psychologies
Выйти из тени: как спортсмены работают над личными брендами Выйти из тени: как спортсмены работают над личными брендами

Как найти себя и стать успешным за пределами арен и тренировочных полей

Forbes
Сочувствие господину Капитализму Сочувствие господину Капитализму

«Сочувствующий»: экранизация пулитцеровского романа

Weekend
Олимпийские инновации 24-26-28 Олимпийские инновации 24-26-28

Какие новые виды спорта мы увидим на Играх в 2024–2028 годах, чем они интересны?

ТехИнсайдер
Мария Михалкова-Кончаловская: «Каждый проходит через отречение, чтобы потом понять, насколько это ценный дар — семья» Мария Михалкова-Кончаловская: «Каждый проходит через отречение, чтобы потом понять, насколько это ценный дар — семья»

Неважно, кто твои предки. Параллели прослеживаются ведь в любой семье

Коллекция. Караван историй
Так держать! Так держать!

Способы исправления осанки, которые на самом деле только вредят спине

Лиза
Солнечный друг Солнечный друг

5 вопросов врачу по безопасному загару

Лиза
«Психоанализ может быть полезен любому»: что нужно знать об этом методе психотерапии «Психоанализ может быть полезен любому»: что нужно знать об этом методе психотерапии

Чарльз Турк по сей день совмещает в практике психиатрию и психоанализ

Psychologies
С чем делали бутерброды в СССР С чем делали бутерброды в СССР

Люди в СССР изобретали совершенно удивительные по нынешним меркам бутерброды

Maxim
Сомнительные пошлины Сомнительные пошлины

К чему могут привести ограничения на ввоз российской сельхозпродукции в ЕС

Агроинвестор
3 причины, по которым ваш телефон становится медленнее, и как это исправить 3 причины, по которым ваш телефон становится медленнее, и как это исправить

Что именно приводит к замедлению работы телефона и как это исправить?

ТехИнсайдер
Мать русского футуризма. Как жил и писал поэт-авиатор Василий Каменский Мать русского футуризма. Как жил и писал поэт-авиатор Василий Каменский

Как поэт Василий Каменский стал одним из первых русских авиаторов

СНОБ
Как вы можете бороться с климатическим кризисом? Узнайте простые советы эксперта! Как вы можете бороться с климатическим кризисом? Узнайте простые советы эксперта!

Может ли простой человек повлиять на глобальное потепление?

ТехИнсайдер
Достаточно лучшего Достаточно лучшего

Авторский интерьер с атмосферой дорогого отеля для элегантной молодой пары

SALON-Interior
Медленно, но верно Медленно, но верно

Стиль питания – всего лишь набор пищевых привычек, менять их нужно постепенно

Лиза
Нейроинтерфейс расшифровал речь сразу на двух языках Нейроинтерфейс расшифровал речь сразу на двух языках

Парализованный пациент смог общаться на испанском и английском

N+1
«Я буду всегда с тобой»: что такое сталкинг и как от него защититься в России? «Я буду всегда с тобой»: что такое сталкинг и как от него защититься в России?

Сталкинг: почему люди преследуют других людей?

Правила жизни
Спасите наши души: как появился международный сигнал бедствия SOS Спасите наши души: как появился международный сигнал бедствия SOS

SOS: почему было выбрано такое сочетание букв и как оно стало международным?

ТехИнсайдер
Что делать с клапаном EGR – чинить, менять или глушить? Что делать с клапаном EGR – чинить, менять или глушить?

Зачем нужна EGR, нужна ли вообще и что с ней делать?

4x4 Club
Как выбирали наложниц для турецких гаремов: правдивая история девушки из кавказской деревни Как выбирали наложниц для турецких гаремов: правдивая история девушки из кавказской деревни

Девушка сталкивается со своей судьбой: богатый турок-осман покупает ее

VOICE
5 ошибок, которые могут привести к разводу после 20 лет брака 5 ошибок, которые могут привести к разводу после 20 лет брака

Что такое «серый», или «седой» развод?

Psychologies
Сера преткновения Сера преткновения

Каким радикальным способом разрубили норильский экологический узел

Монокль
10 «спортивных» автомобилей, о которых вы точно никогда не слышали 10 «спортивных» автомобилей, о которых вы точно никогда не слышали

Хит-парад «заряженных» неудачников, о которых вы не слышали!

Maxim
«Робею перед такими сочными красками»: почему мы боимся яркого макияжа «Робею перед такими сочными красками»: почему мы боимся яркого макияжа

Почему девушки порой стесняются даже красной помады?

Psychologies
Сделано в Британии: 10 отличных английских сериалов, которые вы полюбили или пропустили Сделано в Британии: 10 отличных английских сериалов, которые вы полюбили или пропустили

Британские сериалы, которые стоит посмотреть

Правила жизни
Открыть в приложении