Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.
  • Удаление данных (Data Removal): исключение части данных из обучающего набора.
  • Вставка ложных объектов (Object Insertion): добавление несуществующих или ложных объектов в обучающий набор. Сюда же входят скрытые надписи, вотермарки, изображения.
  • Изменение меток классов (Label Flipping): изменение или искажение разметки классов в обучающем наборе. То есть данные не добавляются, но происходит подмена: например, картинки с кошками подписываются как картинки с собаками, и наоборот.

Но гораздо интереснее те методы, которые нельзя заметить, ведь современные отравленные данные могут выглядеть нормально для человеческого глаза, но при этом они тоже будут ломать алгоритм.

Одним из самых громких примеров отравления данных является программа Nightshade, созданная исследователями Чикагского университета. Это ответ на достаточно больную этическую тему для больших генеративных ИИ-моделей — проблему авторского права.

Чтобы обучить качественную модель на уровне DALL-E и Midjourney, нужно не просто много данных, нужно очень много данных. И многие большие модели не обладают правами на работы, которые использовались в обучении. А результат работы — сгенерированная картинка, которая не имеет признаков интеллектуальной собственности. Nightshade незаметно вставляет признаки одного объекта на картинки с другим. Там, где человеческий глаз увидит собаку, нейронная сеть может воспринимать признаки и контуры другого объекта, например кота. Это позволяет создавать искажения в изображениях, которые остаются незамеченными человеком, но влияют на работу модели искусственного интеллекта, обученной на этих данных. Изображения меняются таким образом, что видимая разница минимальна.

Зоны риска

Отравление данных — это очень серьезный метод воздействия на системы искусственного интеллекта, он может привести к различным по степени негативным последствиям в зависимости от контекста и особенностей атаки. На эффективность отравления данных влияют степень его скрытности и сложность обнаружения изменений.

Цели атаки и контекст также влияют на последствия — от обмана локальных систем безопасности до воздействия на масштабные финансовые или медицинские системы.

Сейчас отравление данных существует и на уровне прикладных инструментов для незащищенных некрупных систем, и как глобальная угроза безопасности, которая изучается ведущими учеными и отраслевыми специалистами.

Искусственный интеллект внедряется во все чувствительные сферы нашей жизни: финансы, медицину, пропускные системы и даже поиск преступников. Последствия отравления данных могут быть катастрофическими. Вот несколько примеров.

Распознавание лиц: злоумышленник может добавить в обучающий набор чужие изображения лиц, взятые из открытых источников. Это может привести к тому, что невиновного человека задержат правоохранительные органы.

Медицинские данные: подмена истории болезни пациента или результатов анализов в медицинских приложениях. Такая атака может привести к ложному диагнозу.

Финансовые данные: из-за добавления фальшивых транзакций или ухищрений в финансовые данные человеку могут предъявить необоснованные обвинения в финансовых махинациях. А атака большего масштаба может спровоцировать дестабилизацию рынка.

Дорожная ситуация (беспилотные автомобили): злоумышленник может добавить деформированные дорожные знаки или маркировку на дорогах в систему распознавания. Это может привести к авариям и несчастным случаям.

Способы защиты

Чтобы минимизировать риски отравления данных, необходим системный подход к кибербезопасности. С одной стороны, он должен включать традиционные методы: мониторинг сетей и использование брандмауэров, антивирусов и обновление программного обеспечения. Кроме того, для обнаружения вредоносных воздействий алгоритмами машинного обучения могут решаться такие задачи, как мониторинг аномалий, фильтрация и валидация данных после обучения.

Специалисту, работающему с большими моделями и сложными признаками, важно регулярно мониторить и изучать данные, которые он использовал для обучения моделей искусственного интеллекта. Это позволит своевременно выявлять подозрительные или аномальные паттерны, которые могут свидетельствовать о внедрении отравленных данных.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Мне интересно заниматься фестивалями» «Мне интересно заниматься фестивалями»

Сергей Капков: новое поколение и судьба индустрии развлечений в новой реальности

Правила жизни
Оцифрованный фитнес Оцифрованный фитнес

Виртуальная реальность и искусственный интеллект добрались и до тренажеров

ТехИнсайдер
Ольга Сварник: «Мозгу постоянно нужна новизна» Ольга Сварник: «Мозгу постоянно нужна новизна»

О мире, где человек вынужден конкурировать с нейросетями

РБК
Вы будете в шоке, когда узнаете, что раньше означало выражение «страдать херней»! Вы будете в шоке, когда узнаете, что раньше означало выражение «страдать херней»!

«Херня» — это грыжа на латинском, а те, кто ею страдал, были больными людьми

ТехИнсайдер
Резервная копия человечества на Красной планете: узнали у экспертов, когда ждать первых марсианских колоний Резервная копия человечества на Красной планете: узнали у экспертов, когда ждать первых марсианских колоний

5 вопросов о колонизации Марса писателю-фантасту и популяризатору науки

ТехИнсайдер
Бемби против Годзиллы Бемби против Годзиллы

«Олененок»: триумф травмы

Weekend
20 способов держать мозг в тонусе 20 способов держать мозг в тонусе

Полезные привычки для улучшения когнитивных способностей

Psychologies
Секрет молодости и худобы китайцев: удивительные преимущества употребления теплой воды Секрет молодости и худобы китайцев: удивительные преимущества употребления теплой воды

В чем польза горячей и теплой воды?

ТехИнсайдер
Между Оруэллом и Хаксли: 10 отличных сериалов-антиутопий Между Оруэллом и Хаксли: 10 отличных сериалов-антиутопий

Сериалы-антиутопии: от инкубаторов для детей до религиозных конфликтов

Правила жизни
The Doors для сглаживания танинов и Дебюсси для усиления свежести. Как музыка меняет вкус вина The Doors для сглаживания танинов и Дебюсси для усиления свежести. Как музыка меняет вкус вина

Почему сомелье предпочитают проводить дегустации в тишине?

СНОБ
Агафья Завидная: как сложилась судьба единственной ученицы Ивана Поддубного Агафья Завидная: как сложилась судьба единственной ученицы Ивана Поддубного

Трагичная историю единственной ученицы Ивана Поддубного, Агафьи Завидной

ТехИнсайдер
Jeep Avenger. Маленький бриллиант в короне Jeep Jeep Avenger. Маленький бриллиант в короне Jeep

У Jeep всегда были проблемы с компактными моделями. Изменит ли ситуацию Avenger?

4x4 Club
Запах белых ночей. Кем был создатель духов Chanel №5 Эрнест Бо Запах белых ночей. Кем был создатель духов Chanel №5 Эрнест Бо

Каким человеком был парфюмер Эрнест Бо?

СНОБ
Крошки мои: зачем нужна текстурирующая пудра для волос? Крошки мои: зачем нужна текстурирующая пудра для волос?

Пудра для волос: придание объема, небрежная укладка или эффект сухого шампуня

Правила жизни
Как избавиться от тревожных мыслей: 2 полезных упражнения Как избавиться от тревожных мыслей: 2 полезных упражнения

Техника медитации и практика наблюдателя для обуздания тревожных мыслей

Psychologies
Узнайте про архетипы Юнга! Вот как психолог объяснял личность человека Узнайте про архетипы Юнга! Вот как психолог объяснял личность человека

Что такое архетипы и как они влияют на личность человека?

ТехИнсайдер
Выход за рамки: как российскому бизнесу повысить шансы на успех за рубежом Выход за рамки: как российскому бизнесу повысить шансы на успех за рубежом

Что необходимо учитывать, чтобы вывести бизнес за пределы страны

Forbes
Семейное дело: как дети режиссеров идут по стопам родителей и строят карьеру в кино Семейное дело: как дети режиссеров идут по стопам родителей и строят карьеру в кино

Профессию в киноиндустрии «наследуют» не только актеры, но и режиссеры

Forbes
По капле крови По капле крови

Донорство крови: главные факты, которые важно знать

Лиза
Вертолет, который смог Вертолет, который смог

Как Ingenuity собирает данные на Марсе

ТехИнсайдер
Откровения сталкерши: прототип героини сериала «Олененок» дала интервью Откровения сталкерши: прототип героини сериала «Олененок» дала интервью

Ричард Гэдд качестве сюжета использовал свою личную историю о сталкинге

Psychologies
Муж-садист: какими были отношения Салтанат Нукеновой с Куандыком Бишимбаевым Муж-садист: какими были отношения Салтанат Нукеновой с Куандыком Бишимбаевым

Дело Салтанат: почему жертва домашнего насилия так и не ушла от мужа?

Psychologies
Типология энергетических вампиров: как не стать жертвой Типология энергетических вампиров: как не стать жертвой

Энергетические вампиры — кто они и что задумали?

Psychologies
Как на телефоне обрезать музыку: приложения и онлайн-сервисы Как на телефоне обрезать музыку: приложения и онлайн-сервисы

Из любого трека можно сделать рингтон, но как обрезать музыку для звонка?

CHIP
Гениальное просто! Вот почему вам иногда нужно скучать: интересные факты Гениальное просто! Вот почему вам иногда нужно скучать: интересные факты

Как скука может нам помочь прикоснуться к своей истинной природе?

ТехИнсайдер
Как вы можете бороться с климатическим кризисом? Узнайте простые советы эксперта! Как вы можете бороться с климатическим кризисом? Узнайте простые советы эксперта!

Может ли простой человек повлиять на глобальное потепление?

ТехИнсайдер
«Татуировщик из Освенцима»: реальная история о любви в концлагере и чувстве вины «Татуировщик из Освенцима»: реальная история о любви в концлагере и чувстве вины

«Татуировщик из Освенцима»: кино-памятник, сделанный с уважением к жертвам войны

Forbes
Добавим зелень Добавим зелень

Как вырастить полезные травы в домашних условиях

Лиза
Охрана красных колобусов принесет неожиданно много пользы африканским джунглям Охрана красных колобусов принесет неожиданно много пользы африканским джунглям

Как по состоянию популяций красных колобусов можно судить о здоровье экосистемы

N+1
Не вступать в старость без любви: почему возраст пугает и как научиться его принимать Не вступать в старость без любви: почему возраст пугает и как научиться его принимать

Глава из книги «Возраст: Инструкция по применению»

Forbes
Открыть в приложении