Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.
  • Удаление данных (Data Removal): исключение части данных из обучающего набора.
  • Вставка ложных объектов (Object Insertion): добавление несуществующих или ложных объектов в обучающий набор. Сюда же входят скрытые надписи, вотермарки, изображения.
  • Изменение меток классов (Label Flipping): изменение или искажение разметки классов в обучающем наборе. То есть данные не добавляются, но происходит подмена: например, картинки с кошками подписываются как картинки с собаками, и наоборот.

Но гораздо интереснее те методы, которые нельзя заметить, ведь современные отравленные данные могут выглядеть нормально для человеческого глаза, но при этом они тоже будут ломать алгоритм.

Одним из самых громких примеров отравления данных является программа Nightshade, созданная исследователями Чикагского университета. Это ответ на достаточно больную этическую тему для больших генеративных ИИ-моделей — проблему авторского права.

Чтобы обучить качественную модель на уровне DALL-E и Midjourney, нужно не просто много данных, нужно очень много данных. И многие большие модели не обладают правами на работы, которые использовались в обучении. А результат работы — сгенерированная картинка, которая не имеет признаков интеллектуальной собственности. Nightshade незаметно вставляет признаки одного объекта на картинки с другим. Там, где человеческий глаз увидит собаку, нейронная сеть может воспринимать признаки и контуры другого объекта, например кота. Это позволяет создавать искажения в изображениях, которые остаются незамеченными человеком, но влияют на работу модели искусственного интеллекта, обученной на этих данных. Изображения меняются таким образом, что видимая разница минимальна.

Зоны риска

Отравление данных — это очень серьезный метод воздействия на системы искусственного интеллекта, он может привести к различным по степени негативным последствиям в зависимости от контекста и особенностей атаки. На эффективность отравления данных влияют степень его скрытности и сложность обнаружения изменений.

Цели атаки и контекст также влияют на последствия — от обмана локальных систем безопасности до воздействия на масштабные финансовые или медицинские системы.

Сейчас отравление данных существует и на уровне прикладных инструментов для незащищенных некрупных систем, и как глобальная угроза безопасности, которая изучается ведущими учеными и отраслевыми специалистами.

Искусственный интеллект внедряется во все чувствительные сферы нашей жизни: финансы, медицину, пропускные системы и даже поиск преступников. Последствия отравления данных могут быть катастрофическими. Вот несколько примеров.

Распознавание лиц: злоумышленник может добавить в обучающий набор чужие изображения лиц, взятые из открытых источников. Это может привести к тому, что невиновного человека задержат правоохранительные органы.

Медицинские данные: подмена истории болезни пациента или результатов анализов в медицинских приложениях. Такая атака может привести к ложному диагнозу.

Финансовые данные: из-за добавления фальшивых транзакций или ухищрений в финансовые данные человеку могут предъявить необоснованные обвинения в финансовых махинациях. А атака большего масштаба может спровоцировать дестабилизацию рынка.

Дорожная ситуация (беспилотные автомобили): злоумышленник может добавить деформированные дорожные знаки или маркировку на дорогах в систему распознавания. Это может привести к авариям и несчастным случаям.

Способы защиты

Чтобы минимизировать риски отравления данных, необходим системный подход к кибербезопасности. С одной стороны, он должен включать традиционные методы: мониторинг сетей и использование брандмауэров, антивирусов и обновление программного обеспечения. Кроме того, для обнаружения вредоносных воздействий алгоритмами машинного обучения могут решаться такие задачи, как мониторинг аномалий, фильтрация и валидация данных после обучения.

Специалисту, работающему с большими моделями и сложными признаками, важно регулярно мониторить и изучать данные, которые он использовал для обучения моделей искусственного интеллекта. Это позволит своевременно выявлять подозрительные или аномальные паттерны, которые могут свидетельствовать о внедрении отравленных данных.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Несогласие со смертью: почему у умирающих вся жизнь проносится перед глазами? Несогласие со смертью: почему у умирающих вся жизнь проносится перед глазами?

Что происходит с мозгом сразу после последнего удара сердца

Вокруг света
Чистая работа Чистая работа

Как избавляться от цифрового мусора и кому можно поручить эту работу?

РБК
Работа по исполнению себя Работа по исполнению себя

Валентина Габышева о том, что такое призвание и как его в себе разглядеть

Seasons of life
Максимальное уважение: почему японцы вместо рукопожатий предпочитают поклоны? Максимальное уважение: почему японцы вместо рукопожатий предпочитают поклоны?

Почему японцы так трепетно относятся к одзиги, поклонам?

ТехИнсайдер
Египетская сила Египетская сила

Как британцы пустили 180 тысяч кошачьих мумий на удобрение

N+1
6 российских сериалов о психологических манипуляциях и абьюзе 6 российских сериалов о психологических манипуляциях и абьюзе

О шести российских сериалах, которые освещают разные проявления абьюза

Psychologies
«Будущий интернет будущего» «Будущий интернет будущего»

Что такое Web 3.0 и когда наступит эпоха Web 4.0

РБК
Драконы армянской демократии Драконы армянской демократии

Кризис образования, элиты и идентичности — вот слагаемые армянской катастрофы

Монокль
Все дорожки ведут в Рим. Каким получился «Мегалополис» Фрэнсиса Форда Копполы? Все дорожки ведут в Рим. Каким получился «Мегалополис» Фрэнсиса Форда Копполы?

«Мегалополис» — многострадальный фильм, идею которого режиссер вынашивал с 1977

Правила жизни
Как самопожертвование портит отношения Как самопожертвование портит отношения

Когда можно идти на уступки, а когда это лишь навредит и вам, и отношениям

Psychologies
Как понять, заслуживает ли человек доверия? Как понять, заслуживает ли человек доверия?

На что стоит обратить внимание при общении с малознакомыми людьми?

Psychologies
«Я видел и слышал космос во всей его полноте»: что переживает человек, когда сходит с ума «Я видел и слышал космос во всей его полноте»: что переживает человек, когда сходит с ума

Что чувствует человек, который перестает осознавать границы нормальности?

Psychologies
«Папа римский и война: Неизвестная история взаимоотношений Пия XII, Муссолини и Гитлера» «Папа римский и война: Неизвестная история взаимоотношений Пия XII, Муссолини и Гитлера»

Кто руководил кампанией против евреев в Италии

N+1
Что такое хорошо. Как жить подросткам в мире, где нет опоры Что такое хорошо. Как жить подросткам в мире, где нет опоры

На что могут опереться современные подростки

СНОБ
Психологические травмы: чем они могут быть полезны — беседа с психотерапевтом Психологические травмы: чем они могут быть полезны — беседа с психотерапевтом

Что такое травма? Чем она опасна как для нас, так и для окружающих?

Psychologies
Кошмар владельца: самые сложные автомобили всех времен и народов Кошмар владельца: самые сложные автомобили всех времен и народов

Приобретя эти машины, вы можете очень сильно пожалеть

Maxim
Каким был один из предков позвоночных. Отрывок из книги палеонтолога Каким был один из предков позвоночных. Отрывок из книги палеонтолога

Глава из книги «Как живые» об исчезнувших живых организмах

СНОБ
Нейропсихология счастья: как научиться получать удовольствие от жизни Нейропсихология счастья: как научиться получать удовольствие от жизни

Что нужно поменять в жизни для обретения всеобъемлющей радости

Psychologies
Что такое ВУТ, для чего он служит, принципы работы, устройство Что такое ВУТ, для чего он служит, принципы работы, устройство

Все о вакуумном усилителе: что это и для чего нужно в автомобиле

РБК
8 неожиданных старых фильмов о Великой Отечественной и Второй мировой войне 8 неожиданных старых фильмов о Великой Отечественной и Второй мировой войне

Подборка самых необычных военных фильмов прошлых лет

Правила жизни
Как добиться повышения на работе? Ни в коем случае не совершайте эти ошибки Как добиться повышения на работе? Ни в коем случае не совершайте эти ошибки

Как же показать себя во всей красе и добиться признания начальства?

ТехИнсайдер
Запах старости: почему пожилые люди странно пахнут Запах старости: почему пожилые люди странно пахнут

«Запах старости»: что его вызывает? Это связано с гигиеной или болезнями?

ТехИнсайдер
Невидимый след потребления: чем опасен микропластик Невидимый след потребления: чем опасен микропластик

Как микропластик влияет на наше здоровье?

Psychologies
Древние ДНК раскрывают тайны исчезнувшего Аварского каганата Древние ДНК раскрывают тайны исчезнувшего Аварского каганата

Что древние ДНК могут рассказать о жизни и обычаях аваров?

ТехИнсайдер
Спускался к «Титанику», подлодке «Курск» и на дно Северного Ледовитого океана. Интервью с подводником и Героем России Евгением Черняевым Спускался к «Титанику», подлодке «Курск» и на дно Северного Ледовитого океана. Интервью с подводником и Героем России Евгением Черняевым

Евгений Черняев рассказал, что увидел во время погружения к подлодке «Курск»

СНОБ
«Реальная история Уиннер»: фильм о девушке, выступившей против государственной машины «Реальная история Уиннер»: фильм о девушке, выступившей против государственной машины

Как разговорное кино, в котором нет действия, оказывается напряженной драмой

Forbes
Дети Солнца Дети Солнца

Что посадить на открытом месте садового участка, а что – в тени

Лиза
«Нужды путешественника»: как южнокорейская драма создает портрет женщины в эмиграции «Нужды путешественника»: как южнокорейская драма создает портрет женщины в эмиграции

Как в «Нуждах путешественника» рассказывается о женской судьбе в эмиграции

Forbes
Что такое КШМ, как он устроен и для чего предназначен Что такое КШМ, как он устроен и для чего предназначен

Все о КШМ: назначение, устройство, принцип действия

РБК
Екатерина Стулова: «Если меня любят, то я готова прыгать через костер, бегать по снегу» Екатерина Стулова: «Если меня любят, то я готова прыгать через костер, бегать по снегу»

Для меня все проекты являются самыми психологически и физически затратными

Коллекция. Караван историй
Открыть в приложении