Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему больше не появится новый Майкл Джексон Почему больше не появится новый Майкл Джексон

Виктор Дробыш — о фундаментальных изменениях рынка

Эксперт
Букет — маме, жене — цветок: новый тренд возмутил пользователей соцсетей Букет — маме, жене — цветок: новый тренд возмутил пользователей соцсетей

Кто дороже: мама или жена? Каждая занимает особое место в сердце мужчины

Psychologies
В глушь, в Сибирь В глушь, в Сибирь

Едем за нереальной красотой на плато Путорана

Лиза
«Шуточки у вас...» Косатки-хулиганы утопили яхту в проливе Гибралтар «Шуточки у вас...» Косатки-хулиганы утопили яхту в проливе Гибралтар

Почему касатки топят яхты и корабли у побережья Испании?

ТехИнсайдер
Как заполучить красивый и ровный загар: 5 золотых секретов от косметолога Как заполучить красивый и ровный загар: 5 золотых секретов от косметолога

Как подготовить кожу к солнечным ваннам, чтобы получить ровный загар?

VOICE
Сибирь, XXI век: что будет, если в России построят больше железных дорог Сибирь, XXI век: что будет, если в России построят больше железных дорог

Драйвером роста современной России снова станут железные дороги

ТехИнсайдер
5 советов нелюбимым дочерям: как избавиться от вины и стыда 5 советов нелюбимым дочерям: как избавиться от вины и стыда

Пять шагов, которые помогут совладать с чувствами вины и стыда

Psychologies
«После школы»: почему в 57-й годами процветало насилие «После школы»: почему в 57-й годами процветало насилие

Почему подростки не могут распознать насилие в свой адрес?

Psychologies
Что такое русский модерн? Что такое русский модерн?

Как русский модерн преломляется и выглядит в современных интерьерах наших дней?

Правила жизни
10 способов сохранить и укрепить отношения 10 способов сохранить и укрепить отношения

Как сохранить отношения на этапе, когда начинаются совместные будни?

Psychologies
Екатерина Великая в Москве Екатерина Великая в Москве

Екатерина Великая не любила Москву, но так ли всё однозначно?

Знание – сила
10 цитат Альфрида Лэнгле, которые вернут вашей жизни смысл 10 цитат Альфрида Лэнгле, которые вернут вашей жизни смысл

Несколько цитат известного психолога, которые помогут вернуть смысл жизни

Psychologies
Орангутан полечил свою рану листьями лианы Орангутан полечил свою рану листьями лианы

Биологи заметили, как орангутан обрабатывает свою рану с помощью растения

N+1
Татуаж ареол: как преобразить грудь с помощью перманентного макияжа Татуаж ареол: как преобразить грудь с помощью перманентного макияжа

Как с помощью перманентного макияжа можно преобразить ареолы груди

VOICE
Цена прохлады: как выбрать кондиционер для дома Цена прохлады: как выбрать кондиционер для дома

На что обратить внимание при выборе кондиционера?

CHIP
Принесенные ветром Принесенные ветром

Как Александр Волков перенес американскую волшебную страну на советскую почву

Weekend
Метод шифрования будущего Метод шифрования будущего

Что такое постквантовая криптография и от каких киберугроз она сможет защитить

РБК
3 женские ошибки, которые могут разрушить отношения 3 женские ошибки, которые могут разрушить отношения

Почему сохранить отношения удается далеко не всем женщинам?

Psychologies
Евгений Сидихин: «Мне захотелось самому лететь...» Евгений Сидихин: «Мне захотелось самому лететь...»

Часто думаю, что то, чем я занимаюсь, не моя профессия

Коллекция. Караван историй
Сомнительные пошлины Сомнительные пошлины

К чему могут привести ограничения на ввоз российской сельхозпродукции в ЕС

Агроинвестор
13 предметов, которые нельзя чистить уксусом: мнение профессиональных клинеров 13 предметов, которые нельзя чистить уксусом: мнение профессиональных клинеров

От каких вещей профессиональные клинеры советуют держать уксус подальше

VOICE
И снова Хон! И снова Хон!

«Нужды путешественника»: смесь французского с рисовой водкой

Weekend
Развиваем позитивно Развиваем позитивно

Опыт внедрения концепции профилактики детского и подросткового неблагополучия

Позитивные изменения
«Смотрите, как хорошо я живу!»: стоит ли хвастаться в соцсетях? «Смотрите, как хорошо я живу!»: стоит ли хвастаться в соцсетях?

Нам важно, чтобы другие видели, как хорошо мы живем

Psychologies
Ирина Млодик объяснила, как относиться к жизни ребенка в виртуальном мире Ирина Млодик объяснила, как относиться к жизни ребенка в виртуальном мире

Почему не нужно воевать с виртуальным миром детей

Psychologies
Как сделать сайт бесплатно: без программистов и дизайнеров Как сделать сайт бесплатно: без программистов и дизайнеров

Как сделать сайт бесплатно, даже если у вас нет никаких навыков в кодинге

CHIP
Любовные страсти Древнем Новгороде Любовные страсти Древнем Новгороде

О чем писали в берестяных грамотах древние новгородцы?

Знание – сила
Виртуальные дали Виртуальные дали

Нейросети врываются в мир кино для взрослых и позволяют нарисовать любой сюжет

Men Today
Капсула памяти Капсула памяти

Как органично вписать в интерьер вещи из путешествий

Новый очаг
ДКС: двигатель технологической революции в России ДКС: двигатель технологической революции в России

Глава компании ДКС: «Нам нужно постоянно крутить педали — и мы это делаем»

Монокль
Открыть в приложении