Как увидеть угрозы безопасности при работе с ИИ? Ловите чек-лист
Мировая ИИ-гонка, кажется, охватила все уровни — от государств до малых предпринимателей. Но мало кто задумывается о рисках, связанных с развитием и внедрением новейших технологий, в том числе, в сфере информационной безопасности. А они весьма существенные.
Новые угрозы: чем опасны ИИ-модели для бизнеса
Например, существует угроза нарушений конфиденциальности: данные, отправленные во внешнюю большую языковую модель (LLM), могут быть раскрыты или скомпрометированы. Компании не без оснований беспокоятся о таких рисках, как потеря данных, кража моделей. Без надежных механизмов контроля доступа пользователи могут с помощью генеративных ИИ (GenAI) получить доступ к конфиденциальной информации.
Если модели используются для взаимодействия с клиентами, данные может получить конкурент. А ведь есть еще и регуляторные риски, которые будут только расти, потому что технологии развиваются быстрее, чем законодательство. Пользовательские запросы могут вызывать непоследовательные или предвзятые ответы, что несет риски нарушения нормативных требований или этических стандартов. Иными словами, плохо защищенная модель может выдавать в ответах, в том числе, запрещенную информацию, распространение которой ведет к ответственности — вплоть до уголовной.
Агентные приложения, обладающие автономностью и доступом к различным системам, сталкиваются с рядом серьезных угроз безопасности, включая несанкционированный доступ и расширенную поверхность атаки из-за интеграции с несколькими внешними системами. То есть, если они имеют доступ к вашим контактам или календарю, контакты и календарь тоже окажутся под угрозой.
Но и это не самое страшное, ведь если злоумышленник получит контроль над автономным агентом, последствия могут быть критическими, особенно в системах жизнеобеспечения, финансах или инфраструктуре. Поэтому необходимо внедрять жесткие механизмы управления доступом и сквозное шифрование для защиты от подобных угроз.