Руководитель службы безопасности Google Cloud предупреждает: киберзащита должна развиваться, чтобы противостоять злоупотреблениям ИИ

Модели подвержены галлюцинациям или производству неточного контента. Другие риски включают утечку конфиденциальных данных через выходные данные модели, порчу моделей, которые могут допускать быструю манипуляцию и предвзятость в результате плохого выбора обучающих данных или недостаточно хорошо контролируемой тонкой настройки и обучения.В конечном итоге, традиционное обнаружение и реагирование на киберугрозы необходимо расширить для мониторинга злоупотреблений ИИ, а ИИ, наоборот, следует использовать для оборонительного преимущества, сказал Фил Венейблс, директор по информационной безопасности Google Cloud.

«Безопасное, надежное и доверенное использование ИИ охватывает набор методов, которые многие команды исторически не объединяли», — отметил Венейблс на виртуальной сессии на недавнем Глобальном симпозиуме по ИИ Cloud Security Alliance.

Уроки, извлеченные в Google Cloud

Венейблс утверждал о важности предоставления элементов управления и общих фреймворков, чтобы каждый экземпляр или развертывание ИИ не начиналось заново с нуля.

«Помните, что проблема — это сквозной бизнес-процесс или цель миссии, а не просто техническая проблема в среде», — сказал он.

Почти все к настоящему времени знакомы со многими рисками, связанными с потенциальным злоупотреблением данными обучения и настроенными данными. «Снижение рисков отравления данных имеет жизненно важное значение, как и обеспечение соответствия данных другим рискам», — сказал Венейблс.

Важно, чтобы предприятия обеспечивали очистку и защиту данных, используемых для обучения и настройки, а также чтобы происхождение или происхождение этих данных поддерживалось с «высокой целостностью».

«Теперь, очевидно, вы не можете просто желать, чтобы это было правдой», — признал Венейблс. «Вы должны фактически выполнять работу по курированию и отслеживанию использования данных».

Для этого требуется внедрение определенных элементов управления и инструментов со встроенной безопасностью, которые действуют совместно для обеспечения обучения, тонкой настройки и тестирования моделей. Это особенно важно для обеспечения того, чтобы модели не были подделаны ни в программном обеспечении, ни в весах, ни в любых других их параметрах, отметил Венейблс.

«Если мы не позаботимся об этом, мы подвергнем себя множеству различных видов рисков бэкдора, которые могут поставить под угрозу безопасность и сохранность развернутого бизнес-процесса или процесса миссии», — сказал он.

Фильтрация для борьбы с быстрым внедрением

Еще одна большая проблема — злоупотребление моделями со стороны посторонних. Модели могут быть испорчены данными обучения или другими параметрами, которые заставляют их вести себя против более широких элементов управления, сказал Венейблс. Это может включать в себя состязательные тактики, такие как манипуляция подсказками и подрывная деятельность.

Венейблс указал, что существует множество примеров того, как люди манипулируют подсказками как напрямую, так и косвенно, чтобы вызвать непреднамеренные результаты в условиях «наивно защищенных или совершенно незащищенных моделей».

Это может быть текст, встроенный в изображения или другие входные данные в одно- или многомодальных моделях, с проблемными подсказками, «нарушающими вывод».

«Большая часть привлекающего внимание внимания заголовков вызывает генерацию небезопасного контента, некоторые из них могут быть довольно забавными», — сказал Венейблс.

Важно гарантировать, что входные данные фильтруются для ряда целей доверия, безопасности и защиты, сказал он. Это должно включать «всеобъемлющее ведение журнала» и наблюдаемость, а также строгие элементы управления доступом, которые поддерживаются в моделях, коде, данных и тестовых данных.