Угроза: пользовательский ввод содержит скрытые инструкции для модели
Риск: модель выполняет произвольные команды — от выдачи конфиденциальных данных до изменения логики приложения
Решение: сканирование входящих запросов и блокировка инъекций до модели
Prompt injection в AI-приложениях
Угроза: RAG-система подтягивает внешние или внутренние документы без проверки
Риск: отравленный документ меняет поведение модели — ответы становятся ложными или вредоносными
Решение: проверка контента на каждом этапе RAG-пайплайна
Угроза: AI-агент вызывает инструменты (MCP, function calling) по указанию модели
Риск: скомпрометированный вызов = действие с правами пользователя: доступ к файлам, сети, БД
Решение: валидация каждого вызова инструмента до выполнения
Опасные вызовы инструментов
Угроза: AI-приложения подвержены целому классу уязвимостей, задокументированных OWASP
Риск: jailbreak, утечка данных через ответы модели, подмена целей агента, токсичный контент
Решение: комплексное сканирование input и output по методологии OWASP