Автор
KL FC Bot
Недавно мы публиковали пост о «токеномике» и об атаках Denial of Wallet — новом варианте DDoS, направленном на перерасход токенов. Но прежде чем начать защищать ИИ-процессы коллег от новой угрозы, безопасникам следует вспомнить, что сама работа службы ИБ может стать мишенью для такой атаки. Поскольку ИБ-команды сейчас активно тестируют и внедряют разные виды автоматизации на базе ИИ, угроза внешнего вмешательства с целью парализовать систему защиты напрямую относится к их собственным процессам и технологиям.
В Elastic подсчитали, что в зависимости от архитектуры «агентского SOC» обработка (triage) одного оповещения с хоста может обходиться в $0,69 для ансамбля узкоспециализированных агентов или в $3,42 для агента-универсала с 14 разными навыками.
При этом за средними значениями кроется огромный разброс. В любой момент базовая обработка простого оповещения (условно 1000 токенов) может превратиться в каскадное расследование миллионов строк журналов, вызовов API и других связанных данных (а это миллионы токенов за считаные минуты).
В той же Elastic признают, что используют в SOC модель Sonnet 4.6. Это немедленно вызывает вопрос: а что произойдет при исчерпании бюджета или срабатывании в модели фильтров безопасности? В худшем случае произойдет следующее: AI SOC запускает «оркестр агентов» для расследования подозрительных событий, похожих на перемещение по сети. Агент обращается в API Anthropic, но месячный бюджет департамента исчерпан, и API возвращает ошибки. Расследование останавливается на полпути, люди узнают об этом полдня спустя. Причем, если постоянно меняющиеся «фильтры безопасности» большого ИИ-провайдера примут запросы от SOC как вредоносные, тот же эффект возможен и без исчерпания бюджета, как показал опыт Hugging Face при расследовании взлома их инфраструктуры со стороны OpenAI.
И, разумеется, злоумышленник заинтересован в таком исходе. Он может напрямую влиять на расходы защитников, модифицируя доступные ему данные (TXT-записи DNS, заголовки HTTP, комментарии в коде, имена файлов и так далее) и внедряя в них вредоносные промпты в расчете на то, что они будут обработаны ИБ-системами. В кейсе GhostJacking вектором для промпт-инъекции становятся журналы WAF, а в еще одной работе исследователям удалось атаковать сами фильтры безопасности LLM (guardrails), провоцируя своими запросами увеличение задержки (latency) в 148 раз, а количество потребленных токенов в 63 раза. То есть по идее система продолжает работать правильно, но при этом значительно вырастают задержка в обработке оповещений и расходы.
Опасный тихий отказ
Далеко не всегда исчерпание бюджета в агентских сценариях проявляется как явная ошибка с сообщением «лимит запросов исчерпан» и немедленным оповещением ответственных. При определенной конфигурации могут возникнуть «партизанские» сценарии: запрос к модели не проходит по тайм-ауту, система автоматически переключается на более дешевую модель, в результате качество ее выводов падает, перестают запускаться субагенты и периодические задачи. А ИБ-команда еще долгие часы может считать, что все работает как раньше.
View the full article
Автор KL FC Bot
Автор Alex161
Автор tubizzz
Автор KNS
Рекомендуемые сообщения