Защита переписки с LLM от прослушивания через атаку Whisper Leak | Блог Касперского

[KL FC Bot]

Люди доверяют нейросетям самое интимное и важное — проверяют медицинские диагнозы, советуются в любовных делах или «ходят к ИИ» вместо психолога. Уже известны случаи планирования суицидов, нападений и другие общественно опасных действий с помощью LLM. Поэтому к переписке людей с ИИ постепенно растет внимание властей, коммерческих компаний и просто любопытных.

Наверняка найдутся и желающие применить на практике новую атаку Whisper Leak. Ведь она позволяет определить общую тему беседы с нейросетью, никак не вмешиваясь в трафик, а просто анализируя ритм отправки и приема зашифрованных пакетов по сети к серверу ИИ. Но оставить свою переписку в секрете все же возможно — об этом немного ниже.

Как устроена атака Whisper Leak

Все языковые модели выдают результат постепенно — для нас это выглядит, словно «собеседник» набирает текст слово за словом. На самом же деле языковые модели оперируют не отдельными символами и словами, а токенами — своего рода «смысловыми единицами» LLM, и ответ нейросети появляется на экране по мере генерации токенов. Этот режим вывода называется streaming, и, измеряя его параметры, оказывается, можно понять тему разговора. Мы уже рассказывали об исследовании, в котором ученым с достаточно высокой степенью достоверности удалось воссоздать текст переписки с чат-ботом, анализируя длину каждого из отправленных им токенов.

Исследователи из Microsoft продолжили эту тему и проанализировали параметры поступления ответа от 30 разных ИИ-моделей в ответ на 11,8 тысяч запросов. 100 запросов были посвящены теме «легально ли отмывание денег» в разных формулировках, а остальные запросы были случайными, на совершенно разные темы.

Сравнив задержку поступления пакетов от сервера, их размер и общее количество, исследователи смогли очень точно отделить «опасные» запросы от «обычных». Для анализа тоже использовали нейросети, хоть и не LLM. В зависимости от того, какую модель изучали, точность определения «опасных» тем варьировалась от 71% до 100%, причем для 19 из 30 моделей она превысила 97%.

Затем исследователи провели более сложный и приближенный к жизни эксперимент. Они проверили подборку из 10 тысяч случайных разговоров, и только один из них был посвящен опасной теме.

Здесь результаты разделились сильнее, но все равно гипотетический «атакующий» оказался довольно успешен. Для моделей DeepSeek-R1, Llama-4, GPT-4o mini, Grok-2, -3 и моделей Mistral Small и Mistral Large удалось обнаружить искомую иголку в стоге сена в 50% экспериментов с нулем ложных срабатываний.

Для Qwen2.5, Llama 3.1, GPT-4.1, OpenAI o1-mini, Llama 4, DeepSeek-V3 успешность поиска составила всего 20% при том же отсутствии ложных срабатываний. А вот в Gemini 2.5 Pro, Claude 3 Haiku и GPT-4o mini поймать «опасные» чаты на серверах Microsoft удалось лишь в 5% случаев. Для остальных протестированных моделей процент успеха был еще ниже.

Важно учесть, что результат зависит не только от конкретной ИИ-модели, но и от настроек сервера, на котором она запущена, поэтому одна и та же модель OpenAI может показывать разные результаты в инфраструктуре Microsoft и на серверах самой OpenAI. То же верно для всех моделей open source.

 

View the full article