Как можно прочитать зашифрованные сообщения от ChatGPT и других чат-ботов | Блог Касперского

[KL FC Bot]

Израильские исследователи из Offensive AI Lab (что можно примерно перевести как «Лаборатория наступательного ИИ») опубликовали работу, описывающую метод восстановления текста из перехваченных сообщений от чат-ботов с ИИ. Рассказываем о том, как работает эта атака и насколько она опасна в реальности.

Какую информацию можно извлечь из перехваченных сообщений чат-ботов на основе ИИ

Разумеется, чат-боты отправляют сообщения в зашифрованном виде. Однако в реализации как самих больших языковых моделей (LLM), так и основанных на них чат-ботов есть ряд особенностей, из-за которых эффективность шифрования серьезно снижается. В совокупности эти особенности позволяют провести так называемую атаку по сторонним каналам, когда содержимое сообщения удается восстановить по тем или иным сопутствующим данным.

Чтобы понять, что же происходит в ходе этой атаки, придется слегка погрузиться в детали механики LLM и чат-ботов. Первое, что надо знать: большие языковые модели оперируют не отдельными символами и не словами как таковыми, а так называемыми токенами — своего рода смысловыми единицами текста. На сайте OpenAI есть страница под названием «Токенизатор», которая позволяет понять, как это работает.

Этот пример демонстрирует, как работает токенизация сообщений моделями GPT-3.5 и GPT-4. Источник

Вторую особенность, важную для данной атаки, вы наверняка замечали, когда общались с чат-ботами: они присылают ответ не крупными кусками, а постепенно — примерно так же, как если бы его печатал человек. Но, в отличие от человека, LLM пишут не отдельными символами, а токенами. Соответственно, чат-бот отправляет сгенерированные токены в режиме реального времени, один за другим. Вернее, так делает большинство чат-ботов — исключение составляет Google Gemini, из-за чего он не подвержен данной атаке.

Третья особенность: на момент публикации исследования большинство существующих чат-ботов, перед тем как зашифровать сообщение, не использовали сжатие, кодирование или дополнение (это метод повышения криптостойкости, в котором к полезному сообщению добавляются мусорные данные, чтобы снизить предсказуемость).

Использование этих особенностей делает возможным атаку по сторонним каналам. Хотя перехваченные сообщения от чат-бота невозможно расшифровать, из них можно извлечь полезные данные — а именно длину каждого из отправленных чат-ботом токенов. В итоге у атакующего получается последовательность, напоминающая игру в «Поле чудес» на максималках, не для одного слова, а для целой фразы: что именно зашифровано, неизвестно, но известна длина отдельных слов токенов.

 

Посмотреть статью полностью

[Umnik]

Очень очевидная, но не очень полезная атака, строго говоря. Я этим пользовался ещё несколько лет назад в реальном проекте и рассуждал как раз также - раз нет дополнений, то могу догадываться о длине. У меня получилось раскрыть данные внутри HTTPS, но это прикольно как зарядка для ума, а не в прям боевом использовании. Потому что для раскрытия данных у меня было общее понимание происходящего. Мне сначала понадобилось собрать "знаний" (не знаю, как правильно выразиться: имею в виду собрать максимум доступной технической инфы о том, что собираюсь взламывать) и только потом находить эти знания в https трафике.

 

В моём случае я мог понимать, какой файл качает пользователь, т.к. знал, сколько байтиков занимает запрос к каждому из целевых файлов. А их рассчитал заранее, когда собирал знания.

 

Мне вот эта статья понравилась только тем, что я проделал всё это для другого проекта ещё в 19-ом году и сделал это просто из любопытства. Хотя уверен, это всё настолько на поверхности, что и до меня так делали миллионы раз.

[Mrak]

1 час назад, Umnik сказал:

Хотя уверен, это всё настолько на поверхности, что и до меня так делали миллионы раз.

Кто первый отписался, того и тапки.  

Поэтому оказывается, тебя обошли израильские исследователи!