-
Похожий контент
-
От KL FC Bot
Израильские исследователи из Offensive AI Lab (что можно примерно перевести как «Лаборатория наступательного ИИ») опубликовали работу, описывающую метод восстановления текста из перехваченных сообщений от чат-ботов с ИИ. Рассказываем о том, как работает эта атака и насколько она опасна в реальности.
Какую информацию можно извлечь из перехваченных сообщений чат-ботов на основе ИИ
Разумеется, чат-боты отправляют сообщения в зашифрованном виде. Однако в реализации как самих больших языковых моделей (LLM), так и основанных на них чат-ботов есть ряд особенностей, из-за которых эффективность шифрования серьезно снижается. В совокупности эти особенности позволяют провести так называемую атаку по сторонним каналам, когда содержимое сообщения удается восстановить по тем или иным сопутствующим данным.
Чтобы понять, что же происходит в ходе этой атаки, придется слегка погрузиться в детали механики LLM и чат-ботов. Первое, что надо знать: большие языковые модели оперируют не отдельными символами и не словами как таковыми, а так называемыми токенами — своего рода смысловыми единицами текста. На сайте OpenAI есть страница под названием «Токенизатор», которая позволяет понять, как это работает.
Этот пример демонстрирует, как работает токенизация сообщений моделями GPT-3.5 и GPT-4. Источник
Вторую особенность, важную для данной атаки, вы наверняка замечали, когда общались с чат-ботами: они присылают ответ не крупными кусками, а постепенно — примерно так же, как если бы его печатал человек. Но, в отличие от человека, LLM пишут не отдельными символами, а токенами. Соответственно, чат-бот отправляет сгенерированные токены в режиме реального времени, один за другим. Вернее, так делает большинство чат-ботов — исключение составляет Google Gemini, из-за чего он не подвержен данной атаке.
Третья особенность: на момент публикации исследования большинство существующих чат-ботов, перед тем как зашифровать сообщение, не использовали сжатие, кодирование или дополнение (это метод повышения криптостойкости, в котором к полезному сообщению добавляются мусорные данные, чтобы снизить предсказуемость).
Использование этих особенностей делает возможным атаку по сторонним каналам. Хотя перехваченные сообщения от чат-бота невозможно расшифровать, из них можно извлечь полезные данные — а именно длину каждого из отправленных чат-ботом токенов. В итоге у атакующего получается последовательность, напоминающая игру в «Поле чудес» на максималках, не для одного слова, а для целой фразы: что именно зашифровано, неизвестно, но известна длина отдельных слов токенов.
Посмотреть статью полностью
-
От Эллада
Здравствуйте. Перестал работать скриншот, у подруги та же проблема. Видимо это как то связано, возможно у всех эта функция отключена? Может вы поможете?
-
-
От KL FC Bot
Может показаться, что скрыть личную информацию на картинке — плевое дело. Берешь и замазываешь свои тайны черным маркером в приложении для обработки изображений. Или еще лучше: просто обрезаешь ту часть фотографии или скриншота, в которой содержатся секретные данные. Что тут может пойти не так?
Как ни странно, очень многое. Мы уже писали о том, как не надо скрывать информацию на изображениях и о том, как не следует ретушировать картинки, встроенные в документы. Но недавнее исследование показывает, что иногда можно сесть в лужу, даже приняв практически все мыслимые меры предосторожности, из-за бага в механизме работы приложения для обработки картинок. Рассказываем подробнее про то, как стандартные инструменты для редактирования изображений Google Pixel и Windows 11 могут выдать спрятанную на картинках информацию.
Как можно восстановить скрытую информацию на скриншотах, отредактированных в Google Pixel
Началось все с того, что исследователи безопасности Саймон Аронс и Дэвид Бьюканен обнаружили уязвимость, названную ими Acropalypse: штатный редактор изображений смартфонов Google Pixel сохраняет отредактированные PNG-файлы таким образом, что из них можно полностью или частично восстановить исходную картинку.
При работе с картинками в формате PNG приложение Markup — встроенный в Google Pixel редактор изображений — вместо сохранения полностью нового PNG-файла весьма своеобразно переписывает старый. Если вы обрежете картинку, то ее размер в байтах по сравнению с оригиналом, разумеется, уменьшится. То же самое произойдет, если вы замажете часть изображения одним цветом — за счет алгоритмов компрессии, очень хорошо сжимающих закрашенные сплошным цветом области, байтовый размер уменьшится. А сохраненный после редактирования из Markup файл имеет тот же размер, что и оригинал, — приложение просто перезаписывает новые данные поверх старых, оставляя в файле «хвост» данных исходной картинки. И с помощью созданного исследователями инструмента, который они уже, кстати, разместили онлайн, оригинал можно частично восстановить.
Вот как сами исследователи иллюстрируют происходящее:
Результат работы инструмента для восстановления картинки, отредактированной на Google Pixel. Источник
Тут, впрочем, стоит внимательно присмотреться к скриншоту: как видите, он одновременно и замазан, и обрезан. Таким образом обеспечивается важное условие: результирующее изображение по размеру существенно меньше оригинала. После сохранения отредактированной версии поверх исходной в конце файла остается много не перезаписанной информации, которую удается восстановить. А вовсе не восстановленная или восстановленная с ошибками область — верхняя треть результирующей картинки — пришлась как раз на ту часть скриншота, в которой нет ничего важного.
View the full article
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти