-
Похожий контент
-
От KL FC Bot
Израильские исследователи из Offensive AI Lab (что можно примерно перевести как «Лаборатория наступательного ИИ») опубликовали работу, описывающую метод восстановления текста из перехваченных сообщений от чат-ботов с ИИ. Рассказываем о том, как работает эта атака и насколько она опасна в реальности.
Какую информацию можно извлечь из перехваченных сообщений чат-ботов на основе ИИ
Разумеется, чат-боты отправляют сообщения в зашифрованном виде. Однако в реализации как самих больших языковых моделей (LLM), так и основанных на них чат-ботов есть ряд особенностей, из-за которых эффективность шифрования серьезно снижается. В совокупности эти особенности позволяют провести так называемую атаку по сторонним каналам, когда содержимое сообщения удается восстановить по тем или иным сопутствующим данным.
Чтобы понять, что же происходит в ходе этой атаки, придется слегка погрузиться в детали механики LLM и чат-ботов. Первое, что надо знать: большие языковые модели оперируют не отдельными символами и не словами как таковыми, а так называемыми токенами — своего рода смысловыми единицами текста. На сайте OpenAI есть страница под названием «Токенизатор», которая позволяет понять, как это работает.
Этот пример демонстрирует, как работает токенизация сообщений моделями GPT-3.5 и GPT-4. Источник
Вторую особенность, важную для данной атаки, вы наверняка замечали, когда общались с чат-ботами: они присылают ответ не крупными кусками, а постепенно — примерно так же, как если бы его печатал человек. Но, в отличие от человека, LLM пишут не отдельными символами, а токенами. Соответственно, чат-бот отправляет сгенерированные токены в режиме реального времени, один за другим. Вернее, так делает большинство чат-ботов — исключение составляет Google Gemini, из-за чего он не подвержен данной атаке.
Третья особенность: на момент публикации исследования большинство существующих чат-ботов, перед тем как зашифровать сообщение, не использовали сжатие, кодирование или дополнение (это метод повышения криптостойкости, в котором к полезному сообщению добавляются мусорные данные, чтобы снизить предсказуемость).
Использование этих особенностей делает возможным атаку по сторонним каналам. Хотя перехваченные сообщения от чат-бота невозможно расшифровать, из них можно извлечь полезные данные — а именно длину каждого из отправленных чат-ботом токенов. В итоге у атакующего получается последовательность, напоминающая игру в «Поле чудес» на максималках, не для одного слова, а для целой фразы: что именно зашифровано, неизвестно, но известна длина отдельных слов токенов.
Посмотреть статью полностью
-
От KL FC Bot
Принципы машинного обучения были заложены около 50 лет назад, но только недавно их начали широко применять на практике. Благодаря растущим вычислительным мощностям компьютеры сначала научились достоверно различать объекты на изображении и играть в Го лучше человека, а потом — рисовать картины по описанию или поддерживать связный диалог в чате. В 2021–2022 годах научные прорывы стали еще и легко доступны. Любой желающий может подписаться на MidJourney и, например, мгновенно иллюстрировать книги собственного написания. А в OpenAI наконец открыли свою большую языковую модель GPT-3 (Generative Pretrained Transformer 3) для широкой публики через сервис ChatGPT. На сайте chat.openai.com пообщаться с ботом может любой желающий, так что убедитесь сами — бот уверенно поддерживает связный диалог, лучше многих учителей объясняет сложные научные концепции, может художественно переводить тексты между языками и многое, многое другое.
Иллюстрация, сгенерированная Midjourney по запросу «Гном с увеличительным стеклом потерялся среди серверов хранения данных»
View the full article
-
От KL FC Bot
Может показаться, что скрыть личную информацию на картинке — плевое дело. Берешь и замазываешь свои тайны черным маркером в приложении для обработки изображений. Или еще лучше: просто обрезаешь ту часть фотографии или скриншота, в которой содержатся секретные данные. Что тут может пойти не так?
Как ни странно, очень многое. Мы уже писали о том, как не надо скрывать информацию на изображениях и о том, как не следует ретушировать картинки, встроенные в документы. Но недавнее исследование показывает, что иногда можно сесть в лужу, даже приняв практически все мыслимые меры предосторожности, из-за бага в механизме работы приложения для обработки картинок. Рассказываем подробнее про то, как стандартные инструменты для редактирования изображений Google Pixel и Windows 11 могут выдать спрятанную на картинках информацию.
Как можно восстановить скрытую информацию на скриншотах, отредактированных в Google Pixel
Началось все с того, что исследователи безопасности Саймон Аронс и Дэвид Бьюканен обнаружили уязвимость, названную ими Acropalypse: штатный редактор изображений смартфонов Google Pixel сохраняет отредактированные PNG-файлы таким образом, что из них можно полностью или частично восстановить исходную картинку.
При работе с картинками в формате PNG приложение Markup — встроенный в Google Pixel редактор изображений — вместо сохранения полностью нового PNG-файла весьма своеобразно переписывает старый. Если вы обрежете картинку, то ее размер в байтах по сравнению с оригиналом, разумеется, уменьшится. То же самое произойдет, если вы замажете часть изображения одним цветом — за счет алгоритмов компрессии, очень хорошо сжимающих закрашенные сплошным цветом области, байтовый размер уменьшится. А сохраненный после редактирования из Markup файл имеет тот же размер, что и оригинал, — приложение просто перезаписывает новые данные поверх старых, оставляя в файле «хвост» данных исходной картинки. И с помощью созданного исследователями инструмента, который они уже, кстати, разместили онлайн, оригинал можно частично восстановить.
Вот как сами исследователи иллюстрируют происходящее:
Результат работы инструмента для восстановления картинки, отредактированной на Google Pixel. Источник
Тут, впрочем, стоит внимательно присмотреться к скриншоту: как видите, он одновременно и замазан, и обрезан. Таким образом обеспечивается важное условие: результирующее изображение по размеру существенно меньше оригинала. После сохранения отредактированной версии поверх исходной в конце файла остается много не перезаписанной информации, которую удается восстановить. А вовсе не восстановленная или восстановленная с ошибками область — верхняя треть результирующей картинки — пришлась как раз на ту часть скриншота, в которой нет ничего важного.
View the full article
-
От Эллада
Здравствуйте. Перестал работать скриншот, у подруги та же проблема. Видимо это как то связано, возможно у всех эта функция отключена? Может вы поможете?
-
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти