Автор
iv65
в Задай вопрос Евгению Касперскому!
-
Похожий контент
-
Автор safety
Статистика обращений на форум по шифровальщикам с начала 2022 года на 15 декабря 2024 года.
15 наиболее активных типов шифровальщика по итогам каждого года.
15 наиболее активных шифровальщиков с начала 2022 года по 15 декабря 2024 года
-
Автор zell
Евгений Валентинович, добрый день.
В розничной продаже есть подписки для домашних пользователей на 5 и 10 устройств, но в нашем форумом магазине их нет(есть только на 1 и 3).
Могли бы Вы, пожалуйста, посодействовать добавлению данных лицензий в магазин форума?
-
Автор Susumi
Я долго не смог зайти на форум так как не помнил адрес электронной почты для входа. Еле как удалось войти. раньше было вход только по логину и паролю...
И как изменить ник? Со временем мне не нравится этот ник, а профиль я хочу оставить, не создавая новый аккаунт.
-
Автор Val_m
Добрый день, зарегистрировался недавно, не дает отправить человеку на форуме личное сообщение с вот такой вот ошибкой:
Подскажите, это какое-то ограничение, связанное с защитой от спамеров, ботов и прочего? Через сколько после регистрации эта функция начинает работать? Или дело не в этом?
-
Автор KL FC Bot
Израильские исследователи из Offensive AI Lab (что можно примерно перевести как «Лаборатория наступательного ИИ») опубликовали работу, описывающую метод восстановления текста из перехваченных сообщений от чат-ботов с ИИ. Рассказываем о том, как работает эта атака и насколько она опасна в реальности.
Какую информацию можно извлечь из перехваченных сообщений чат-ботов на основе ИИ
Разумеется, чат-боты отправляют сообщения в зашифрованном виде. Однако в реализации как самих больших языковых моделей (LLM), так и основанных на них чат-ботов есть ряд особенностей, из-за которых эффективность шифрования серьезно снижается. В совокупности эти особенности позволяют провести так называемую атаку по сторонним каналам, когда содержимое сообщения удается восстановить по тем или иным сопутствующим данным.
Чтобы понять, что же происходит в ходе этой атаки, придется слегка погрузиться в детали механики LLM и чат-ботов. Первое, что надо знать: большие языковые модели оперируют не отдельными символами и не словами как таковыми, а так называемыми токенами — своего рода смысловыми единицами текста. На сайте OpenAI есть страница под названием «Токенизатор», которая позволяет понять, как это работает.
Этот пример демонстрирует, как работает токенизация сообщений моделями GPT-3.5 и GPT-4. Источник
Вторую особенность, важную для данной атаки, вы наверняка замечали, когда общались с чат-ботами: они присылают ответ не крупными кусками, а постепенно — примерно так же, как если бы его печатал человек. Но, в отличие от человека, LLM пишут не отдельными символами, а токенами. Соответственно, чат-бот отправляет сгенерированные токены в режиме реального времени, один за другим. Вернее, так делает большинство чат-ботов — исключение составляет Google Gemini, из-за чего он не подвержен данной атаке.
Третья особенность: на момент публикации исследования большинство существующих чат-ботов, перед тем как зашифровать сообщение, не использовали сжатие, кодирование или дополнение (это метод повышения криптостойкости, в котором к полезному сообщению добавляются мусорные данные, чтобы снизить предсказуемость).
Использование этих особенностей делает возможным атаку по сторонним каналам. Хотя перехваченные сообщения от чат-бота невозможно расшифровать, из них можно извлечь полезные данные — а именно длину каждого из отправленных чат-ботом токенов. В итоге у атакующего получается последовательность, напоминающая игру в «Поле чудес» на максималках, не для одного слова, а для целой фразы: что именно зашифровано, неизвестно, но известна длина отдельных слов токенов.
Посмотреть статью полностью
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти