От
DIMeKaaBatneoFF
Что можно сказать по поводу уязвимостей ИИ ? ...
Исследователи создали новый, невиданный ранее вид вредоносного ПО, которое они назвали червем «Morris II», который использует популярные сервисы искусственного интеллекта для своего распространения, заражения новых систем и кражи данных.
Название отсылает к оригинальному компьютерному червю Морриса, который нанес ущерб Интернету в 1988 году. Червь демонстрирует потенциальную опасность угроз безопасности ИИ и создает новую актуальность проблемы защиты моделей ИИ .
Новый червь использует состязательную самовоспроизводящуюся подсказку. Исследователи из Корнеллского технологического института, Израильского технологического института и компании Intuit использовали для создания червя так называемую «состязательную самовоспроизводящуюся подсказку». Это приглашение, которое при подаче в модель большого языка (LLM) (они протестировали его на ChatGPT OpenAI, Gemini от Google и модели LLaVA с открытым исходным кодом, разработанной исследователями из Университета Висконсин-Мэдисон, Microsoft Research и Колумбийского университета) , обманом заставляет модель создать дополнительную подсказку. Он заставляет чат-бота генерировать собственные вредоносные запросы, на которые он затем отвечает, выполняя эти инструкции (аналогично атакам SQL-инъекций и переполнения буфера).
Червь имеет две основные возможности:
1.Эксфильтрация данных. Червь может извлекать конфиденциальные личные данные из электронной почты зараженных систем, включая имена, номера телефонов, данные кредитных карт и номера социального страхования.
2. Распространение спама. Червь может генерировать и рассылать спам и другие вредоносные электронные письма через скомпрометированные почтовые помощники на базе искусственного интеллекта, помогая ему распространяться и заражать другие системы.
Исследователи успешно продемонстрировали эти возможности в контролируемой среде, показав, как червь может проникать в генеративные экосистемы искусственного интеллекта и красть данные или распространять вредоносное ПО.
ИИ-червь «Morris II» не был замечен в свободной среде и исследователи не тестировали его на общедоступном почтовом помощнике. Они обнаружили, что могут использовать самовоспроизводящиеся подсказки как в текстовых подсказках, так и в виде встроенных подсказок в файлы изображений.
Зараженные базы данных ИИ.
Демонстрируя подход с использованием текстовых подсказок, исследователи написали электронное письмо, содержащее состязательную текстовую подсказку, «отравляя» базу данных помощника по электронной почте с использованием искусственного интеллекта, используя генерацию с расширенным поиском (RAG), которая позволяет LLM захватывать внешние данные. RAG получила электронное письмо и отправила его провайдеру LLM, который сгенерировал ответ, который взломал службу искусственного интеллекта, украл данные из электронных писем, а затем заразил новые хосты, когда LLM использовался для ответа на электронное письмо, отправленное другим клиентом.
При использовании изображения исследователи закодировали в изображение самовоспроизводящуюся подсказку, заставляя помощника по электронной почте пересылать сообщение на другие адреса электронной почты. Изображение служит одновременно контентом (спам, мошенничество, пропаганда, дезинформация или оскорбительные материалы) и активационной нагрузкой, которая распространяет червя. Однако исследователи говорят, что это представляет собой новый тип угрозы кибербезопасности, поскольку системы искусственного интеллекта становятся более продвинутыми и взаимосвязанными.
Созданное в лаборатории вредоносное ПО — это лишь последнее событие в выявлении служб чат-ботов на базе LLM, которое показывает их уязвимость к использованию для злонамеренных кибератак.
OpenAI признала наличие уязвимости и заявила, что работает над тем, чтобы сделать свои системы устойчивыми к такого рода атакам. Будущее кибербезопасности с использованием искусственного интеллекта Поскольку генеративный ИИ становится все более распространенным, злоумышленники могут использовать аналогичные методы для кражи данных, распространения дезинформации или нарушения работы систем в более крупных масштабах.
Иностранные государственные субъекты также могут использовать его для вмешательства в выборы или разжигания социальных разногласий. Мы явно вступаем в эпоху, когда инструменты кибербезопасности ИИ (обнаружение угроз ИИ и другой ИИ кибербезопасности) стали основной и жизненно важной частью защиты систем и данных от кибератак, но при этом они также представляют риск при использовании киберзлоумышленниками. Настало время использовать инструменты кибербезопасности ИИ и защитить инструменты ИИ, которые можно использовать для кибератак.
Сообщение от модератора thyrex
Перенесено из раздела Е.К.
От Сергей Владивостокский
От DIMeKaaBatneoFF
От Sweethome-2005
От valeriithehuman
От Nucleus
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти