Поиск сообщества

Что можно сказать по поводу уязвимостей ИИ ? ... Исследователи создали новый, невиданный ранее вид вредоносного ПО, которое они назвали червем «Morris II», который использует популярные сервисы искусственного интеллекта для своего распространения, заражения новых систем и кражи данных. Название отсылает к оригинальному компьютерному червю Морриса, который нанес ущерб Интернету в 1988 году. Червь демонстрирует потенциальную опасность угроз безопасности ИИ и создает новую актуальность проблемы защиты моделей ИИ . Новый червь использует состязательную самовоспроизводящуюся подсказку. Исследователи из Корнеллского технологического института, Израильского технологического института и компании Intuit использовали для создания червя так называемую «состязательную самовоспроизводящуюся подсказку». Это приглашение, которое при подаче в модель большого языка (LLM) (они протестировали его на ChatGPT OpenAI, Gemini от Google и модели LLaVA с открытым исходным кодом, разработанной исследователями из Университета Висконсин-Мэдисон, Microsoft Research и Колумбийского университета) , обманом заставляет модель создать дополнительную подсказку. Он заставляет чат-бота генерировать собственные вредоносные запросы, на которые он затем отвечает, выполняя эти инструкции (аналогично атакам SQL-инъекций и переполнения буфера). Червь имеет две основные возможности: 1.Эксфильтрация данных. Червь может извлекать конфиденциальные личные данные из электронной почты зараженных систем, включая имена, номера телефонов, данные кредитных карт и номера социального страхования. 2. Распространение спама. Червь может генерировать и рассылать спам и другие вредоносные электронные письма через скомпрометированные почтовые помощники на базе искусственного интеллекта, помогая ему распространяться и заражать другие системы. Исследователи успешно продемонстрировали эти возможности в контролируемой среде, показав, как червь может проникать в генеративные экосистемы искусственного интеллекта и красть данные или распространять вредоносное ПО. ИИ-червь «Morris II» не был замечен в свободной среде и исследователи не тестировали его на общедоступном почтовом помощнике. Они обнаружили, что могут использовать самовоспроизводящиеся подсказки как в текстовых подсказках, так и в виде встроенных подсказок в файлы изображений. Зараженные базы данных ИИ. Демонстрируя подход с использованием текстовых подсказок, исследователи написали электронное письмо, содержащее состязательную текстовую подсказку, «отравляя» базу данных помощника по электронной почте с использованием искусственного интеллекта, используя генерацию с расширенным поиском (RAG), которая позволяет LLM захватывать внешние данные. RAG получила электронное письмо и отправила его провайдеру LLM, который сгенерировал ответ, который взломал службу искусственного интеллекта, украл данные из электронных писем, а затем заразил новые хосты, когда LLM использовался для ответа на электронное письмо, отправленное другим клиентом. При использовании изображения исследователи закодировали в изображение самовоспроизводящуюся подсказку, заставляя помощника по электронной почте пересылать сообщение на другие адреса электронной почты. Изображение служит одновременно контентом (спам, мошенничество, пропаганда, дезинформация или оскорбительные материалы) и активационной нагрузкой, которая распространяет червя. Однако исследователи говорят, что это представляет собой новый тип угрозы кибербезопасности, поскольку системы искусственного интеллекта становятся более продвинутыми и взаимосвязанными. Созданное в лаборатории вредоносное ПО — это лишь последнее событие в выявлении служб чат-ботов на базе LLM, которое показывает их уязвимость к использованию для злонамеренных кибератак. OpenAI признала наличие уязвимости и заявила, что работает над тем, чтобы сделать свои системы устойчивыми к такого рода атакам. Будущее кибербезопасности с использованием искусственного интеллекта Поскольку генеративный ИИ становится все более распространенным, злоумышленники могут использовать аналогичные методы для кражи данных, распространения дезинформации или нарушения работы систем в более крупных масштабах. Иностранные государственные субъекты также могут использовать его для вмешательства в выборы или разжигания социальных разногласий. Мы явно вступаем в эпоху, когда инструменты кибербезопасности ИИ (обнаружение угроз ИИ и другой ИИ кибербезопасности) стали основной и жизненно важной частью защиты систем и данных от кибератак, но при этом они также представляют риск при использовании киберзлоумышленниками. Настало время использовать инструменты кибербезопасности ИИ и защитить инструменты ИИ, которые можно использовать для кибератак. Сообщение от модератора thyrex Перенесено из раздела Е.К.

Разработчики из Пензенского государственного университета создали первый антивирус на основе машинного обучения. Он не требует обновлений. Пока готова версия для Windows, пишут «Известия». Источник