Поиск сообщества

Что можно сказать по поводу уязвимостей ИИ ? ... Исследователи создали новый, невиданный ранее вид вредоносного ПО, которое они назвали червем «Morris II», который использует популярные сервисы искусственного интеллекта для своего распространения, заражения новых систем и кражи данных. Название отсылает к оригинальному компьютерному червю Морриса, который нанес ущерб Интернету в 1988 году. Червь демонстрирует потенциальную опасность угроз безопасности ИИ и создает новую актуальность проблемы защиты моделей ИИ . Новый червь использует состязательную самовоспроизводящуюся подсказку. Исследователи из Корнеллского технологического института, Израильского технологического института и компании Intuit использовали для создания червя так называемую «состязательную самовоспроизводящуюся подсказку». Это приглашение, которое при подаче в модель большого языка (LLM) (они протестировали его на ChatGPT OpenAI, Gemini от Google и модели LLaVA с открытым исходным кодом, разработанной исследователями из Университета Висконсин-Мэдисон, Microsoft Research и Колумбийского университета) , обманом заставляет модель создать дополнительную подсказку. Он заставляет чат-бота генерировать собственные вредоносные запросы, на которые он затем отвечает, выполняя эти инструкции (аналогично атакам SQL-инъекций и переполнения буфера). Червь имеет две основные возможности: 1.Эксфильтрация данных. Червь может извлекать конфиденциальные личные данные из электронной почты зараженных систем, включая имена, номера телефонов, данные кредитных карт и номера социального страхования. 2. Распространение спама. Червь может генерировать и рассылать спам и другие вредоносные электронные письма через скомпрометированные почтовые помощники на базе искусственного интеллекта, помогая ему распространяться и заражать другие системы. Исследователи успешно продемонстрировали эти возможности в контролируемой среде, показав, как червь может проникать в генеративные экосистемы искусственного интеллекта и красть данные или распространять вредоносное ПО. ИИ-червь «Morris II» не был замечен в свободной среде и исследователи не тестировали его на общедоступном почтовом помощнике. Они обнаружили, что могут использовать самовоспроизводящиеся подсказки как в текстовых подсказках, так и в виде встроенных подсказок в файлы изображений. Зараженные базы данных ИИ. Демонстрируя подход с использованием текстовых подсказок, исследователи написали электронное письмо, содержащее состязательную текстовую подсказку, «отравляя» базу данных помощника по электронной почте с использованием искусственного интеллекта, используя генерацию с расширенным поиском (RAG), которая позволяет LLM захватывать внешние данные. RAG получила электронное письмо и отправила его провайдеру LLM, который сгенерировал ответ, который взломал службу искусственного интеллекта, украл данные из электронных писем, а затем заразил новые хосты, когда LLM использовался для ответа на электронное письмо, отправленное другим клиентом. При использовании изображения исследователи закодировали в изображение самовоспроизводящуюся подсказку, заставляя помощника по электронной почте пересылать сообщение на другие адреса электронной почты. Изображение служит одновременно контентом (спам, мошенничество, пропаганда, дезинформация или оскорбительные материалы) и активационной нагрузкой, которая распространяет червя. Однако исследователи говорят, что это представляет собой новый тип угрозы кибербезопасности, поскольку системы искусственного интеллекта становятся более продвинутыми и взаимосвязанными. Созданное в лаборатории вредоносное ПО — это лишь последнее событие в выявлении служб чат-ботов на базе LLM, которое показывает их уязвимость к использованию для злонамеренных кибератак. OpenAI признала наличие уязвимости и заявила, что работает над тем, чтобы сделать свои системы устойчивыми к такого рода атакам. Будущее кибербезопасности с использованием искусственного интеллекта Поскольку генеративный ИИ становится все более распространенным, злоумышленники могут использовать аналогичные методы для кражи данных, распространения дезинформации или нарушения работы систем в более крупных масштабах. Иностранные государственные субъекты также могут использовать его для вмешательства в выборы или разжигания социальных разногласий. Мы явно вступаем в эпоху, когда инструменты кибербезопасности ИИ (обнаружение угроз ИИ и другой ИИ кибербезопасности) стали основной и жизненно важной частью защиты систем и данных от кибератак, но при этом они также представляют риск при использовании киберзлоумышленниками. Настало время использовать инструменты кибербезопасности ИИ и защитить инструменты ИИ, которые можно использовать для кибератак. Сообщение от модератора thyrex Перенесено из раздела Е.К.

Добрый день. Обнаружена активная угроза, которую не удаётся убрать никак. Обычно в меню быстрого доступа как на скриншоте, есть запустить задачу и там полная проверка. Тут такого нет. В задачах если полную проверку запустить, то там требуется плагин, как вот здесь, я писал плагин скачиваю, устанавливаю, перезапускаю консоль всё равно требует тот же плагин. Подскажите пожалуйста, что делать

Добрый вечер. Думаю, что проблема многим знакома. Как попала на комп-, черт его знает. Сначала появилась в трее просто программка DNS Unlocker, я ее удалил (это я так думал), потом она появилась гугл хром, потом в опере ну и в мозиле. Гугл снес и не планирую больше устанавливать, а вот опера и мозила страдают, ну и я вместе ними. хотелось бы разобраться с этой ...... CollectionLog-2016.01.15-22.41.zip