Перейти к содержанию

Недекларированная функциональность в системах Machine Learning


Рекомендуемые сообщения

Риски применения ИИ-систем человечество будет изучать и устранять десятилетиями. Одним из наименее изученных на сегодня является риск троянизации модели, когда полезная и на первый взгляд верно работающая система машинного обучения содержит скрытую функциональность или намеренно внесенные ошибки. Создать такого «троянского коня» можно несколькими способами, которые отличаются уровнем сложности и сферой применения. И это не прогнозы на будущее, а реальные кейсы.

Вредоносный код в модели

Некоторые форматы хранения ML-моделей могут содержать исполняемый код. Например, произвольный код может быть выполнен при загрузке файла в формате pickle — стандартном для Python формате сериализации (приведения к форме, подходящей для сохранения и передачи) данных, используемом, в частности, в библиотеке для глубокого обучения PyTorch. В другой популярной библиотеке для машинного обучения TensorFlow модели в форматах .keras и HDF5 могут содержать «лямбда-слой», тоже по сути выполняющий произвольные команды на Python. В этом коде легко спрятать вредоносную функциональность.

В документации TensorFlow можно найти предупреждение, что модель в TensorFlow при исполнении может читать и записывать файлы, получать и отправлять данные по сети и даже запускать дочерние процессы. В общем, является по сути полноценной программой.

Вредоносный код может срабатывать сразу же при загрузке ML-модели. В популярнейшем репозитории публичных моделей Hugging Face в феврале 2024 года было обнаружено около ста моделей с вредоносной функциональностью. Из них 20% создавали на зараженном устройстве оболочку для удаленного доступа (Reverse Shell), а 10% запускали дополнительное ПО.

 

View the full article

Ссылка на комментарий
Поделиться на другие сайты

Пожалуйста, войдите, чтобы комментировать

Вы сможете оставить комментарий после входа в



Войти
  • Похожий контент

    • yare4kaa
      От yare4kaa
      Здравствуйте, был в рейсе и не чистил пк от вирусов, заразился много фигней, нужна помощь специалистов.
      Логи ниже CollectionLog-2024.11.25-18.32.zip
    • Pomka.
      От Pomka.
      короче простым клубням тут не место ?
    • Gillox
      От Gillox
      При игре в Тарков, а так же просто использовании пк без нагрузки время от времени крашется система. Думаю, подцепил майнер. Выдает синие экраны, либо пк просто перезагружается с черным экраном. Коды ошибок: 
      Memory_Management System Thread Exception not handled System Service Exception (Что вызвало проблему: Ntfs.sys) Kernel_Mode Heap Corruption CollectionLog-2024.11.04-18.56.zip
       
      Так же перестала работать панель уведомлений справа (при открытии она полностью пустая без значков и тут же закрывается) и комбинация win+shift+s перестает работать после первого использования после перезапуска пк.
    • MiStr
      От MiStr
      То, над чем мы так долго работали; то, о чём вы не раз спрашивали; то, что теперь будет постоянно обновляться и публиковаться — текущий рейтинг фан-клубовцев. Наконец мы решили все организационные и технологические вопросы, получили и агрегировали данные по программам, участвующим в рейтинговой системе мотивации фан-клубовцев, и теперь готовы ежемесячно публиковать текущий рейтинг. Всё это для того, чтобы каждый фан-клубовец видел, на каком месте он находится в данный момент, мог оценить свои шансы на попадание в список приглашённых на празднование очередного дня рождения фан-клуба, зарядить себя мотивацией и с новыми силами продолжить участвовать в многочисленных программах, за активность в которых начисляются клабы.
       
      Рейтинг фан-клубовцев по состоянию на 03.02.2019 (Ник / количество клабов):
       
       
      Внимание! Опубликованные данные носят текущий информационный характер и не являются окончательным результатом. Публикация рейтинга не означает, что подсчитаны абсолютно все активности, в которых участвовал фан-клубовец до даты публикации рейтинга, поскольку информация об участии фан-клубовцев в программах поступает к нам с задержкой от нескольких дней до нескольких месяцев.
       
      Напоминаем, что согласно правилам рейтинговой системы, любые вопросы, связанные с начислением клабов, принимаются в течение 30 дней с момента обновления рейтинга участника. По истечении этого срока количество начисленных клабов не пересматривается. Поэтому если у вас возникли вопросы по начислению клабов, то отправьте письмо мне с копией Elly. В письме сообщите, какой размер вашего рейтинга должен быть и приложите соответствующие расчёты. Письма без конкретных расчётов или содержащие неконкретную информацию вида "Мне кажется, у меня должно быть немного больше" рассматриваться не будут.
    • KL FC Bot
      От KL FC Bot
      В ходе атак на инфраструктуру различных компаний злоумышленники все чаще прибегают к манипуляции с модулями, взаимодействующими с процессом Local Security Authority (LSA). Это позволяет им получать доступ к учетным данным пользователей и закрепиться в системе, повысить свои привилегии или развить атаку на другие системы атакуемой компании. Поэтому при подготовке очередного ежеквартального обновления для нашей SIEM-системы Kaspersky Unified Monitoring and Analysis Platform мы добавили правила, служащие для детектирования таких попыток. По классификации MITRE ATT&CK, новые правила позволяют выявлять техники T1547.002, T1547.005 и T1556.002.
      В чем суть техник T1547.002, T1547.005 и T1556.002?
      Оба вышеупомянутых варианта техники T1547 подразумевают загрузку процессом LSA вредоносных модулей. Подтехника 002 описывает добавление вредоносных DLL-библиотек с пакетами проверки подлинности Windows (Windows Authentication Packages), а подтехника 005 — библиотек с пакетами поставщиков безопасности (Security Support Providers). Загрузка этих модулей позволяет злоумышленникам получить доступ к памяти процесса LSA, то есть к критическим данным, таким как учетные данные пользователей.
      Техника T1556.002 описывает сценарий, когда атакующий регистрирует в системе вредоносные DLL-библиотеки фильтров паролей (Password Filter), которые по сути являются механизмом, принуждающим к исполнению парольных политик. Когда легитимный пользователь меняет пароль или же устанавливает новый, процесс LSA сверяет его со всеми зарегистрированными фильтрами, при этом он вынужден передавать фильтрам пароли в открытом, нешифрованном виде. То есть если злоумышленнику удается внедрить в систему свой вредоносный фильтр паролей, то он сможет собирать пароли при каждом запросе.
      Все три техники подразумевают подкладывание вредоносных библиотек в директорию C:Windows\system32, а также их регистрацию в ветке системного реестра SYSTEM\CurrentControlSet\Control\LSA\ с ключами Authentication Packages для T1547.002, Security Packages для T1547.005 и Notification Packages для T1556.002.
       
      View the full article
×
×
  • Создать...