Автор
KL FC Bot
в Новости и события из мира информационной безопасности
-
Похожий контент
-
Автор KL FC Bot
Генерация программного кода стала одной из сфер, где ИИ уже внедрен достаточно широко, — по некоторым оценкам, за минувший год около 40% нового кода было написано ИИ. CTO Microsoft считает, что через пять лет эта цифра достигнет 95%. Этот код еще предстоит научиться правильно сопровождать и защищать.
Безопасность ИИ-кода эксперты пока оценивают как невысокую, в нем систематически встречаются все классические программные дефекты: уязвимости (SQL-инъекции, вшитые в код токены и секреты, небезопасная десериализация, XSS), логические дефекты, использование устаревших API, небезопасные алгоритмы шифрования и хеширования, отсутствие обработки ошибок и некорректного пользовательского ввода и многое другое. Но использование ИИ-ассистента в разработке ПО добавляет еще одну неожиданную проблему — галлюцинации. В новом исследовании авторы подробно изучили, как на ИИ-код влияют галлюцинации больших языковых моделей. Оказалось, что некоторых сторонних библиотек, которые ИИ пытается использовать в своем коде, просто не существует в природе.
Вымышленные зависимости в open source и коммерческих LLM
Для изучения фантомных библиотек исследователи сгенерировали 576 тысяч фрагментов кода на Python и JavaScript с помощью 16 популярных LLM.
Модели выдумывали зависимости с разной частотой: реже всего галлюцинировали GPT4 и GPT4 Turbo (вымышленные библиотеки встретились менее чем в 5% образцов кода), у моделей DeepSeek этот показатель уже превышает 15%, а сильнее всего ошибается Code Llama 7B (более 25% фрагментов кода ссылаются на несуществующие библиотеки). При этом параметры генерации, которые снижают вероятность проникновения случайных токенов в выдачу модели (температура, top-p, top-k), все равно не могут снизить частоту галлюцинаций до незначительных величин.
Код на Python содержал меньше вымышленных зависимостей (16%) по сравнению с кодом на JavaScript (21%). Результат также зависит от того, насколько стара тема разработки. Если при генерации пытаться использовать пакеты, технологии и алгоритмы, ставшие популярными за последний год, несуществующих пакетов становится на 10% больше.
Самая опасная особенность вымышленных пакетов — их имена не случайны, а нейросети ссылаются на одни и те же библиотеки снова и снова. На втором этапе эксперимента авторы отобрали 500 запросов, которые ранее спровоцировали галлюцинации, и повторили каждый из них 10 раз. Оказалось, что 43% вымышленных пакетов снова возникают при каждой генерации кода.
Интересна и природа имен вымышленных пакетов. 13% были типичными «опечатками», отличающимися от настоящего имени пакета всего на один символ, 9% имен пакетов были заимствованы из другого языка разработки (код на Python, пакеты из npm), еще 38% были логично названы, но отличались от настоящих пакетов более значительно.
View the full article
-
Автор KL FC Bot
Сейчас практически невозможно представить себе современную компанию, которая не рассказывает о применении искусственного интеллекта. Причем маркетологи далеко не всегда утруждают себя объяснением того, зачем ИИ в продукте нужен, а главное, как именно он там реализован, — им кажется, что самого факта применения достаточно для того, чтобы сделать продукт более ценным, инновационным и высокотехнологичным. Мы сторонники другого подхода — нам важно не просто сказать «у нас есть ИИ», а объяснить, как именно технологии машинного обучения и искусственного интеллекта применяются в наших решениях. Перечислять все наши ИИ-технологии в одном посте было бы слишком долго — у нас есть целый центр экспертизы AI Technology Research, который занимается различными аспектами ИИ. Поэтому в данном материале я сосредоточусь исключительно на технологиях, облегчающих жизнь SIEM-аналитика, работающего с Kaspersky Unified Monitoring and Analysis (KUMA).
SIEM AI Asset Risk Scoring
Традиционно одной из самых ресурсоемких задач аналитика SIEM является приоритизация алертов. Особенно если система только установлена и работает с дефолтными правилами корреляции из коробки, пока еще не подогнанными к реалиям конкретной компании. Помочь с этой проблемой могут технологии анализа больших данных и системы искусственного интеллекта — благодаря модулю SIEM AI Asset Risk Scoring команды мониторинга и реагирования могут определять приоритеты алертов и предотвращать потенциальный ущерб. Этот модуль служит для оценки рисков активов путем анализа исторических данных и тем самым помогает приоритизировать входящие оповещения, что, в свою очередь, ускоряет проведение триажа и позволяет генерировать гипотезы, которые можно использовать для проактивного поиска.
На базе информации об активируемых цепочках правил корреляции SIEM AI Asset Risk Scoring позволяет строить паттерны нормальной активности на конечных точках. Затем, сравнивая с этими паттернами повседневную активность, модуль выявляет аномалии (например, резкие скачки трафика или множественные обращения к сервисам), которые могут говорить о том, что происходит реальный инцидент и аналитику следует глубже изучить именно эти алерты. Это позволяет обнаружить проблему на ранней стадии, до того как будет нанесен ущерб.
View the full article
-
Автор KL FC Bot
Недавно нашему бывшему коллеге пришла подозрительная нотификация от неизвестного ему сервиса GetGhared. Будучи человеком осторожным, он не стал переходить по ссылке, а сразу переслал уведомление нам. Проанализировав письмо, мы выяснили, что это действительно работа мошенников, а судя по статистике наших почтовых защитных решений, сервис для отправки больших файлов GetShared стал использоваться ими достаточно часто. Рассказываем, как выглядит применение GetShared в атаках, зачем злоумышленникам это нужно и как оставаться в безопасности.
Как выглядит атака при помощи GetShared
Жертве приходит вполне обычное, совершенно настоящее уведомление от сервиса GetShared, в котором говорится, что пользователю был прислан файл. В письме указаны название и расширение этого файла — например, в случае с атакой на компанию нашего коллеги это был DESIGN LOGO.rar.
Пример мошеннического письма, распространяемого через уведомление GetShared
В сопровождающем тексте применяется стандартная фишинговая уловка — мошенники запрашивают цены на что-то, якобы перечисленное в приложении, а для большей убедительности просят уточнить время доставки и условия оплаты.
View the full article
-
Автор KL FC Bot
Исследователь обнаружил уязвимость в PyTorch, фреймворке машинного обучения с открытым исходным кодом. Уязвимость, зарегистрированная под номером CVE-2025-32434, относится к классу Remote Code Execution (RCE) и имеет рейтинг 9,3 по шкале CVSS, то есть категорируется как критическая. Эксплуатация CVE-2025-32434 при определенных условиях позволяет злоумышленнику запускать на компьютере жертвы, скачивающей ИИ-модель произвольный код. Всем, кто использует PyTorch для работы с нейросетями, рекомендуется как можно скорее обновить фреймворк до последней версии.
Суть уязвимости CVE-2025-32434
Фреймворк PyTorch, помимо всего прочего, позволяет сохранять уже обученные модели в файл, который хранит веса связей. И, разумеется, загружать их при помощи функции torch.load(). Обученные модели часто выкладываются в общий доступ через разнообразные публичные репозитории и теоретически в них могут быть вредоносные закладки. Поэтому официальная документация проекта в целях безопасности рекомендует использовать функцию torch.load() с параметром weights_only=True (в таком случае загружаются только примитивные типы данных: словари, тензоры, списки, и так далее).
Уязвимость CVE-2025-32434 заключается в некорректно реализованном механизме десериализации при загрузке модели. Обнаруживший ее исследователь продемонстрировал, что атакующий может создать файл модели таким способом, что параметр weights_only=True приведет к прямо противоположному эффекту — при загрузке будет выполнен произвольный код, способный скомпрометировать среду, в котором запускается модель.
View the full article
-
Автор KL FC Bot
Поучительный инцидент с атакой ransomware-группировки Akira наверняка на несколько лет станет любимым примером ИБ-специалистов. Злоумышленники зашифровали компьютеры организации, воспользовавшись ее видеокамерой. Хотя звучит это очень странно, в развитии событий есть логика, которую легко применить к другой организации и другим устройствам в ее инфраструктуре.
Анатомия атаки
Злоумышленники проникли в сеть, проэксплуатировав уязвимость в публично доступном приложении и получив возможность выполнять команды на зараженном хосте. Они воспользовались этим, чтобы запустить популярное приложение дистанционного доступа AnyDesk, а затем инициировали с этого компьютера RDP-сессию для доступа к файл-серверу организации. На сервере они попытались запустить свой шифровальщик, но EDR-система, установленная в компании, опознала вредоносное ПО и поместила его в карантин. Увы, это не остановило атакующих.
Не имея возможности запустить свой шифровальщик на серверах и обычных компьютерах, которые находятся под защитой EDR, атакующие запустили сканирование внутренней сети и обнаружили в ней сетевую видеокамеру. В отчете команды по расследованию инцидента это устройство постоянно называют веб-камерой (webcam), но мы все же полагаем, что речь не о камере ноутбука или смартфона, а о независимом сетевом устройстве, применяемом для видеонаблюдения.
Камера стала прекрасной мишенью для атакующих по нескольким причинам:
устройство давно не обновлялось, его прошивка содержала уязвимости, позволяющие дистанционно скомпрометировать камеру и получить на ней права на запуск оболочки (remote shell); камера работает под управлением облегченной сборки Linux, на которой можно запускать обычные исполнимые файлы этой ОС, например Linux-шифровальщик, имеющийся в арсенале Akira; это специализированное устройство не имело (и, скорее всего, не могло иметь) ни агента EDR, ни других защитных средств, которые могли бы определить вредоносную активность. Злоумышленники смогли установить свое вредоносное ПО на эту камеру и зашифровать серверы организации прямо с нее.
View the full article
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти