Автор
KL FC Bot
в Новости и события из мира информационной безопасности
-
Похожий контент
-
Автор KL FC Bot
Генерация программного кода стала одной из сфер, где ИИ уже внедрен достаточно широко, — по некоторым оценкам, за минувший год около 40% нового кода было написано ИИ. CTO Microsoft считает, что через пять лет эта цифра достигнет 95%. Этот код еще предстоит научиться правильно сопровождать и защищать.
Безопасность ИИ-кода эксперты пока оценивают как невысокую, в нем систематически встречаются все классические программные дефекты: уязвимости (SQL-инъекции, вшитые в код токены и секреты, небезопасная десериализация, XSS), логические дефекты, использование устаревших API, небезопасные алгоритмы шифрования и хеширования, отсутствие обработки ошибок и некорректного пользовательского ввода и многое другое. Но использование ИИ-ассистента в разработке ПО добавляет еще одну неожиданную проблему — галлюцинации. В новом исследовании авторы подробно изучили, как на ИИ-код влияют галлюцинации больших языковых моделей. Оказалось, что некоторых сторонних библиотек, которые ИИ пытается использовать в своем коде, просто не существует в природе.
Вымышленные зависимости в open source и коммерческих LLM
Для изучения фантомных библиотек исследователи сгенерировали 576 тысяч фрагментов кода на Python и JavaScript с помощью 16 популярных LLM.
Модели выдумывали зависимости с разной частотой: реже всего галлюцинировали GPT4 и GPT4 Turbo (вымышленные библиотеки встретились менее чем в 5% образцов кода), у моделей DeepSeek этот показатель уже превышает 15%, а сильнее всего ошибается Code Llama 7B (более 25% фрагментов кода ссылаются на несуществующие библиотеки). При этом параметры генерации, которые снижают вероятность проникновения случайных токенов в выдачу модели (температура, top-p, top-k), все равно не могут снизить частоту галлюцинаций до незначительных величин.
Код на Python содержал меньше вымышленных зависимостей (16%) по сравнению с кодом на JavaScript (21%). Результат также зависит от того, насколько стара тема разработки. Если при генерации пытаться использовать пакеты, технологии и алгоритмы, ставшие популярными за последний год, несуществующих пакетов становится на 10% больше.
Самая опасная особенность вымышленных пакетов — их имена не случайны, а нейросети ссылаются на одни и те же библиотеки снова и снова. На втором этапе эксперимента авторы отобрали 500 запросов, которые ранее спровоцировали галлюцинации, и повторили каждый из них 10 раз. Оказалось, что 43% вымышленных пакетов снова возникают при каждой генерации кода.
Интересна и природа имен вымышленных пакетов. 13% были типичными «опечатками», отличающимися от настоящего имени пакета всего на один символ, 9% имен пакетов были заимствованы из другого языка разработки (код на Python, пакеты из npm), еще 38% были логично названы, но отличались от настоящих пакетов более значительно.
View the full article
-
Автор KL FC Bot
Представьте: вы спокойно работаете за компьютером, и вдруг на экране появляется пугающее сообщение: «Ваш компьютер заражен вирусами! Срочно установите антивирус!» или «Ваши данные могут быть украдены! Немедленно произведите очистку системы!». Паника? Именно на это и рассчитывают мошенники.
В этом посте мы расскажем, что такое scareware и чем опасен этот тип угроз. А также объясняем, как не попасться на уловки распространителей таких зловредов и защитить от подобных атак себя и своих близких.
Что такое scareware
Scareware (от англ. scare, пугать) — один из видов цифрового мошенничества, предполагающий запугивание пользователей. Цель scareware — заставить жертву скачать ненужную или даже откровенно вредоносную программу. Такие программы обычно мимикрируют под антивирусы, оптимизаторы системы, очистители реестра и так далее — хотя встречаются и более экзотические вариации.
Пользователя предупреждают о невероятной опасности: на его компьютере якобы обнаружено сразу пять вирусов! Правда, шапка окна содержит маленькую ошибочку: «Обнаружены угрожи» Источник
View the full article
-
Автор KL FC Bot
Недавно нашему бывшему коллеге пришла подозрительная нотификация от неизвестного ему сервиса GetGhared. Будучи человеком осторожным, он не стал переходить по ссылке, а сразу переслал уведомление нам. Проанализировав письмо, мы выяснили, что это действительно работа мошенников, а судя по статистике наших почтовых защитных решений, сервис для отправки больших файлов GetShared стал использоваться ими достаточно часто. Рассказываем, как выглядит применение GetShared в атаках, зачем злоумышленникам это нужно и как оставаться в безопасности.
Как выглядит атака при помощи GetShared
Жертве приходит вполне обычное, совершенно настоящее уведомление от сервиса GetShared, в котором говорится, что пользователю был прислан файл. В письме указаны название и расширение этого файла — например, в случае с атакой на компанию нашего коллеги это был DESIGN LOGO.rar.
Пример мошеннического письма, распространяемого через уведомление GetShared
В сопровождающем тексте применяется стандартная фишинговая уловка — мошенники запрашивают цены на что-то, якобы перечисленное в приложении, а для большей убедительности просят уточнить время доставки и условия оплаты.
View the full article
-
Автор KL FC Bot
Исследователь обнаружил уязвимость в PyTorch, фреймворке машинного обучения с открытым исходным кодом. Уязвимость, зарегистрированная под номером CVE-2025-32434, относится к классу Remote Code Execution (RCE) и имеет рейтинг 9,3 по шкале CVSS, то есть категорируется как критическая. Эксплуатация CVE-2025-32434 при определенных условиях позволяет злоумышленнику запускать на компьютере жертвы, скачивающей ИИ-модель произвольный код. Всем, кто использует PyTorch для работы с нейросетями, рекомендуется как можно скорее обновить фреймворк до последней версии.
Суть уязвимости CVE-2025-32434
Фреймворк PyTorch, помимо всего прочего, позволяет сохранять уже обученные модели в файл, который хранит веса связей. И, разумеется, загружать их при помощи функции torch.load(). Обученные модели часто выкладываются в общий доступ через разнообразные публичные репозитории и теоретически в них могут быть вредоносные закладки. Поэтому официальная документация проекта в целях безопасности рекомендует использовать функцию torch.load() с параметром weights_only=True (в таком случае загружаются только примитивные типы данных: словари, тензоры, списки, и так далее).
Уязвимость CVE-2025-32434 заключается в некорректно реализованном механизме десериализации при загрузке модели. Обнаруживший ее исследователь продемонстрировал, что атакующий может создать файл модели таким способом, что параметр weights_only=True приведет к прямо противоположному эффекту — при загрузке будет выполнен произвольный код, способный скомпрометировать среду, в котором запускается модель.
View the full article
-
Автор KL FC Bot
Поучительный инцидент с атакой ransomware-группировки Akira наверняка на несколько лет станет любимым примером ИБ-специалистов. Злоумышленники зашифровали компьютеры организации, воспользовавшись ее видеокамерой. Хотя звучит это очень странно, в развитии событий есть логика, которую легко применить к другой организации и другим устройствам в ее инфраструктуре.
Анатомия атаки
Злоумышленники проникли в сеть, проэксплуатировав уязвимость в публично доступном приложении и получив возможность выполнять команды на зараженном хосте. Они воспользовались этим, чтобы запустить популярное приложение дистанционного доступа AnyDesk, а затем инициировали с этого компьютера RDP-сессию для доступа к файл-серверу организации. На сервере они попытались запустить свой шифровальщик, но EDR-система, установленная в компании, опознала вредоносное ПО и поместила его в карантин. Увы, это не остановило атакующих.
Не имея возможности запустить свой шифровальщик на серверах и обычных компьютерах, которые находятся под защитой EDR, атакующие запустили сканирование внутренней сети и обнаружили в ней сетевую видеокамеру. В отчете команды по расследованию инцидента это устройство постоянно называют веб-камерой (webcam), но мы все же полагаем, что речь не о камере ноутбука или смартфона, а о независимом сетевом устройстве, применяемом для видеонаблюдения.
Камера стала прекрасной мишенью для атакующих по нескольким причинам:
устройство давно не обновлялось, его прошивка содержала уязвимости, позволяющие дистанционно скомпрометировать камеру и получить на ней права на запуск оболочки (remote shell); камера работает под управлением облегченной сборки Linux, на которой можно запускать обычные исполнимые файлы этой ОС, например Linux-шифровальщик, имеющийся в арсенале Akira; это специализированное устройство не имело (и, скорее всего, не могло иметь) ни агента EDR, ни других защитных средств, которые могли бы определить вредоносную активность. Злоумышленники смогли установить свое вредоносное ПО на эту камеру и зашифровать серверы организации прямо с нее.
View the full article
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти