Почему блокчейн – не такая уж и плохая технология
Автор
KL FC Bot
в Новости и события из мира информационной безопасности
-
Похожий контент
-
Автор KL FC Bot
Генерация программного кода стала одной из сфер, где ИИ уже внедрен достаточно широко, — по некоторым оценкам, за минувший год около 40% нового кода было написано ИИ. CTO Microsoft считает, что через пять лет эта цифра достигнет 95%. Этот код еще предстоит научиться правильно сопровождать и защищать.
Безопасность ИИ-кода эксперты пока оценивают как невысокую, в нем систематически встречаются все классические программные дефекты: уязвимости (SQL-инъекции, вшитые в код токены и секреты, небезопасная десериализация, XSS), логические дефекты, использование устаревших API, небезопасные алгоритмы шифрования и хеширования, отсутствие обработки ошибок и некорректного пользовательского ввода и многое другое. Но использование ИИ-ассистента в разработке ПО добавляет еще одну неожиданную проблему — галлюцинации. В новом исследовании авторы подробно изучили, как на ИИ-код влияют галлюцинации больших языковых моделей. Оказалось, что некоторых сторонних библиотек, которые ИИ пытается использовать в своем коде, просто не существует в природе.
Вымышленные зависимости в open source и коммерческих LLM
Для изучения фантомных библиотек исследователи сгенерировали 576 тысяч фрагментов кода на Python и JavaScript с помощью 16 популярных LLM.
Модели выдумывали зависимости с разной частотой: реже всего галлюцинировали GPT4 и GPT4 Turbo (вымышленные библиотеки встретились менее чем в 5% образцов кода), у моделей DeepSeek этот показатель уже превышает 15%, а сильнее всего ошибается Code Llama 7B (более 25% фрагментов кода ссылаются на несуществующие библиотеки). При этом параметры генерации, которые снижают вероятность проникновения случайных токенов в выдачу модели (температура, top-p, top-k), все равно не могут снизить частоту галлюцинаций до незначительных величин.
Код на Python содержал меньше вымышленных зависимостей (16%) по сравнению с кодом на JavaScript (21%). Результат также зависит от того, насколько стара тема разработки. Если при генерации пытаться использовать пакеты, технологии и алгоритмы, ставшие популярными за последний год, несуществующих пакетов становится на 10% больше.
Самая опасная особенность вымышленных пакетов — их имена не случайны, а нейросети ссылаются на одни и те же библиотеки снова и снова. На втором этапе эксперимента авторы отобрали 500 запросов, которые ранее спровоцировали галлюцинации, и повторили каждый из них 10 раз. Оказалось, что 43% вымышленных пакетов снова возникают при каждой генерации кода.
Интересна и природа имен вымышленных пакетов. 13% были типичными «опечатками», отличающимися от настоящего имени пакета всего на один символ, 9% имен пакетов были заимствованы из другого языка разработки (код на Python, пакеты из npm), еще 38% были логично названы, но отличались от настоящих пакетов более значительно.
View the full article
-
Автор KL FC Bot
Сейчас практически невозможно представить себе современную компанию, которая не рассказывает о применении искусственного интеллекта. Причем маркетологи далеко не всегда утруждают себя объяснением того, зачем ИИ в продукте нужен, а главное, как именно он там реализован, — им кажется, что самого факта применения достаточно для того, чтобы сделать продукт более ценным, инновационным и высокотехнологичным. Мы сторонники другого подхода — нам важно не просто сказать «у нас есть ИИ», а объяснить, как именно технологии машинного обучения и искусственного интеллекта применяются в наших решениях. Перечислять все наши ИИ-технологии в одном посте было бы слишком долго — у нас есть целый центр экспертизы AI Technology Research, который занимается различными аспектами ИИ. Поэтому в данном материале я сосредоточусь исключительно на технологиях, облегчающих жизнь SIEM-аналитика, работающего с Kaspersky Unified Monitoring and Analysis (KUMA).
SIEM AI Asset Risk Scoring
Традиционно одной из самых ресурсоемких задач аналитика SIEM является приоритизация алертов. Особенно если система только установлена и работает с дефолтными правилами корреляции из коробки, пока еще не подогнанными к реалиям конкретной компании. Помочь с этой проблемой могут технологии анализа больших данных и системы искусственного интеллекта — благодаря модулю SIEM AI Asset Risk Scoring команды мониторинга и реагирования могут определять приоритеты алертов и предотвращать потенциальный ущерб. Этот модуль служит для оценки рисков активов путем анализа исторических данных и тем самым помогает приоритизировать входящие оповещения, что, в свою очередь, ускоряет проведение триажа и позволяет генерировать гипотезы, которые можно использовать для проактивного поиска.
На базе информации об активируемых цепочках правил корреляции SIEM AI Asset Risk Scoring позволяет строить паттерны нормальной активности на конечных точках. Затем, сравнивая с этими паттернами повседневную активность, модуль выявляет аномалии (например, резкие скачки трафика или множественные обращения к сервисам), которые могут говорить о том, что происходит реальный инцидент и аналитику следует глубже изучить именно эти алерты. Это позволяет обнаружить проблему на ранней стадии, до того как будет нанесен ущерб.
View the full article
-
Автор KL FC Bot
В попытке обойти механизмы защитных решений злоумышленники все чаще прячут вредоносные и фишинговые ссылки внутрь QR-кодов. Поэтому в решение [KSMG placeholder] Kaspersky Secure Mail Gateway [/placeholder] мы добавили технологию, способную «читать» QR-коды (в том числе и спрятанные внутрь PDF-файлов), доставать из них ссылки и проверять их до того, как они окажутся в почтовом ящике сотрудника компании. Рассказываем, как это работает.
Пример фишингового QR-кода внутри PDF-файла
View the full article
-
Автор Petr1988
Собственно что это такое? В чем смысл этих игр тапалок? Правда ли, что можно на них заработать или бред?
-
Автор di.mailovich
Добрый день
Обратил внимание что некоторые вендоры отказались от файерволла на Андройд в премиум версиях даже те у кого он был (аваст например)
Поясните пожалуйста вашу позицию.
Может быть бесполезность его без рут прав, или сложность установки правил для обычных пользователей или потому что толку от него нет кроме как резать рекламу блокируя выход в интернет некоторым приложениям или особенность именно операционной системы Андройд в которой нет острой необходимости в такой программе ?
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти