Автор
Самогонщик
в Компьютерная помощь
-
Похожий контент
-
Автор KL FC Bot
Генерация программного кода стала одной из сфер, где ИИ уже внедрен достаточно широко, — по некоторым оценкам, за минувший год около 40% нового кода было написано ИИ. CTO Microsoft считает, что через пять лет эта цифра достигнет 95%. Этот код еще предстоит научиться правильно сопровождать и защищать.
Безопасность ИИ-кода эксперты пока оценивают как невысокую, в нем систематически встречаются все классические программные дефекты: уязвимости (SQL-инъекции, вшитые в код токены и секреты, небезопасная десериализация, XSS), логические дефекты, использование устаревших API, небезопасные алгоритмы шифрования и хеширования, отсутствие обработки ошибок и некорректного пользовательского ввода и многое другое. Но использование ИИ-ассистента в разработке ПО добавляет еще одну неожиданную проблему — галлюцинации. В новом исследовании авторы подробно изучили, как на ИИ-код влияют галлюцинации больших языковых моделей. Оказалось, что некоторых сторонних библиотек, которые ИИ пытается использовать в своем коде, просто не существует в природе.
Вымышленные зависимости в open source и коммерческих LLM
Для изучения фантомных библиотек исследователи сгенерировали 576 тысяч фрагментов кода на Python и JavaScript с помощью 16 популярных LLM.
Модели выдумывали зависимости с разной частотой: реже всего галлюцинировали GPT4 и GPT4 Turbo (вымышленные библиотеки встретились менее чем в 5% образцов кода), у моделей DeepSeek этот показатель уже превышает 15%, а сильнее всего ошибается Code Llama 7B (более 25% фрагментов кода ссылаются на несуществующие библиотеки). При этом параметры генерации, которые снижают вероятность проникновения случайных токенов в выдачу модели (температура, top-p, top-k), все равно не могут снизить частоту галлюцинаций до незначительных величин.
Код на Python содержал меньше вымышленных зависимостей (16%) по сравнению с кодом на JavaScript (21%). Результат также зависит от того, насколько стара тема разработки. Если при генерации пытаться использовать пакеты, технологии и алгоритмы, ставшие популярными за последний год, несуществующих пакетов становится на 10% больше.
Самая опасная особенность вымышленных пакетов — их имена не случайны, а нейросети ссылаются на одни и те же библиотеки снова и снова. На втором этапе эксперимента авторы отобрали 500 запросов, которые ранее спровоцировали галлюцинации, и повторили каждый из них 10 раз. Оказалось, что 43% вымышленных пакетов снова возникают при каждой генерации кода.
Интересна и природа имен вымышленных пакетов. 13% были типичными «опечатками», отличающимися от настоящего имени пакета всего на один символ, 9% имен пакетов были заимствованы из другого языка разработки (код на Python, пакеты из npm), еще 38% были логично названы, но отличались от настоящих пакетов более значительно.
View the full article
-
Автор kreep69
Добрый день!
Возник вопрос в части плагина управления KEDR Optimum.
KEDR Optimum установлен в тестовой среде в составе KES для Windows.
Удалось найти только плагин для веб-консоли. Подскажите, пожалуйста, где найти плагин управления Kaspersky endpoint detection and response Optimum для MMC?
-
Автор Artyom1990
Здравствуйте, прошу помочь, подхватили шифровальщик, не могу ни удалить ни расшифровать файлы.
.[Rdpdik6@gmail.com].lockedfile
анкета сокращенная.pdf.[Rdpdik6@gmail.com]
SearchReg.txt Addition.txt FRST.txt
Это то что отправил вымогатель.
#Read-for-recovery.txt
Это то что отправил вымогатель.
-
Автор artem12
C:\Users\sevak\AppData\Local\Google\Chrome\User Data\Default\File System\007\p\00\00000000 показывает что на этом пути вирус, я нажимаю вылечить, но вирус всё равно не пропадает. При повторном сканировании снова показывается. Я поочищал расширения гугла, сделал восстановление системы но он всё равно показывается и просканировал пк ращличными антивирусоми; kaspersky, malware и т.д.
-
Автор vishnevskiyy
Не могу избавиться от этой надписи: Некоторыми параметрами управляет ваша организация.
Все решения подобной проблемы заблокированы в самих параметрах Windows.
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти