Московский банк реконструкции и развития под защитой «Лаборатории Касперского»
Автор
apq
в Жизнь «Лаборатории Касперского»
-
Похожий контент
-
Автор KL FC Bot
Генерация программного кода стала одной из сфер, где ИИ уже внедрен достаточно широко, — по некоторым оценкам, за минувший год около 40% нового кода было написано ИИ. CTO Microsoft считает, что через пять лет эта цифра достигнет 95%. Этот код еще предстоит научиться правильно сопровождать и защищать.
Безопасность ИИ-кода эксперты пока оценивают как невысокую, в нем систематически встречаются все классические программные дефекты: уязвимости (SQL-инъекции, вшитые в код токены и секреты, небезопасная десериализация, XSS), логические дефекты, использование устаревших API, небезопасные алгоритмы шифрования и хеширования, отсутствие обработки ошибок и некорректного пользовательского ввода и многое другое. Но использование ИИ-ассистента в разработке ПО добавляет еще одну неожиданную проблему — галлюцинации. В новом исследовании авторы подробно изучили, как на ИИ-код влияют галлюцинации больших языковых моделей. Оказалось, что некоторых сторонних библиотек, которые ИИ пытается использовать в своем коде, просто не существует в природе.
Вымышленные зависимости в open source и коммерческих LLM
Для изучения фантомных библиотек исследователи сгенерировали 576 тысяч фрагментов кода на Python и JavaScript с помощью 16 популярных LLM.
Модели выдумывали зависимости с разной частотой: реже всего галлюцинировали GPT4 и GPT4 Turbo (вымышленные библиотеки встретились менее чем в 5% образцов кода), у моделей DeepSeek этот показатель уже превышает 15%, а сильнее всего ошибается Code Llama 7B (более 25% фрагментов кода ссылаются на несуществующие библиотеки). При этом параметры генерации, которые снижают вероятность проникновения случайных токенов в выдачу модели (температура, top-p, top-k), все равно не могут снизить частоту галлюцинаций до незначительных величин.
Код на Python содержал меньше вымышленных зависимостей (16%) по сравнению с кодом на JavaScript (21%). Результат также зависит от того, насколько стара тема разработки. Если при генерации пытаться использовать пакеты, технологии и алгоритмы, ставшие популярными за последний год, несуществующих пакетов становится на 10% больше.
Самая опасная особенность вымышленных пакетов — их имена не случайны, а нейросети ссылаются на одни и те же библиотеки снова и снова. На втором этапе эксперимента авторы отобрали 500 запросов, которые ранее спровоцировали галлюцинации, и повторили каждый из них 10 раз. Оказалось, что 43% вымышленных пакетов снова возникают при каждой генерации кода.
Интересна и природа имен вымышленных пакетов. 13% были типичными «опечатками», отличающимися от настоящего имени пакета всего на один символ, 9% имен пакетов были заимствованы из другого языка разработки (код на Python, пакеты из npm), еще 38% были логично названы, но отличались от настоящих пакетов более значительно.
View the full article
-
Автор Elly
Друзья!
Любите ли вы загадывать загадки своим детям, близким или коллегам? А может быть вам нравится их разгадывать?
Сегодня мы хотим вам предложить викторину, связанную с нашим клубом и "Лабораторией Касперского".
Присаживайтесь поудобнее и давайте начнем.
ПРАВИЛА
Вам предстоит разгадать 15 несложных загадок, каждая из которых представлена в виде небольшого двустишья. Ответом является одно слово.
НАГРАЖДЕНИЕ
Без ошибок — 700 баллов Одна ошибка — 500 баллов Баллами можно оплатить лицензии и сувениры в магазине Клуба.
ПРАВИЛА ПРОВЕДЕНИЯ
Викторина проводится до 20:00 09 апреля 2025 года (время московское).
Правильные ответы будут опубликованы не позднее 10 дней с момента окончания викторины. Публичное обсуждение вопросов и ответов викторины запрещено. Итоги будут подведены в течение десяти дней с момента публикации правильных ответов. Баллы будут начислены в течение двадцати дней с момента опубликования итогов викторины.
Все вопросы, связанные с корректностью проведения викторины, необходимо отправлять пользователю @oit (пользователя @Elly включать в копию адресатов) через систему личных сообщений с подробным описанием ситуации. Ответ будет дан коллегиальным решением организаторов викторины и дальнейшего обсуждения не предполагает.
Вопросы по начислению баллов направлять пользователю @Elly через систему личных сообщений.
Вопросы по викторине принимаются только через личные сообщения в течение срока проведения викторины и не позднее трёх дней после публикации ответов (время московское). Ответы направляются представителем от организаторов викторины через личные сообщения в рамках созданной переписки.
Администрация, официально уведомив, может в любой момент внести изменения в правила викторины, перезапустить или вовсе прекратить её проведение, а также отказать участнику в получении приза, применить иные меры (вплоть до блокировки аккаунта) в случае выявления фактов или существенных подозрений со стороны Администрации клуба его недобросовестного участия в ней и/или нарушения правил викторины, передачи ответов на викторину иным участникам. При ответе на вопросы викторины запрещается использовать анонимайзеры и другие технические средства для намеренного сокрытия реального IP-адреса.
Вопросы по начислению баллов, принимаются в течение 30 дней с момента подведения итогов викторины. Викторина является собственностью клуба «Лаборатории Касперского», её использование на сторонних ресурсах без разрешения администрации клуба запрещено.
Участие в викторине означает безоговорочное согласие с настоящими правилами.
Для перехода к вопросам викторины нажмите ЗДЕСЬ.
-
Автор Elly
Друзья!
Приглашаем вас поучаствовать в викторине, посвящённой официальному каналу «Лаборатории Касперского» в Дзен. В ходе прохождения викторины вы сможете узнать о закреплённых на канале сообщениях, юридических особенностях деятельности данного канала, оценить интересные видеоролики, опубликованные на канале, а также ознакомиться с рядом интересных статей.
НАГРАЖДЕНИЕ
Без ошибок — 800 баллов Одна ошибка — 600 баллов Две ошибки — 400 баллов Баллами можно оплатить лицензии и сувениры в магазине Клуба.
ПРАВИЛА ПРОВЕДЕНИЯ
Викторина проводится до 22:00 16 апреля 2025 года (время московское).
Правильные ответы будут опубликованы не позднее 10 дней с момента окончания викторины. Публичное обсуждение вопросов и ответов викторины запрещено. Итоги будут подведены в течение десяти дней с момента публикации правильных ответов. Баллы будут начислены в течение двадцати дней с момента опубликования итогов викторины.
Все вопросы, связанные с корректностью проведения викторины, необходимо отправлять пользователю @Mrak (пользователей @Машуня и @Elly включать в копию адресатов) через систему личных сообщений с подробным описанием ситуации. Ответ будет дан коллегиальным решением организаторов викторины и дальнейшего обсуждения не предполагает.
Вопросы по начислению баллов направлять пользователю @Elly через систему личных сообщений.
Вопросы по викторине принимаются только через личные сообщения в течение срока проведения викторины и не позднее трёх дней после публикации ответов (время московское). Ответы направляются представителем от организаторов викторины через личные сообщения в рамках созданной переписки.
Администрация, официально уведомив, может в любой момент внести изменения в правила викторины, перезапустить или вовсе прекратить её проведение, а также отказать участнику в получении приза, применить иные меры (вплоть до блокировки аккаунта) в случае выявления фактов его недобросовестного участия в ней и/или нарушения правил викторины, передачи ответов на викторину иным участникам. При ответе на вопросы викторины запрещается использовать анонимайзеры и другие технические средства для намеренного сокрытия реального IP-адреса.
Вопросы по начислению баллов, принимаются в течение 30 дней с момента подведения итогов викторины. Викторина является собственностью клуба «Лаборатории Касперского», её использование на сторонних ресурсах без разрешения администрации клуба запрещено.
Участие в викторине означает безоговорочное согласие с настоящими правилами. Для перехода к вопросам викторины нажмите ЗДЕСЬ.
-
Автор Elly
Друзья!
Представьте, что вы захотели посетить разные офисы «Лаборатории Касперского». Допустим, вы в Новгороде. Как думаете, тут есть офис компании? Или ехать только в Москву? В какой город вам направиться, если вы, например, находитесь в Швейцарии? А если вы в Северной Африке, то экскурсия в какой из офисов окажется территориально ближе?
Мы подготовили для вас викторину о расположении офисов «Лаборатории Касперского» в разных регионах мира. Для ответа на все вопросы вам достаточно будет пользоваться информацией с официальных сайтов «Лаборатории Касперского» для разных регионов.
НАГРАЖДЕНИЕ
Без ошибок — 800 баллов Одна ошибка — 600 баллов Две ошибки — 400 баллов Баллами можно оплатить лицензии и сувениры в магазине Клуба.
ПРАВИЛА ПРОВЕДЕНИЯ
Викторина проводится до 22:00 24 марта 2025 года (время московское).
Правильные ответы будут опубликованы не позднее 10 дней с момента окончания викторины. Публичное обсуждение вопросов и ответов викторины запрещено. Итоги будут подведены в течение десяти дней с момента публикации правильных ответов. Баллы будут начислены в течение двадцати дней с момента опубликования итогов викторины.
Все вопросы, связанные с корректностью проведения викторины, необходимо отправлять пользователю @Mrak (пользователей @Машуня и @Elly включать в копию адресатов) через систему личных сообщений с подробным описанием ситуации. Ответ будет дан коллегиальным решением организаторов викторины и дальнейшего обсуждения не предполагает.
Вопросы по начислению баллов направлять пользователю @Elly через систему личных сообщений.
Вопросы по викторине принимаются только через личные сообщения в течение срока проведения викторины и не позднее трёх дней после публикации ответов (время московское). Ответы направляются представителем от организаторов викторины через личные сообщения в рамках созданной переписки.
Администрация, официально уведомив, может в любой момент внести изменения в правила викторины, перезапустить или вовсе прекратить её проведение, а также отказать участнику в получении приза, применить иные меры (вплоть до блокировки аккаунта) в случае выявления фактов его недобросовестного участия в ней и/или нарушения правил викторины, передачи ответов на викторину иным участникам. При ответе на вопросы викторины запрещается использовать анонимайзеры и другие технические средства для намеренного сокрытия реального IP-адреса.
Вопросы по начислению баллов, принимаются в течение 30 дней с момента подведения итогов викторины. Викторина является собственностью клуба «Лаборатории Касперского», её использование на сторонних ресурсах без разрешения администрации клуба запрещено.
Участие в викторине означает безоговорочное согласие с настоящими правилами. Для перехода к вопросам викторины нажмите ЗДЕСЬ.
-
Автор MiStr
Здесь принимаются заявки на участие и проходит обсуждение программы «Развитие сообществ клуба в мессенджерах».
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти