Автор
KL FC Bot
в Новости и события из мира информационной безопасности
-
Похожий контент
-
Автор KL FC Bot
Генерация программного кода стала одной из сфер, где ИИ уже внедрен достаточно широко, — по некоторым оценкам, за минувший год около 40% нового кода было написано ИИ. CTO Microsoft считает, что через пять лет эта цифра достигнет 95%. Этот код еще предстоит научиться правильно сопровождать и защищать.
Безопасность ИИ-кода эксперты пока оценивают как невысокую, в нем систематически встречаются все классические программные дефекты: уязвимости (SQL-инъекции, вшитые в код токены и секреты, небезопасная десериализация, XSS), логические дефекты, использование устаревших API, небезопасные алгоритмы шифрования и хеширования, отсутствие обработки ошибок и некорректного пользовательского ввода и многое другое. Но использование ИИ-ассистента в разработке ПО добавляет еще одну неожиданную проблему — галлюцинации. В новом исследовании авторы подробно изучили, как на ИИ-код влияют галлюцинации больших языковых моделей. Оказалось, что некоторых сторонних библиотек, которые ИИ пытается использовать в своем коде, просто не существует в природе.
Вымышленные зависимости в open source и коммерческих LLM
Для изучения фантомных библиотек исследователи сгенерировали 576 тысяч фрагментов кода на Python и JavaScript с помощью 16 популярных LLM.
Модели выдумывали зависимости с разной частотой: реже всего галлюцинировали GPT4 и GPT4 Turbo (вымышленные библиотеки встретились менее чем в 5% образцов кода), у моделей DeepSeek этот показатель уже превышает 15%, а сильнее всего ошибается Code Llama 7B (более 25% фрагментов кода ссылаются на несуществующие библиотеки). При этом параметры генерации, которые снижают вероятность проникновения случайных токенов в выдачу модели (температура, top-p, top-k), все равно не могут снизить частоту галлюцинаций до незначительных величин.
Код на Python содержал меньше вымышленных зависимостей (16%) по сравнению с кодом на JavaScript (21%). Результат также зависит от того, насколько стара тема разработки. Если при генерации пытаться использовать пакеты, технологии и алгоритмы, ставшие популярными за последний год, несуществующих пакетов становится на 10% больше.
Самая опасная особенность вымышленных пакетов — их имена не случайны, а нейросети ссылаются на одни и те же библиотеки снова и снова. На втором этапе эксперимента авторы отобрали 500 запросов, которые ранее спровоцировали галлюцинации, и повторили каждый из них 10 раз. Оказалось, что 43% вымышленных пакетов снова возникают при каждой генерации кода.
Интересна и природа имен вымышленных пакетов. 13% были типичными «опечатками», отличающимися от настоящего имени пакета всего на один символ, 9% имен пакетов были заимствованы из другого языка разработки (код на Python, пакеты из npm), еще 38% были логично названы, но отличались от настоящих пакетов более значительно.
View the full article
-
Автор KL FC Bot
Попытки поставить целевой фишинг на поток мы наблюдаем уже достаточно давно. Как правило, они ограничиваются чуть лучшей стилизацией писем под конкретную компанию, имитацией корпоративного отправителя при помощи методики Ghost Spoofing и персонализацией послания (которая в лучшем случае заключается в обращении к жертве по имени). Однако в марте этого года мы начали регистрировать крайне любопытную рассылку, в которой персонализирован был не только текст в теле писем, но и вложенный документ. Да и сама схема была не совсем типичной — в ней жертву пытались заставить ввести корпоративные учетные данные от почты под предлогом изменений HR-политики.
Письмо от злоумышленников: просьба ознакомиться с новыми HR-гайдлайнами
Итак, жертва получает письмо, в котором якобы представители HR, обращаясь по имени, просят ознакомиться с изменениями HR-политики, касающимися протоколов удаленной работы, доступных рабочих льгот и стандартов безопасности. Разумеется, любому сотруднику важны изменения такого рода, курсор так и тянет к приложенному документу (в названии которого, к слову, тоже есть имя получателя). Тем более в письме такая красивая плашка, в которой сказано, что отправитель подтвержденный, сообщение пришло из листа безопасных адресатов. Но как показывает практика, именно в таких случаях к письму стоит присмотреться повнимательнее.
View the full article
-
Автор KL FC Bot
При знакомстве с рейтингом CVSS (Common Vulnerability Scoring System) многим кажется, что он прекрасно подходит для сортировки уязвимостей и их приоритизации: если больше цифра рейтинга, значит уязвимость важнее. На практике этот подход не срабатывает. Уязвимостей с высоким рейтингом каждый год становится все больше, закрывать их все команды ИБ не успевают, при этом львиная доля этих дефектов никогда не эксплуатируется в реальных атаках. В то же время злоумышленники то и дело используют менее броские уязвимости с невысоким рейтингом. Есть и другие подводные камни — от чисто технических (конфликтующие оценки CVSS) до концептуальных (отсутствие бизнес-контекста).
Считать это недостатками самого рейтинга CVSS нельзя, нужно просто применять этот инструмент правильно: в рамках более сложного и комплексного процесса управления уязвимостями.
Разночтения CVSS
Иногда одна и та же уязвимость получает разную оценку критичности в доступных источниках: у исследователя ИБ, который ее нашел; у производителя уязвимого ПО; в национальном реестре уязвимостей. Кроме банальных ошибок у этих разночтений может быть и более серьезная причина — разные эксперты могут расходиться в оценках контекста эксплуатации: например, о том, с какими привилегиями выполняется уязвимое приложение, доступно ли оно из Интернета, и так далее. Производитель может ориентироваться здесь на свои рекомендации лучших практик, а исследователь ИБ — на то, как приложения настроены в реальных организациях. Один исследователь может оценить сложность эксплуатации как высокую, а другой — как низкую. Все это далеко не редкость. В исследовании VulnCheck, проведенном в 2023 году, подсчитали, что 20% уязвимостей из NVD содержат два рейтинга CVSS3 из разных источников и 56% этих парных оценок конфликтуют между собой.
View the full article
-
Автор KL FC Bot
Мошенники постоянно что-нибудь «раздают»: то бесплатные подписки в Telegram, то криптовалюту, то NFT-кроссовки. В новой схеме все по-простому: «раздают» сразу деньги — точнее, делятся способом, как их якобы законно можно получить.
Жулики с помощью ИИ создали двухминутный ролик, где «журналИИсты» и одна знаменитость рассказывают байки: «Каждый человек может получить компенсацию, для этого нужно всего лишь…». Читайте эту историю, чтобы узнать, что просят сделать жертв и как теперь мошенники завлекают людей в свои схемы.
Как действуют мошенники
В рамках этой кампании были разработаны фишинговые сайты, на которых как раз и размещалось видео. Вы не сможете найти его на YouTube или других видеохостингах (извините, но ради вашей безопасности мы тоже им не поделимся), потому что там подобный ИИ-контент довольно-таки быстро удаляют. С подконтрольными злоумышленникам сайтами все сложнее, особенно когда ссылки на них рассылают в почте и мессенджерах.
Теперь о самом интересном: о видео. Выглядит оно как свежий выпуск бразильских новостей, но с одним нюансом. Новости — фейковые, они «сняты» без согласия журналистов. Мошенники в качестве фактуры использовали настоящий выпуск новостей, на который наложили закадровую озвучку, сделанную с помощью ИИ, а также синхронизировали движения губ с новым текстом. Итак, ИИ-клоны реальных журналистов рассуждают о «нарушениях», допущенных одним из популярнейших банков страны.
«Банковские балансы клиентов уменьшаются без всякой причины или даже полностью обнуляются». «Несправедливо блокируются счета». «Процентные ставки по кредитам завышаются». Часть фейковой статьи, созданной ИИ для этой схемы
View the full article
-
Автор KL FC Bot
Присутствие в Интернете сегодня неизбежно. Все больше и больше повседневных процессов происходят онлайн, и, если вы не моряк и не лесничий, жить в офлайне теперь — привилегия. По примерным оценкам, каждый из нас генерирует ежечасно от двух до трех гигабайт данных — через смартфоны, IoT-устройства и онлайн-сервисы. При этом 71% тех же американцев обеспокоены сбором информации государством, а 81% — корпорациями. Сегодня мы разберем обычный день современного человека, чтобы понять, где и как мы оставляем цифровые следы привычными действиями и что с этим делать.
Утренние ритуалы: как следят смартфон и браузер
Вы встали, узнали погоду на сегодня, полистали рилсы, что-то полайкали, вбили свой маршрут на работу и выяснили, через какие пробки вам придется продираться. С настройкой приватности в соцсетях все очевидно: ее надо подкрутить, чтобы подписанные на вас родители и коллеги не поседели от вашего чувства юмора, и поможет в этом наш сайт Privacy Checker. Сложнее с геопозицией, которую любят собирать все кому не лень. Мы уже подробно рассказывали о том, как смартфоны собирают на вас досье, и о том, кто такие брокеры данных геолокации и что происходит, когда они «протекают».
Только представьте: около половины популярных Android-приложений запрашивают геолокацию там, где она не нужна. А браузеры Chrome и Safari по умолчанию разрешают кросс-доменное отслеживание cookies, что позволяет рекламным сетям строить детальные профили пользователей под персонализированную рекламу. В ход идет почти вся телеметрия смартфона, позволяющая составлять детальный портрет потребителя без кастдевов и фокус-групп. Лучший маркетолог — у вас в кармане, только вот работает он не на вас. Как быть?
View the full article
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти