Перейти к содержанию

Меры для безопасной разработки и использования ИИ | Блог Касперского


Рекомендуемые сообщения

Уже сегодня технологии на базе ИИ внедрены в каждой второй компании, а за ближайшие два года к ним присоединится еще 33% коммерческих организаций. ИИ в том или ином виде будет внедрен повсеместно. Экономический эффект, который получают компании от внедрения, варьируется от повышения удовлетворенности клиентов до прямого роста выручки. По мере того как понимание сильных и слабых сторон ИИ-систем бизнесом будет углубляться, эффективность только увеличится. Но уже сейчас очевидно, что о рисках, которые несет внедрение ИИ, нужно подумать заранее.

Даже ранние примеры внедрения демонстрируют, что цена ошибки ИИ-системы может быть высока и может выражаться в том числе во влиянии на репутацию, отношения с клиентами, здоровье пациентов и многое другое. А если учесть еще и киберфизические системы вроде автономных автомобилей, то вопросы безопасности станут еще острее.

Внедрять безопасность постфактум, как это было с предыдущими поколениями технологий, будет дорого и порой невозможно. Чтобы в этом убедиться, достаточно найти свежие оценки ущерба, который мировой экономике наносит киберпреступность: на 2023 год это $8 трлн. Неудивительно, что страны, претендующие на технологическое лидерство в XXI веке, торопятся внедрить регулирование ИИ (например, China’s AI Safety Governance Framework, EU AI Act, US Executive Order on AI). Но в законах редко указываются технические подробности и практические рекомендации — это не их задача. Поэтому для практического применения любых регуляторных требований формата «обеспечить надежность и этичность ИИ, а также контролируемость его решений» необходимы конкретные практические рекомендации, позволяющие достичь этого результата.

Чтобы помочь практикам, внедряющим ИИ уже сегодня, а также сделать будущее нашего мира более безопасным, специалисты «Лаборатории Касперского» при участии Эллисон Вайлд, члена команды по функциональной совместимости Сети по вопросам политики в области искусственного интеллекта Форума ООН по управлению Интернетом; доктора Мелодены Стивенс, профессора управления инновациями и технологиями школы государственного управления имени Мохаммеда бин Рашида; и Серхио Майо Масиаса, менеджера инновационных программ из Технологического института Арагона, создали набор рекомендаций. Документ был представлен в ходе семинара «Кибербезопасность в сфере ИИ: баланс между инновациями и рисками» на 19-м ежегодном Форуме по управлению Интернетом (UN Internet Governance Forum, IGF) для обсуждения с международным сообществом формирующих политику работы с AI экспертов.

Следование описанным в документе практикам поможет инженерам, специалистам DevOps и MLOps, которые разрабатывают и затем эксплуатируют ИИ-решения, достичь высокого уровня защищенности и безопасности ИИ-систем на всех этапах их жизненного цикла. Рекомендации документа нужно индивидуально оценивать для каждого внедрения ИИ, поскольку их применимость зависит от разновидности ИИ и модели внедрения.

Какие риски нужно учесть

Многообразие применений ИИ вынуждает организацию учитывать очень разнородные риски:

  • Риск от неиспользования ИИ. Звучит на первый взгляд забавно, но только сравнив выигрыш и потери компании от внедрения ИИ, можно правильно оценивать все остальные риски.
  • Риски несоответствия регулированию. Быстро развивающееся регулирование ИИ делает этот риск динамичным, его нужно часто оценивать заново. Кроме регулирования ИИ как такового, нужно учитывать сопутствующие риски, например нарушения законов по обработке персональных данных.
  • ESG-риски, то есть социально-этические риски применения ИИ, риски раскрытия чувствительной информации и риски для экологии.
  • Риск нецелевого использования ИИ-сервисов пользователями — от шуточных до злонамеренных сценариев.
  • Угрозы ИИ-моделям и наборам данных, применявшимся в тренировке.
  • Угрозы сервисам компании, возникающие при внедрении ИИ.
  • Возникающие при этом угрозы данным, которые обрабатываются в рамках этих сервисов.

При этом «под капотом» трех последних групп рисков находятся все угрозы и задачи, традиционные для ИБ в сложных облачных инфраструктурах: контроль доступа и сегментация, управление уязвимостями и обновлениями, создание систем мониторинга и реагирования, контроль цепочек поставок.

 

View the full article

Ссылка на комментарий
Поделиться на другие сайты

Пожалуйста, войдите, чтобы комментировать

Вы сможете оставить комментарий после входа в



Войти
  • Похожий контент

    • KL FC Bot
      Автор KL FC Bot
      Как переписываться, не сливая данные посторонним, и как защитить свой аккаунт в мессенджерах от кражи или взлома? Вот двенадцать простых правил с кратчайшими объяснениями, почему важно каждое из них.
      Включите двухфакторную проверку
      Почему это важно. Чтобы ваш аккаунт не взломали и не украли, например выпустив нелегальный дубликат SIM-карты. Если включить эту настройку, то для регистрации мессенджера на новом устройстве помимо подтверждающего кода из SMS потребуется ваш секретный пароль.
      Что делать. Зайти в мессенджере в настройки безопасности и конфиденциальности, ввести и хорошо запомнить секретный пароль. Его не нужно будет регулярно вводить, он нужен только при переносе аккаунта на новое устройство. Для удобства его можно сгенерировать и хранить в защищенном парольном менеджере, или же можно создать и проверить пароль на стойкость с помощью нашего бесплатного сервиса Kaspersky Password Checker.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Наверняка вы хотя бы раз сталкивались с ситуацией, когда друзья или коллеги присылают вам файлы в формате, который вы не можете открыть. Например, вы просили отправить вам фотографии, рассчитывая получить .JPEG или .PNG, а получили файлы в формате .HEIC. Что делает в таком случае большинство людей? Правильно, обращается к бесплатным онлайн-конвертерам файлов.
      Если вы давно читаете блог Kaspersky Daily, то уже наверняка знаете, что самый популярный способ — далеко не всегда правильный и безопасный. Сегодняшний случай в этом плане не уникален. Разберемся вместе, какие угрозы поджидают любителей конвертировать файлы быстро, бесплатно и онлайн и расскажем, как менять форматы безопасно.
      Почему это важно? Да потому, что конвертировать файл — это не просто изменить ему расширение, иначе достаточно было бы переименовать нужный документ — например, из epub в mp3. Нет, программа-конвертер должна прочитать файл, понять, что в нем содержится, и пересохранить в другом формате — и на каждом из этих этапов есть свои угрозы.
      Слив персональных данных, вредоносное ПО и другие угрозы
      Первый риск, который приходит в голову, — слив персональных данных. И если вы сторонник концепции «да кому мои данные нужны», то все равно насторожитесь: ваши фотографии из отпуска, может, и правда никому не нужны, но конфиденциальные документы с работы — другое дело. Когда вы загружаете файл в онлайн-конвертер, вы никогда не можете быть уверены, что сайт не сохранит копию вашего файла для каких-то своих нужд. Загруженные данные могут запросто оказаться в руках мошенников и быть использованы даже для начала атаки на вашу компанию. И если вдруг впоследствии выяснится, что точкой входа злоумышленников в корпоративную сеть стали именно вы, то местная служба информационной безопасности точно не скажет вам спасибо.
      И не стоит думать, что эта угроза распространяется только на текстовые или табличные документы, а фото какой-нибудь бухгалтерской ведомости можно спокойно загружать и конвертировать в PDF. OCR (оптическое распознавание символов) придумали еще в прошлом веке, а сейчас, с развитием ИИ, даже мобильные трояны научились вытаскивать из фотографий в галерее смартфона данные, интересующие злоумышленников.
      Другая популярная угроза — риск заражения устройства вредоносными программами. Некоторые сомнительные сайты-конвертеры могут изменять ваши файлы или включать вредоносный код в конвертированный файл — без надежной защиты вы об этом узнаете не сразу или не узнаете вовсе. Полученные файлы могут содержать скрипты, трояны, макросы и другие гадости, о которых мы подробно рассказывали уже не раз.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Недавно нашему бывшему коллеге пришла подозрительная нотификация от неизвестного ему сервиса GetGhared. Будучи человеком осторожным, он не стал переходить по ссылке, а сразу переслал уведомление нам. Проанализировав письмо, мы выяснили, что это действительно работа мошенников, а судя по статистике наших почтовых защитных решений, сервис для отправки больших файлов GetShared стал использоваться ими достаточно часто. Рассказываем, как выглядит применение GetShared в атаках, зачем злоумышленникам это нужно и как оставаться в безопасности.
      Как выглядит атака при помощи GetShared
      Жертве приходит вполне обычное, совершенно настоящее уведомление от сервиса GetShared, в котором говорится, что пользователю был прислан файл. В письме указаны название и расширение этого файла — например, в случае с атакой на компанию нашего коллеги это был DESIGN LOGO.rar.
      Пример мошеннического письма, распространяемого через уведомление GetShared
      В сопровождающем тексте применяется стандартная фишинговая уловка — мошенники запрашивают цены на что-то, якобы перечисленное в приложении, а для большей убедительности просят уточнить время доставки и условия оплаты.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Исследователь обнаружил уязвимость в PyTorch, фреймворке машинного обучения с открытым исходным кодом. Уязвимость, зарегистрированная под номером CVE-2025-32434, относится к классу Remote Code Execution (RCE) и имеет рейтинг 9,3 по шкале CVSS, то есть категорируется как критическая. Эксплуатация CVE-2025-32434 при определенных условиях позволяет злоумышленнику запускать на компьютере жертвы, скачивающей ИИ-модель произвольный код. Всем, кто использует PyTorch для работы с нейросетями, рекомендуется как можно скорее обновить фреймворк до последней версии.
      Суть уязвимости CVE-2025-32434
      Фреймворк PyTorch, помимо всего прочего, позволяет сохранять уже обученные модели в файл, который хранит веса связей. И, разумеется, загружать их при помощи функции torch.load(). Обученные модели часто выкладываются в общий доступ через разнообразные публичные репозитории и теоретически в них могут быть вредоносные закладки. Поэтому официальная документация проекта в целях безопасности рекомендует использовать функцию torch.load() с параметром weights_only=True (в таком случае загружаются только примитивные типы данных: словари, тензоры, списки, и так далее).
      Уязвимость CVE-2025-32434 заключается в некорректно реализованном механизме десериализации при загрузке модели. Обнаруживший ее исследователь продемонстрировал, что атакующий может создать файл модели таким способом, что параметр weights_only=True приведет к прямо противоположному эффекту — при загрузке будет выполнен произвольный код, способный скомпрометировать среду, в котором запускается модель.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      С февраля многие пользователи жалуются на то, что на их Android-смартфонах внезапно появилось приложение Android System SafetyCore. У него нет интерфейса и настроек, но из Google Play можно узнать, что разработчиком является сама Google, число установок превышает миллиард, а рейтинг составляет позорные 2,2 балла. Назначение приложения описано расплывчато: «Обеспечивает технологию для работы функций, таких как «Предупреждения о деликатном контенте» в Google Messages». Что такое «деликатный контент» (sensitive content), можно легко догадаться, но как и почему о нем будет предупреждать Google? И как собирается узнавать, что контент именно деликатный?
      Спешим успокоить — по заявлениям как Google, так и сторонних экспертов, функция не создает угроз приватности. SafetyCore работает на устройстве и не отправляет ни фотографий, ни информации о фотографиях на внешние серверы. Если в Google Messages пользователь получает сообщение с картинкой, то модель машинного обучения, запущенная прямо на смартфоне, анализирует изображение и размывает его, если детектирует нюдсы. Пользователь должен кликнуть на изображение и подтвердить, что он действительно хочет увидеть «обнаженку», и тогда размытие пропадает. Аналогичная функция работает при отправке — если пользователь пытается отправить изображение с обнаженными телами, смартфон переспросит, действительно ли нужно отсылать изображение. Google подчеркивает, что информация о результатах проверки картинки никуда не отправляется.
      Приложение SafetyCore обеспечивает анализ изображений, но оно не предназначено для самостоятельного использования: другие аппы обращаются к SafetyCore при приеме и отправке картинок, а уж как использовать результаты анализа — зависит от них. Пока воспользоваться ИИ-анализом можно в Google Messages — здесь изображения, признанные «деликатными», будут размыты. В будущем Google обещает открыть функции SafetyCore другим разработчикам, и реагировать на «клубничку» смогут, например, WhatsApp с Telegram. Другие приложения при этом могут быть настроены так, чтобы блокировать «обнаженку» или сразу отправлять такие картинки в спам.
       
      View the full article
×
×
  • Создать...