Перейти к содержанию

Меры для безопасной разработки и использования ИИ | Блог Касперского


Рекомендуемые сообщения

Опубликовано

Уже сегодня технологии на базе ИИ внедрены в каждой второй компании, а за ближайшие два года к ним присоединится еще 33% коммерческих организаций. ИИ в том или ином виде будет внедрен повсеместно. Экономический эффект, который получают компании от внедрения, варьируется от повышения удовлетворенности клиентов до прямого роста выручки. По мере того как понимание сильных и слабых сторон ИИ-систем бизнесом будет углубляться, эффективность только увеличится. Но уже сейчас очевидно, что о рисках, которые несет внедрение ИИ, нужно подумать заранее.

Даже ранние примеры внедрения демонстрируют, что цена ошибки ИИ-системы может быть высока и может выражаться в том числе во влиянии на репутацию, отношения с клиентами, здоровье пациентов и многое другое. А если учесть еще и киберфизические системы вроде автономных автомобилей, то вопросы безопасности станут еще острее.

Внедрять безопасность постфактум, как это было с предыдущими поколениями технологий, будет дорого и порой невозможно. Чтобы в этом убедиться, достаточно найти свежие оценки ущерба, который мировой экономике наносит киберпреступность: на 2023 год это $8 трлн. Неудивительно, что страны, претендующие на технологическое лидерство в XXI веке, торопятся внедрить регулирование ИИ (например, China’s AI Safety Governance Framework, EU AI Act, US Executive Order on AI). Но в законах редко указываются технические подробности и практические рекомендации — это не их задача. Поэтому для практического применения любых регуляторных требований формата «обеспечить надежность и этичность ИИ, а также контролируемость его решений» необходимы конкретные практические рекомендации, позволяющие достичь этого результата.

Чтобы помочь практикам, внедряющим ИИ уже сегодня, а также сделать будущее нашего мира более безопасным, специалисты «Лаборатории Касперского» при участии Эллисон Вайлд, члена команды по функциональной совместимости Сети по вопросам политики в области искусственного интеллекта Форума ООН по управлению Интернетом; доктора Мелодены Стивенс, профессора управления инновациями и технологиями школы государственного управления имени Мохаммеда бин Рашида; и Серхио Майо Масиаса, менеджера инновационных программ из Технологического института Арагона, создали набор рекомендаций. Документ был представлен в ходе семинара «Кибербезопасность в сфере ИИ: баланс между инновациями и рисками» на 19-м ежегодном Форуме по управлению Интернетом (UN Internet Governance Forum, IGF) для обсуждения с международным сообществом формирующих политику работы с AI экспертов.

Следование описанным в документе практикам поможет инженерам, специалистам DevOps и MLOps, которые разрабатывают и затем эксплуатируют ИИ-решения, достичь высокого уровня защищенности и безопасности ИИ-систем на всех этапах их жизненного цикла. Рекомендации документа нужно индивидуально оценивать для каждого внедрения ИИ, поскольку их применимость зависит от разновидности ИИ и модели внедрения.

Какие риски нужно учесть

Многообразие применений ИИ вынуждает организацию учитывать очень разнородные риски:

  • Риск от неиспользования ИИ. Звучит на первый взгляд забавно, но только сравнив выигрыш и потери компании от внедрения ИИ, можно правильно оценивать все остальные риски.
  • Риски несоответствия регулированию. Быстро развивающееся регулирование ИИ делает этот риск динамичным, его нужно часто оценивать заново. Кроме регулирования ИИ как такового, нужно учитывать сопутствующие риски, например нарушения законов по обработке персональных данных.
  • ESG-риски, то есть социально-этические риски применения ИИ, риски раскрытия чувствительной информации и риски для экологии.
  • Риск нецелевого использования ИИ-сервисов пользователями — от шуточных до злонамеренных сценариев.
  • Угрозы ИИ-моделям и наборам данных, применявшимся в тренировке.
  • Угрозы сервисам компании, возникающие при внедрении ИИ.
  • Возникающие при этом угрозы данным, которые обрабатываются в рамках этих сервисов.

При этом «под капотом» трех последних групп рисков находятся все угрозы и задачи, традиционные для ИБ в сложных облачных инфраструктурах: контроль доступа и сегментация, управление уязвимостями и обновлениями, создание систем мониторинга и реагирования, контроль цепочек поставок.

 

View the full article

Пожалуйста, войдите, чтобы комментировать

Вы сможете оставить комментарий после входа в



Войти
  • Похожий контент

    • KL FC Bot
      Автор KL FC Bot
      Взрывной рост приложений, сервисов и плагинов для работы с искусственным интеллектом (ИИ), произошедший в прошлом году, очевидно, будет лишь ускоряться. ИИ внедряют в давно привычные инструменты — от офисных программ и графических редакторов до сред разработки вроде Visual Studio. Все, кому не лень, создают тысячи новых приложений, обращающихся к крупнейшим ИИ-моделям. Но в этой гонке пока никто не сумел решить проблемы безопасности — не организовать полноценную защиту от футуристического «злого ИИ», а хотя бы минимизировать проблемы с утечкой конфиденциальных данных или выполнением хакерских действий на ваших аккаунтах и устройствах через разнообразные ИИ-инструменты. Пока не придумано готовых коробочных решений для защиты пользователей ИИ-ассистентов, придется кое-чему подучиться и помочь себе самостоятельно.
      Итак, как воспользоваться ИИ и не пожалеть об этом?
      Фильтруйте важные данные
      Политика конфиденциальности OpenAI, компании-разработчика ChatGPT, вполне недвусмысленно уведомляет, что все диалоги с чат-ботом сохраняются и могут быть использованы для нескольких целей. Во-первых, для решения технических проблем или работы с нарушениями: вдруг кому-нибудь — удивительно! — придет в голову сгенерировать недопустимый контент? В этом случае чаты может даже посмотреть живой человек. Во-вторых, эти данные могут быть использованы для обучения новых версий GPT и других «усовершенствований продукта».
      Большинство других популярных языковых моделей, будь то Bard от Google, Claude или разновидности ChatGPT от Microsoft (Bing, Copilot и так далее), имеют схожие политики: все они могут сохранять диалоги целиком.
       
      Посмотреть статью полностью
    • KL FC Bot
      Автор KL FC Bot
      Современные крупные IT-системы практически всегда используют ту или иную форму виртуализации или контейнеризации. Контейнеры несут массу преимуществ как при разработке системы, так и при ее установке, сопровождении и использовании. Это приводит к ускорению разработки, экономии денег и других ресурсов. При этом к контейнерам напрямую неприменимы многие подходы, работающие при защите физических и виртуальных серверов. Какие риски нужно учесть, внедряя контейнеризацию в организации, и какими мерами защищать контейнерную инфраструктуру?
      Чем выгодна контейнеризация в разработке и эксплуатации
      Контейнер — это изолированная среда для запуска одного приложения, создаваемая средствами на уровне ядра ОС. В образ контейнера входит как приложение, так и необходимые ему настройки и вспомогательные компоненты, поэтому разработчикам крайне удобно запаковать в контейнер все необходимое, а тем, кто использует такой контейнер, гораздо проще его эксплуатировать. Ну а изоляция значительно уменьшает влияние контейнеризованных приложений друг на друга. Поэтому в контейнерной инфраструктуре меньше причин для сбоев и выше подконтрольность всего происходящего для администраторов.
      Контейнеризация является более легкой технологией, чем виртуализация: в контейнерах не эмулируется оборудование и нет нужды поставлять полное содержимое виртуальной машины, в частности гостевую ОС. Во многих случаях контейнеризованные нагрузки проще масштабировать.
      Наиболее распространенным инструментом для создания и хранения образов контейнеров, безусловно, является Docker, а оркестрацию контейнерных нагрузок чаще всего реализуют при помощи Kubernetes, Docker Swarm или Red Hat OpenShift.
      Контейнеризация стала важной составной частью современных подходов к IT-разработке. Многие приложения разрабатываются в микросервисной архитектуре: отдельные функции большого приложения выделяются в микросервисы, которые общаются с другими частями приложения по API. Примером может служить видеоплеер внутри социальной сети или процесс оплаты в интернет-магазине. Эти микросервисы зачастую поставляются в виде контейнеров, что позволяет разработчикам иметь собственный цикл разработки и доставки.
      Контейнеры прекрасно вписались в современную методологию непрерывной интеграции и развертывания (CI/CD, continuous integration, continuous delivery), помогающую выпускать обновления приложений быстрее и с меньшим числом ошибок. Этот подход предусматривает короткий цикл разработки, параллельную работу команд над одним кодом, автоматизацию рутинных действий. Применение контейнеризации в конвейере CI/CD тоже повышает эффективность этого конвейера: система CI/CD использует образы контейнеров в качестве шаблонов и доставляет сборку в виде готового к развертыванию образа. Принципиальным моментом является то, что обновление поставляется в виде нового образа, а не разворачивается внутри существующего и эксплуатируемого контейнера. В результате ускоряются подготовка и отладка релиза, снижаются требования к инфраструктуре разработчика и заказчика, повышается стабильность работы и облегчается масштабирование приложения.
      Если грамотно внедрить требования контейнерной безопасности в процесс разработки и сборки, то это существенно продвинет организацию на пути к полноценной реализации методологии DevSecOps.
       
      Посмотреть статью полностью
    • KL FC Bot
      Автор KL FC Bot
      Наверняка вы хотя бы раз сталкивались с ситуацией, когда друзья или коллеги присылают вам файлы в формате, который вы не можете открыть. Например, вы просили отправить вам фотографии, рассчитывая получить .JPEG или .PNG, а получили файлы в формате .HEIC. Что делает в таком случае большинство людей? Правильно, обращается к бесплатным онлайн-конвертерам файлов.
      Если вы давно читаете блог Kaspersky Daily, то уже наверняка знаете, что самый популярный способ — далеко не всегда правильный и безопасный. Сегодняшний случай в этом плане не уникален. Разберемся вместе, какие угрозы поджидают любителей конвертировать файлы быстро, бесплатно и онлайн и расскажем, как менять форматы безопасно.
      Почему это важно? Да потому, что конвертировать файл — это не просто изменить ему расширение, иначе достаточно было бы переименовать нужный документ — например, из epub в mp3. Нет, программа-конвертер должна прочитать файл, понять, что в нем содержится, и пересохранить в другом формате — и на каждом из этих этапов есть свои угрозы.
      Слив персональных данных, вредоносное ПО и другие угрозы
      Первый риск, который приходит в голову, — слив персональных данных. И если вы сторонник концепции «да кому мои данные нужны», то все равно насторожитесь: ваши фотографии из отпуска, может, и правда никому не нужны, но конфиденциальные документы с работы — другое дело. Когда вы загружаете файл в онлайн-конвертер, вы никогда не можете быть уверены, что сайт не сохранит копию вашего файла для каких-то своих нужд. Загруженные данные могут запросто оказаться в руках мошенников и быть использованы даже для начала атаки на вашу компанию. И если вдруг впоследствии выяснится, что точкой входа злоумышленников в корпоративную сеть стали именно вы, то местная служба информационной безопасности точно не скажет вам спасибо.
      И не стоит думать, что эта угроза распространяется только на текстовые или табличные документы, а фото какой-нибудь бухгалтерской ведомости можно спокойно загружать и конвертировать в PDF. OCR (оптическое распознавание символов) придумали еще в прошлом веке, а сейчас, с развитием ИИ, даже мобильные трояны научились вытаскивать из фотографий в галерее смартфона данные, интересующие злоумышленников.
      Другая популярная угроза — риск заражения устройства вредоносными программами. Некоторые сомнительные сайты-конвертеры могут изменять ваши файлы или включать вредоносный код в конвертированный файл — без надежной защиты вы об этом узнаете не сразу или не узнаете вовсе. Полученные файлы могут содержать скрипты, трояны, макросы и другие гадости, о которых мы подробно рассказывали уже не раз.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Отпуск — прекрасное время, когда все привычные заботы отходят на второй план. На отдыхе мы фокусируемся на достопримечательностях, местной культуре и всячески стараемся абстрагироваться от рутины. Но вдали от дома естественным образом повышается уровень опасности — как правильно воспользоваться транспортом в другой стране, как не попасться на уловки местных мошенников и, в конце концов, куда звонить в экстренном случае?
      Ответы на эти и многие другие вопросы подготовили эксперты «Лаборатории Касперского». В нашем руководстве в удобном PDF-формате мы собрали для вас советы и рекомендации, как сделать путешествие безопасным, легким и приятным.
      Транспорт
      В первую очередь разберитесь, как оформить местную проездную карту, избегайте поездок в часы пик и не берите крупные суммы денег в общественный транспорт. Если эти советы для вас очевидны, то вот еще парочка нетипичных лайфхаков по безопасному передвижению в отпуске.
      Используйте местное популярное навигационное приложение. Вполне вероятно, что использовать Яндекс.Карты или Google Maps в стране вашего назначения будет нерелевантно. Помните: загружать новые приложения следует только из официальных каталогов, но и там может затаиться вредоносное ПО, поэтому обязательно держите надежную защиту включенной. Соблюдайте правила вождения. Как минимум убедитесь, правостороннее или левостороннее движение в стране вашего визита. Это особенно важно, если планируете арендовать автомобиль, велосипед или другой вид транспорта. Загрузите на смартфон офлайн-карты и транспортные схемы. Это безопаснее, чем каждый раз подключаться к общественным точкам доступа Wi-Fi. Проживание
      Правильный выбор отеля, гостиницы и даже номера — одна из важнейших составляющих классного путешествия. Важно подбирать жилье с учетом потребностей и возможностей, чтобы найти золотой баланс:
      ищите новые отели, чтобы сэкономить; выбирайте угловой номер; сообщайте сотрудникам отеля о днях рождения и других памятных событиях; бронируйте бизнес-ориентированные отели на выходные; изучайте цены даже после бронирования; рассмотрите возможность улучшения класса номера; загрузите мобильное приложение вашего отеля, если таковое есть. Ну и самое важное — при поиске жилья в отпуске используйте специализированные сервисы, а не переходите по подозрительным ссылкам из почтовых рассылок. Если хотите обеспечить себе максимальную защиту, то используйте топовое антифишинговое решение.
       
      View the full article
    • Mrak
      Автор Mrak
      Всем привет! 
      У меня дома тёплые полы использовались с помощью дистанционного управления через приложение. Там ставлю режимы работы, температуру, при отъезде - одной кнопкой выключаю или ставлю другую температуру. В общем удобно.
      После 2х суток статуса "не в сети" всех тёплых полов, я обнаружил такую новость: https://welrok.com/support/instruktsiya-kak-dobavit-terneo-v-welrok
      Поставил приложение Welrok и у меня всё работает почти как раньше (глючит один терморегулятор в плане режимов и ночной яркости (не выключает подсветку ночью), но надеюсь, что это решаемо).
       
      Но возник вопрос безопасности. Скажите пожалуйста:
      1. Насколько безопасно пользоваться приложением от Welrok? Судя по всему, это Российская организация. Но вдруг это под видом организации в России какие-нибудь хакеры/мошенники?
      2. Насколько безопасно управлять полами по сети? Какой самый негативный вариант? Квартиру спалить не смогут, вызывав замыкание? Т.е. есть ли встроенная защита от умышленного причинения вреда? Или максимум чем могут вредить - выключить полы или жарить на 40 градусов?
×
×
  • Создать...