Перейти к содержанию

Меры для безопасной разработки и использования ИИ | Блог Касперского


Рекомендуемые сообщения

Опубликовано

Уже сегодня технологии на базе ИИ внедрены в каждой второй компании, а за ближайшие два года к ним присоединится еще 33% коммерческих организаций. ИИ в том или ином виде будет внедрен повсеместно. Экономический эффект, который получают компании от внедрения, варьируется от повышения удовлетворенности клиентов до прямого роста выручки. По мере того как понимание сильных и слабых сторон ИИ-систем бизнесом будет углубляться, эффективность только увеличится. Но уже сейчас очевидно, что о рисках, которые несет внедрение ИИ, нужно подумать заранее.

Даже ранние примеры внедрения демонстрируют, что цена ошибки ИИ-системы может быть высока и может выражаться в том числе во влиянии на репутацию, отношения с клиентами, здоровье пациентов и многое другое. А если учесть еще и киберфизические системы вроде автономных автомобилей, то вопросы безопасности станут еще острее.

Внедрять безопасность постфактум, как это было с предыдущими поколениями технологий, будет дорого и порой невозможно. Чтобы в этом убедиться, достаточно найти свежие оценки ущерба, который мировой экономике наносит киберпреступность: на 2023 год это $8 трлн. Неудивительно, что страны, претендующие на технологическое лидерство в XXI веке, торопятся внедрить регулирование ИИ (например, China’s AI Safety Governance Framework, EU AI Act, US Executive Order on AI). Но в законах редко указываются технические подробности и практические рекомендации — это не их задача. Поэтому для практического применения любых регуляторных требований формата «обеспечить надежность и этичность ИИ, а также контролируемость его решений» необходимы конкретные практические рекомендации, позволяющие достичь этого результата.

Чтобы помочь практикам, внедряющим ИИ уже сегодня, а также сделать будущее нашего мира более безопасным, специалисты «Лаборатории Касперского» при участии Эллисон Вайлд, члена команды по функциональной совместимости Сети по вопросам политики в области искусственного интеллекта Форума ООН по управлению Интернетом; доктора Мелодены Стивенс, профессора управления инновациями и технологиями школы государственного управления имени Мохаммеда бин Рашида; и Серхио Майо Масиаса, менеджера инновационных программ из Технологического института Арагона, создали набор рекомендаций. Документ был представлен в ходе семинара «Кибербезопасность в сфере ИИ: баланс между инновациями и рисками» на 19-м ежегодном Форуме по управлению Интернетом (UN Internet Governance Forum, IGF) для обсуждения с международным сообществом формирующих политику работы с AI экспертов.

Следование описанным в документе практикам поможет инженерам, специалистам DevOps и MLOps, которые разрабатывают и затем эксплуатируют ИИ-решения, достичь высокого уровня защищенности и безопасности ИИ-систем на всех этапах их жизненного цикла. Рекомендации документа нужно индивидуально оценивать для каждого внедрения ИИ, поскольку их применимость зависит от разновидности ИИ и модели внедрения.

Какие риски нужно учесть

Многообразие применений ИИ вынуждает организацию учитывать очень разнородные риски:

  • Риск от неиспользования ИИ. Звучит на первый взгляд забавно, но только сравнив выигрыш и потери компании от внедрения ИИ, можно правильно оценивать все остальные риски.
  • Риски несоответствия регулированию. Быстро развивающееся регулирование ИИ делает этот риск динамичным, его нужно часто оценивать заново. Кроме регулирования ИИ как такового, нужно учитывать сопутствующие риски, например нарушения законов по обработке персональных данных.
  • ESG-риски, то есть социально-этические риски применения ИИ, риски раскрытия чувствительной информации и риски для экологии.
  • Риск нецелевого использования ИИ-сервисов пользователями — от шуточных до злонамеренных сценариев.
  • Угрозы ИИ-моделям и наборам данных, применявшимся в тренировке.
  • Угрозы сервисам компании, возникающие при внедрении ИИ.
  • Возникающие при этом угрозы данным, которые обрабатываются в рамках этих сервисов.

При этом «под капотом» трех последних групп рисков находятся все угрозы и задачи, традиционные для ИБ в сложных облачных инфраструктурах: контроль доступа и сегментация, управление уязвимостями и обновлениями, создание систем мониторинга и реагирования, контроль цепочек поставок.

 

View the full article

Пожалуйста, войдите, чтобы комментировать

Вы сможете оставить комментарий после входа в



Войти
  • Похожий контент

    • KL FC Bot
      Автор KL FC Bot
      В 2025 году исследователи кибербезопасности обнаружили несколько открытых баз данных различных ИИ-инструментов для генерации изображений. Уже этот факт заставляет задуматься о том, насколько ИИ-стартапы заботятся о приватности и безопасности данных своих пользователей. Но куда большую тревогу вызывает характер контента в этих базах.
      Большое количество сгенерированных картинок в этих базах данных — изображения женщин в белье или вовсе обнаженных. Часть из них явно была создана на основе детских фотографий или же предполагала омоложение и оголение взрослых женщин. И наконец, самое неприятное. Некоторые порнографические изображения были сгенерированы на основе совершенно невинных фотографий настоящих людей, вероятно, взятых из соцсетей.
      Сегодня поговорим о том, что такое секс-шантаж и почему из-за ИИ-инструментов его жертвой может стать любой, опишем содержание обнаруженных открытых баз данных, а также дадим советы, как не стать жертвой секс-шантажа в эпоху ИИ.
      Что такое секс-шантаж
      Секс-шантаж в эпоху Интернета превратился в настолько распространенное явление, что даже обрел в мире собственное название – sextortion (сочетание слов sex и extortion – вымогательство). Разные его виды мы уже подробно рассматривали в посте Пятьдесят оттенков секс-шантажа. Напомним, что при этой разновидности шантажа жертву запугивают публикацией интимных изображений или видео, чтобы заставить выполнить какие-то действия или выманить деньги.
      Ранее жертвами секс-шантажа обычно становились работницы индустрии для взрослых или женщины, поделившиеся интимным контентом с ненадежным человеком.
      Однако активное развитие искусственного интеллекта и особенно технологии преобразования текста в изображения (text-to-image) коренным образом изменило ситуацию. Теперь жертвой секс-шантажа может стать буквально любой человек, выложивший в публичный доступ свои самые невинные фотографии. Все дело в том, что генеративный ИИ дает возможность быстро, легко и достаточно правдоподобно «оголить» людей на любых цифровых изображениях или за несколько секунд подставить к голове человека сгенерированное обнаженное тело.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Благодаря удобству технологии NFC и оплаты смартфоном, в наши дни многие вообще перестали носить кошелек и не могут вспомнить ПИН-код от банковской карты. Все карты «живут» в платежном приложении, оплатить которым покупку быстрее и проще, чем доставать физическую карту. Мобильные платежи еще и безопасны — технология разрабатывалась относительно недавно и предусматривает многочисленные защитные меры от мошенничества. Тем не менее злоумышленники изобрели несколько вариантов злоупотребления NFC для кражи денег с ваших карточек. К счастью, для защиты своих средств достаточно знать об этих трюках и избегать опасных сценариев пользования NFC.
      Что такое ретрансляция NFC и NFCGate
      Ретрансляция NFC — это техника, при которой данные, бесконтактно передаваемые между источником (например, банковской картой) и приемником (например, платежным терминалом), перехватываются на одном промежуточном устройстве и в реальном времени передаются на другое. Приложение для ретрансляции устанавливается на два смартфона, связанных через Интернет. Карту прикладывают к первому смартфону, а второй смартфон подносят к считывателю в терминале или банкомате — и с их стороны все выглядит так, будто рядом находится настоящая карта, хотя физически она может быть в другом городе или даже стране.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Подделка бренда, веб-сайта и рассылок компании стала распространенной техникой злоумышленников, продолжающей набирать популярность. Всемирная организация интеллектуальной собственности (WIPO) отмечает значительный рост подобных инцидентов в 2025 году. Хотя чаще всего жертвами имперсонации становятся технологические компании и потребительские бренды, в целом этой угрозе подвержены все индустрии и во всех странах — отличается только способ, которым самозванцы эксплуатируют подделку. На практике встречаются следующие сценарии атаки:
      клиентов и покупателей бренда заманивают на поддельный сайт и выманивают реквизиты доступа в настоящий онлайн-магазин фирмы либо платежные данные для прямой кражи средств; сотрудников и партнеров компании заманивают на фальшивую страницу входа в корпоративные порталы, чтобы получить легитимные учетные данные для проникновения в сеть организации; клиентов и покупателей побуждают связаться с мошенниками под разными предлогами: получение техподдержки, возврат ошибочного платежа, участие в опросе с призами, получение компенсации за те или иные публично известные события, связанные с брендом. Далее у жертвы пытаются украсть побольше денег; партнеров и сотрудников компании заманивают на специально созданные страницы, имитирующие внутренние системы фирмы, чтобы получить одобрение платежа или перенаправить легитимный платеж мошенникам; клиентам, партнерам и сотрудникам предлагают скачать на фальшивом сайте компании вредоносное ПО, чаще всего инфостилер, замаскированный под корпоративные приложения. За словами «заманивают» и «предлагают» скрывается широкий спектр тактик: почтовые рассылки, сообщения в мессенджерах и посты в соцсетях, напоминающие официальную рекламу, сайты-двойники, продвигаемые в поисковых системах инструментами SEO и даже платной рекламой.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Наши эксперты обнаружили очередную волну рассылки вредоносных писем на адреса российских коммерческих организаций. Цель атаки — установка на компьютеры жертв инфостилера. Особенно любопытна эта атака тем, что в этот раз злоумышленники потратили определенные усилия для маскировки своей активности под коммуникацию с известным сайтом и работу легитимного ПО.
      Начало атаки
      Злоумышленники рассылают письмо с вредоносным вложением, замаскированным под обычный документ в формате PDF. На самом деле файл является исполняемым, просто его иконка заменена на иконку PDF, поэтому при двойном клике по файлу запускается цепочка заражения компьютера жертвы. В исследованной нами рассылке у вредоносных файлов были имена «УВЕДОМЛЕНИЕ о возбуждении исполнительного производства» и «Дополнительные выплаты», однако нельзя исключать, что злоумышленники используют и другие названия для того, чтобы убедить жертву кликнуть на файл.
      По факту, замаскированный под документ вредоносный файл является загрузчиком, собранным при помощи фреймворка .NET. Он скачивает другой загрузчик, устанавливаемый в системе в качестве службы, для закрепления на машине жертвы. Тот, в свою очередь, получает с командного сервера строчку в формате JSON с зашифрованными файлами, которые затем сохраняются на атакованном компьютере в папку C:\ProgramData\Microsoft Diagnostic\Tasks, а затем один за другим исполняются.
      Пример ответа от сервера
      Ключевая особенность такого метода доставки файлов на компьютер жертвы заключается в том, что злоумышленники могут возвращать с командного сервера абсолютно любую вредоносную нагрузку, которую загрузчик послушно скачивает и исполняет. В настоящий момент злоумышленники используют в качестве конечной нагрузки инфостилер, но потенциально эта атака может быть использована и для доставки более опасных угроз — шифровальщиков, вайперов или инструментов для более глубокого распространения в инфраструктуре жертвы.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Прошедший 2025 год серьезно изменил то, куда и как мы получаем доступ в Сети. Радикальные законодательные инициативы, появление ИИ-ассистентов и защита сайтов от ИИ-ботов перестраивают Интернет на наших глазах. Что нужно знать об этих изменениях и какие знания и привычки взять с собой в 2026 год? По традиции опишем это в виде восьми новогодних обещаний. Что обещаем себе в 2026?
      Изучить новые законы своего региона
      Минувший год был богат на законодательные инициативы, значительно меняющие правила пользования Сетью для обычных людей. За последнее время законодатели различных стран:
      запретили соцсети подросткам; ввели строгую проверку возраста, например по удостоверению личности, при посещении тех или иных категорий сайтов; потребовали получать явное родительское согласие на доступ несовершеннолетних ко многим онлайн-сервисам; применяли разные формы давления, включая блокировки и судебные иски к онлайн-платформам, не соблюдающим уже принятые законы о защите детей — наиболее яркая ситуация здесь у Roblox. Почитайте новости на сайтах, подающих их спокойно и не сенсационно, изучите комментарии юристов. Надо понять, какие обязательства ложатся на вас, а если у вас есть несовершеннолетние дети — что меняется для них.
      Возможно, с детьми предстоят трудные разговоры о новых правилах пользования соцсетями или играми. Важно, чтобы подростковый протест не привел детей к опасным ошибкам, таким как установка вредоносного ПО, замаскированного под «мод обхода ограничений», или уход в мелкие и никем не модерируемые соцсети. Подстраховать подрастающее поколение поможет надежная защита их компьютеров и смартфонов вместе с инструментами родительского контроля.
      Но дело не сводится к простому соблюдению законов. Почти наверняка вы столкнетесь с негативными побочными эффектами, которые законодатели не предусмотрели.
       
      View the full article
×
×
  • Создать...