Перейти к содержанию

Госрегулирование искусственного интеллекта: зачем, почему, как | Блог Касперского


Рекомендуемые сообщения

Опубликовано

Я уже немного устал от новостей про искусственный интеллект, но придется потерпеть, потому что они будут сыпаться из каждого утюга еще год или два. Но и потом развитие ИИ, он же AI, не остановится, просто журналисты/блогеры/тиктокеры и прочие «говорящие головы» устанут от темы. А пока им подкидывают новости не только техногиганты, но и правительства: Великобритания отрегулирует ИИ с трех сторон, Китай вынес черновик законодательства по ИИ на общественное обсуждение, США хочет «алгоритмической ответственности», европейцы по традиции заседают и так далее. Пока создание и использование систем ИИ никак не ограничено, но, видимо, это ненадолго.

Тут, конечно, есть о чем поспорить — а нужно ли госрегулирование ИИ, и если да — то зачем и как?

Что регулировать

Что такое искусственный интеллект? Благодаря маркетологам так называют все — от новейших генеративных моделей вроде GPT-4 до простейших систем машинного обучения, в том числе тех, которые используются уже десятки лет. Помните Т9 на кнопочных телефонах? Знаете про автоматическую классификацию спама и вредоносных файлов? Используете рекомендации фильма на «Кинопоиске» и Netflix? За каждой из этих привычных технологий стоит алгоритм машинного обучения (ML). Мы внедряем такие технологии в наших продуктах почти два десятка лет, но всегда называли их скромно, «машинное обучение», потому что «искусственный интеллект» сразу наводит на мысли о говорящих космических кораблях и прочей фантастике. Такой фантастический компьютер, полностью способный мыслить по-человечески, должен обладать общим ИИ (AGI) или сверхинтеллектом (ASI). AGI/ASI пока не изобрели и вряд ли изобретут в обозримом будущем.

Так вот, если все виды ИИ мерить одной линейкой и все зарегулировать по полной программе, то практически всей ИТ-индустрии, да и многим смежным, придется несладко. Ну, к примеру, если у нас потребуют собирать согласие со всех «авторов» данных из обучающей выборки, мы как ИБ-компания окажемся в сложной ситуации. Мы же учимся на зловредах и спаме, авторы которых обычно не оставляют контактных данных. Более того, если данные собираются, а алгоритмы обучаются уже почти 20 лет, то насколько глубоко в прошлое нужно лезть?

Поэтому важно, чтобы законодатели слушали не маркетологов, а экспертов индустрии и обсуждали предмет возможного регулирования достаточно конкретно и узко: например, многоцелевые системы, обученные на больших объемах открытых данных, или системы, используемые в принятии решений с высоким уровнем ответственности и риска.

Это, конечно, означает, что новые способы применения ИИ потребуют частого пересмотра норм регулирования.

 

View the full article

Пожалуйста, войдите, чтобы комментировать

Вы сможете оставить комментарий после входа в



Войти
  • Похожий контент

    • KL FC Bot
      Автор KL FC Bot
      Искусственный интеллект уже вовсю пробует себя в роли турагента: достаточно вбить в чат-бот пару пожеланий — и за пару секунд получишь маршрут по лучшим достопримечательностям, список отелей с хорошими отзывами и даже советы по визам. А с помощью ИИ-агента можно даже билеты купить, не проверяя сотни раз сайты авиакомпаний и агрегаторов полета. Звучит как мечта любого туриста, но есть нюансы. В этом материале рассказываем, на что стоит обратить внимание при планировании отпуска с помощью ChatGPT и других ИИ-ассистентов.
      Что может пойти не так
      Исследование «Лаборатории Касперского» показало, что лишь 28% пользователей ИИ доверяют искусственному интеллекту планирование путешествий. И пока абсолютное большинство (96%) довольны своим опытом. При этом следует помнить, что чат-боты не обладают собственными знаниями, а учатся на текстах и данных, которые в них загружают, — а потом вычисляют наиболее вероятный ответ на вопрос. ИИ может выдать неточную, устаревшую или вообще ложную информацию. Конечно, в некоторых чат-ботах уже прикручена функция поиска в Интернете, но до высокого уровня фактчекинга пока далеко.
      В марте 2025 года австралиец Марк Поллард должен был вылететь в Чили, чтобы выступить там с лекцией. Но на стойке регистрации его развернули: оказалось, что для въезда в страну нужна виза. До этого Марк спрашивал у ChatGPT правила въезда в разные страны Латинской Америки — и просчитался, доверившись ИИ. С 2019 года гражданам Австралии нужна виза для посещения Чили, а нейросеть, по всей видимости, этой информации еще не знала. В другом случае ИИ посоветовал журналистке посетить музеи, которые к тому моменту полностью сгорели из-за лесных пожаров.
      Иногда на ошибки ИИ ведутся даже профессионалы. В 2024 году работники аэропорта Манилы не хотели пускать пассажирку на рейс в Англию: она гражданка Великобритании, но с собой у нее был только американский паспорт. Вообще-то это никак не препятствует полету в Англию, но работники, как позже выяснилось, поверили некорректной информации из Google AI Overviews. В итоге пришлось звонить в посольство.
      Если не хотите, чтобы искусственный интеллект привел вас в закрытый ресторан или к несуществующей достопримечательности, то проверяйте информацию в реальном времени. Только помните, что каждое подключение к публичному Wi-Fi — это лотерея, на кону которой стоит безопасность ваших устройств и данных. За границей гораздо безопаснее использовать мобильный Интернет. Покупать физическую SIM-карту не надо, достаточно использовать eSIM.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      До недавнего времени злоумышленники в основном интересовались криптокошельками исключительно домашних пользователей. Однако, по всей видимости, бизнес все чаще стал использовать криптовалюту — теперь злоумышленники пытаются добраться и до кошельков организаций. За примерами далеко ходить не надо. Недавно исследованный коллегами зловред Efimer, рассылаемый организациям, умеет подменять адреса криптокошельков в буфере обмена. В России организации не имеют права рассчитываться криптовалютой, но, тем не менее, некоторые используют ее в качестве инвестиций. Поэтому функциональность, связанная с криптокошельками, появилась даже в зловредах, используемых в атаках исключительно на российские организации. Вредоносное ПО семейства Pure, например, не только подменяет адреса в буфере, но также охотится и за учетными данными программных криптокошельков. Поэтому мы не очень удивились, когда увидели и криптовалютный фишинг, направленный не только на домашних, но и на корпоративных пользователей. Чему мы удивились, так это легенде и, в целом, качеству этого фишинга.
      Фишинговая схема
      Сама по себе схема нацелена на пользователей аппаратных криптокошельков Ledger: Nano X и Nano S Plus. Злоумышленники рассылают фишинговое письмо, в котором многословно извиняются за допущенный промах — якобы из-за технического недочета сегменты приватного ключа от криптокошелька были переданы на сервер Ledger. И он в общем-то был очень хорошо защищен и зашифрован, но вот команда обнаружила очень сложную утечку, в ходе которой атакующие эксфильтрировали фрагменты ключей и при помощи крайне продвинутых методов расшифровали их и реконструировали часть ключей, что привело к краже криптоактивов. И чтобы через эту уязвимость не взломали еще и ваш криптокошелек, авторы письма рекомендуют немедленно обновить микропрошивку устройства.
      Фишинговое предупреждение о необходимости обновления микропрошивки
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Технологию ключей доступа (КД, passkeys) рекламируют все ИТ-гиганты как эффективную и удобную замену паролям, которая может покончить с фишингом и утечками учетных данных. Суть в следующем — человек входит в систему при помощи криптографического ключа, сохраненного в специальном аппаратном модуле на его устройстве, а разблокирует эти данные при помощи биометрии или ПИН-кода. Мы подробно разобрали текущее положение дел с passkeys для домашних пользователей в двух статьях (терминология и базовые сценарии использования, сложные случаи), но у компаний к ИБ-технологиям совершенно другие требования и подходы. Насколько хороши ключи доступа и FIDO2 WebAuthn в корпоративной среде?
      Мотивы перехода на passkeys в компании
      Как и любая крупная миграция, переход на ключи доступа требует бизнес-обоснования. В теории passkeys решают сразу несколько злободневных проблем:
      Снижают риски компрометации компании с использованием кражи легитимных учетных записей (устойчивость к фишингу — главное заявленное преимущество КД). Повышают устойчивость к другим видам атак на identity, таким как перебор паролей — brute forcing, credential stuffing. Помогают соответствовать регуляторным требованиям. Во многих индустриях регуляторы обязуют применять для аутентификации сотрудников устойчивые методы, и passkeys обычно признаются таковыми. Снижают затраты. Если компания выбрала passkeys, хранящиеся в ноутбуках и смартфонах, то высокого уровня безопасности можно достичь без дополнительных затрат на USB-устройства, смарт-карты, их администрирование и логистику. Повышают продуктивность сотрудников. Хорошо налаженный процесс аутентификации повседневно экономит время каждому сотруднику и снижает процент неудачных входов в ИТ-системы. Также переход на КД обычно увязывают с отменой всем привычных и ненавистных регулярных смен пароля. Снижают нагрузку на хелпдеск за счет уменьшения числа заявок, связанных с забытыми паролями и заблокированными учетными записями.  
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Исследователи Маттео Риццо и Энди Нгуен из компании Google опубликовали работу, в которой предложили усовершенствованную атаку Retbleed. Как мы объясняли в одном из предыдущих постов, атака Retbleed эксплуатирует уязвимости в процессорах AMD Zen и Zen 2, а также в процессорах Intel поколений Kaby Lake и Coffee Lake. Аппаратные уязвимости такого рода крайне сложно использовать на практике, из-за чего всевозможные варианты Spectre, а также производные атаки, типа Retbleed, остаются по большому счету теоретическими. Хотя методы борьбы с ними внедряют и создатели процессоров, и разработчики ПО. Суть работы исследователей Google заключается в повышении эффективности атаки Retbleed. Не меняя ничего кардинально в архитектуре атаки, они смоги использовать особенности процессоров AMD Zen 2, чтобы читать произвольные данные из оперативной памяти.
      Кратко о Retbleed
      Retbleed, как и Spectre, эксплуатирует особенности так называемой системы предсказания ветвлений центрального процессора. Предсказание ветвлений позволяет процессору выполнять инструкции заранее, не дожидаясь результатов предыдущих вычислений. Иногда предсказание оказывается неправильным, но в норме это должно приводить только к небольшому и незаметному для пользователя замедлению работы программы.
      Атака Spectre в 2018 году показала, что неправильные предсказания могут быть использованы для кражи секретов. Это возможно благодаря двум ключевым особенностям. Во-первых, систему предсказания ветвлений можно натренировать так, что произойдет обращение к области памяти с секретными данными, и они будут загружены в кэш-память процессора. Во-вторых, был найден способ вытащить эти секретные данные из кэш-памяти по стороннему каналу, измеряя время выполнения определенной инструкции.
       
      View the full article
    • KL FC Bot
      Автор KL FC Bot
      Подключенную к компьютеру веб-камеру обычно подозревают в подглядывании, но теперь ей придумали роль в традиционных кибератаках. На конференции Black Hat описали атаку BadCam, которая позволяет перепрошить камеру, а затем выполнять на компьютере, к которому она подключена, вредоносные действия. По сути это вариант давно известной атаки типа BadUSB, однако главное отличие BadCam заключается в том, что атакующим необязательно заранее готовить вредоносное устройство — они могут использовать изначально «чистую» и уже подключенную к компьютеру камеру. Еще одно неприятное новшество — атака может быть произведена полностью дистанционно. Хотя исследование провели этичные хакеры и BadCam еще не используется в реальных атаках, злоумышленникам будет несложно разобраться в ней и воспроизвести нужные действия. Поэтому организациям стоит понять механику BadCam и принять защитные меры.
      Возвращение BadUSB
      Атаку BadUSВ тоже представили на Black Hat, правда в 2014 году. Ее суть в том, что безобидное на вид устройство, например USB-накопитель, перепрограммируют, дополняя его прошивку. При подключении к компьютеру этот вредоносный гаджет «представляется» составным USB-устройством, имеющим несколько компонентов, таких как USB-накопитель, клавиатура или сетевой адаптер. Функции накопителя продолжают исправно работать, пользователь работает с флешкой как обычно. Одновременно скрытая часть прошивки, имитирующая клавиатуру, отправляет на компьютер команды, например клавиатурную комбинацию для запуска PowerShell и последующего ввода команд для загрузки из Сети вредоносных файлов или запуска туннеля к серверу атакующих. Функции BadUSB часто используют в работе современных red team, для этого обычно применяются специализированные «хакерские мультитулы» вроде Hak5 Rubber Ducky или Flipper Zero.
       
      View the full article
×
×
  • Создать...