-
Похожий контент
-
От KL FC Bot
Израильские исследователи из Offensive AI Lab (что можно примерно перевести как «Лаборатория наступательного ИИ») опубликовали работу, описывающую метод восстановления текста из перехваченных сообщений от чат-ботов с ИИ. Рассказываем о том, как работает эта атака и насколько она опасна в реальности.
Какую информацию можно извлечь из перехваченных сообщений чат-ботов на основе ИИ
Разумеется, чат-боты отправляют сообщения в зашифрованном виде. Однако в реализации как самих больших языковых моделей (LLM), так и основанных на них чат-ботов есть ряд особенностей, из-за которых эффективность шифрования серьезно снижается. В совокупности эти особенности позволяют провести так называемую атаку по сторонним каналам, когда содержимое сообщения удается восстановить по тем или иным сопутствующим данным.
Чтобы понять, что же происходит в ходе этой атаки, придется слегка погрузиться в детали механики LLM и чат-ботов. Первое, что надо знать: большие языковые модели оперируют не отдельными символами и не словами как таковыми, а так называемыми токенами — своего рода смысловыми единицами текста. На сайте OpenAI есть страница под названием «Токенизатор», которая позволяет понять, как это работает.
Этот пример демонстрирует, как работает токенизация сообщений моделями GPT-3.5 и GPT-4. Источник
Вторую особенность, важную для данной атаки, вы наверняка замечали, когда общались с чат-ботами: они присылают ответ не крупными кусками, а постепенно — примерно так же, как если бы его печатал человек. Но, в отличие от человека, LLM пишут не отдельными символами, а токенами. Соответственно, чат-бот отправляет сгенерированные токены в режиме реального времени, один за другим. Вернее, так делает большинство чат-ботов — исключение составляет Google Gemini, из-за чего он не подвержен данной атаке.
Третья особенность: на момент публикации исследования большинство существующих чат-ботов, перед тем как зашифровать сообщение, не использовали сжатие, кодирование или дополнение (это метод повышения криптостойкости, в котором к полезному сообщению добавляются мусорные данные, чтобы снизить предсказуемость).
Использование этих особенностей делает возможным атаку по сторонним каналам. Хотя перехваченные сообщения от чат-бота невозможно расшифровать, из них можно извлечь полезные данные — а именно длину каждого из отправленных чат-ботом токенов. В итоге у атакующего получается последовательность, напоминающая игру в «Поле чудес» на максималках, не для одного слова, а для целой фразы: что именно зашифровано, неизвестно, но известна длина отдельных слов токенов.
Посмотреть статью полностью
-
От KL FC Bot
Принципы машинного обучения были заложены около 50 лет назад, но только недавно их начали широко применять на практике. Благодаря растущим вычислительным мощностям компьютеры сначала научились достоверно различать объекты на изображении и играть в Го лучше человека, а потом — рисовать картины по описанию или поддерживать связный диалог в чате. В 2021–2022 годах научные прорывы стали еще и легко доступны. Любой желающий может подписаться на MidJourney и, например, мгновенно иллюстрировать книги собственного написания. А в OpenAI наконец открыли свою большую языковую модель GPT-3 (Generative Pretrained Transformer 3) для широкой публики через сервис ChatGPT. На сайте chat.openai.com пообщаться с ботом может любой желающий, так что убедитесь сами — бот уверенно поддерживает связный диалог, лучше многих учителей объясняет сложные научные концепции, может художественно переводить тексты между языками и многое, многое другое.
Иллюстрация, сгенерированная Midjourney по запросу «Гном с увеличительным стеклом потерялся среди серверов хранения данных»
View the full article
-
От dkhilobok
Kaspersky Cyber Immunity Developers Night 2023
Главная обучающая конференция о кибериммунной разработке, призванная помочь ИТ-сообществу усилить компетенции в создании безопасных систем.
Принять участие
21 июня «Лаборатория Касперского» проведет открытую конференцию для всех, кто интересуется созданием безопасных приложений на практике. Kaspersky Cyber Immunity Developers Night станет продолжением уже знакомой многим разработчикам KasperskyOS Night и в этом году сфокусируется на кибериммунной разработке в целом.
Методология кибериммунитета зародилась в «Лаборатории Касперского» в ходе работы над исходно безопасной операционной системой KasperskyOS. За 20 лет развития она сформировала вокруг себя экосистему решений и показала свою применимость практически к любым проектам. Поэтому очередная конференция уделит внимание используемым языкам программирования и готовым кибериммунным отраслевым решениям.
Темы конференции:
Существуют ли «безопасные» и «небезопасные» языки программирования Как реализовать многоэтапный контроль качества, отладку и экспериментальное управление в целях безопасности Каким образом применять GPU при разработке современных графических интерфейсов Как совместить кибериммунитет с другими методиками и отраслевыми стандартами Какой опыт разработки кибериммунных решений накоплен в сфере автопромышленности и IoT Ждем всех, кто заинтересован в безопасной разработке: программистов, Q&A-инженеров, аналитиков, студентов и преподавателей вузов.
Начало 21 июня в 15:00 (МСК)
Принять участие
-
От dkhilobok
Kaspersky Cyber Immunity Conference 2023
Конференция о реальности и будущем кибериммунитета — подхода к построению IT-систем, защищенных на уровне архитектуры.
Регистрируйся и присоединяйся
20 июня «Лаборатория Касперского» проведет первую конференцию о кибериммунитете — визионерском подходе к построению защищенных IT-систем. В прямом эфире из архитектурного оазиса — Санкт-Петербурга — эксперты в сфере технологий обсудят, как продуманная архитектура IT-решений позволяет формировать безопасность и устойчивость бизнеса.
Кибериммунный подход зародился 20 лет назад в ответ на потребность рынков в IT-продуктах со встроенной защитой от кибератак. Сегодня этот подход стал фундаментом для экосистемы исходно безопасных IT-решений — а также нового рынка кибериммунных систем, для которых большинство типов кибератак не представляет угрозы.
Участие в конференции примут технологические и отраслевые лидеры, регуляторы, эксперты в информационной безопасности — все, кто находится в авангарде формирующегося рынка кибериммунных технологий. Вместе они заложат крепость безопасного будущего, в котором кибериммунитет — это новая реальность.
Регистрируйся и присоединяйся
-
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти