Автор
KL FC Bot
Многие визионеры ИИ в качестве ключевого направления развития технологии представляют универсального умного ассистента, который возьмет на себя всевозможные рутинные задачи. Эксперименты в этом направлении уже активно ведутся и приносят кое-какие плоды. Так, с начала этого года в Сети активно распространяются новости о том, на какие чудеса способен ИИ-агент с открытым исходным кодом OpenClaw, также известный как Clawdbot и Moltbot.
Читатели нашего блога уже наверняка знают, что все ИИ-инновации на данном этапе вызывают серьезные вопросы по поводу безопасности и приватности их использования. Для эффективной работы им необходим доступ фактически ко всем цифровым сервисам пользователя: электронной почте, календарю, облачным хранилищам, мессенджерам и многим другим.
Однако до недавнего времени ни один проект — включая OpenClaw — не предлагал решения, которое позволяло бы надежно ограничивать действия таких агентов и гарантировать их безопасность. Ситуация начала меняться с появлением концепции «железного занавеса» (IronCurtain), предложенной исследователем Нильсом Провосом.
Чем опасны ИИ-агенты
Продолжим держать интригу еще немного и для начала обсудим, на что же способен бесконтрольный ИИ-агент. Важно помнить — в основе любого современного ИИ-инструмента на самом базовом уровне лежит языковая модель, то есть алгоритм для обработки текста, которому на этапе обучения «скормили» огромный объем текстовых данных. В результате создается статистическая модель, умеющая определять вероятность того, какое слово с наибольшей вероятностью должно следовать за другим.
Языковая модель представляет собой своего рода черный ящик — фактически это означает, что никто полностью не понимает, как именно работает ИИ-инструмент на внутреннем уровне, включая его создателей. Очевидное следствие этого — разработчики искусственного интеллекта сами не до конца знают, как контролировать и ограничивать такие системы именно на уровне модели, поэтому им приходится изобретать для этого внешние механизмы разной степени эффективности и надежности.
При этом способы, с помощью которых можно обходить подобные механизмы, часто оказываются самыми неожиданными. Например, мы недавно рассказывали, что чат-боты можно заставить забыть почти про все инструкции безопасности, если очаровать их запросами в стихах.
View the full article
Рекомендуемые сообщения
Пожалуйста, войдите, чтобы комментировать
Вы сможете оставить комментарий после входа в
Войти