Голосовое управление офлайн на современных Android-смартфонах

[Mrak]

Всем привет! 👋

 

По работе и в личной жизни мне нужно постоянно пользоваться голосовым управлением на телефоне — создавать встречи, напоминания, звонить, диктовать текст. Часто бываю в местах без стабильного интернета (у нас в городе интернет строго по белым спискам, т.е. никаких шансов на голосовое распознавание с интернетом вне зоны действия вай фай). Мне критически важно, чтобы эти функции работали без подключения к сети.

 

Сейчас у меня iPhone 15 Pro Max, и он отлично справляется с базовыми командами офлайн. Но я по общеизвестным причинам пакостного поведения apple присматриваюсь к другим моделям и хочу понять: на каких современных Android-телефонах голосовой помощник тоже умеет работать без интернета?

 

Команды, которые должны работать офлайн:

• «Создай встречу с Иваном на завтра в 14:00»
• «Напомни позвонить клиенту в 15:30»
• «Позвони Марии Петровой»
• Диктовка текста в заметки или сообщения (просто говоришь, а телефон печатает)
• «Установи таймер на 5 минут»

 

Если у вас есть современный Android-телефон (Samsung, Google Pixel, Xiaomi, Honor и т.д.), можете проверить, работают ли эти команды без интернета? Просто выключите Wi-Fi и мобильный интернет, а потом попробуйте сказать одну-две из этих фраз. Пробовал задать этот вопрос ИИ, роботы заявляют, что кроме айфонов этот функционал нигде корректно не реализован. Но разве можно верить роботам, когда можно спросить у форумчан?

 

Буду очень благодарен за полезную информацию! Особенно если поделитесь, какая модель у вас стоит и как именно работает (стабильно, иногда глючит). 

Изменено 31 августа пользователем Mrak

[Umnik]

Короткий ответ: готового решения нет. Google люто отстаёт в ИИ гонке.

 

Длинный ответ:

 

Когда-то это была прям рекламируемая возможность Гугл Ассистента. Почему её урезали - я не знаю. Возможно урезали для России, но раньше она была. Но толка было мало, т.к. интеграция была только с приложениями самого Гугла. К примеру заметки сохранялись (и это до сих пор так) только в Google Keep. Т.к. я принципиально не собираюсь хранить документы, заметки, задачи и т.п. в Google, у меня полностью отключены все эти штуки. Даже Календаря и Контактов от Google нет - всё отключено. Даже пуши у меня свои (но оригинальные остались, т.к свои поддерживают три с половиной прилаги).

 

Для таких людей есть прототип Google Edge Gallery https://developers.google.com/edge/gallery. Идея в том, что модельки ИИ скачиваются и работают у тебя на устройстве, а модельку ты можешь использовать какую хочешь. Приложение с открытым исходным кодом https://github.com/google-ai-edge/gallery. Его суть как раз в том, чтобы понравиться мне - работать оффлайн, интеграция с чем угодно, кастомизируется. Да только во-впервых для России приложение запрещено. Но это пофиг, ставится из GitHub. Во-вторых человеку без понимания не ясно, как этим пользоваться, что это за кнопки. То, что нужно тебе - это кнопка Mobile Actions. А сделано так не понятно, потому что это не приложение для потребителей, а оболочка для отладки для СТОРОННИХ разработчиков. В-третьих если БЯЗ (LLM) поддерживают русский язык и их ещё туда-сюда можно использовать, то модель для действий русский язык не понимает. И, самое главное, в четвёртых приложение должно само поддерживать внешние управление собой.

 

Идея в том, что сторонние разработчики используют более-менее единый способ внешнего управления и далее любая локальная ИИ через специальное API может их вызывать. На деле от сторонних разработчиков желания такого чего-то не видно, потому поддерживаются действия над фонариком и над системным таймером. То есть над тем, чьи интерфейсы Google знает, потому что они - его.

 

И в случае Google это можно понять. У них есть из своих только Pixel, а тот воспринимается как устройство для разработчиков, а не простых людей, т.к. из коробки того нет, сего нет. И общие продажи на фоне других производителей прям ничтожны. Почему же Samsung не сделал сквозную интеграцию оффлайн инструмента с локальными моделями у себя, хотя их продажи несоизмеримо выше - не понятно. Лень? И так жрут? Я ХЗ.

 

Есть решения от сторонних разработчиков, например https://f-droid.org/en/packages/com.mobilefork.hermesagent/ Но я их никогда не проверял. Да и именно вызов инструментария накладывает те же ограничения, которые накладываются и на Google - сторонняя прилага сама должна поддержать со своей стороны внешний вызов. Так что решения от сторонних разработчиков, скорее всего, точно также могут фонариком поморгать в лучшем случае.

 

Когда ты не управляешь вообще всем внутри своей системы, происходит то, что мы видим.

[Mrak]

3 часа назад, Umnik сказал:

Google люто отстаёт в ИИ гонке

Про HUAWEI аналогично, т.к. они основываются на андроид? Или есть шанс, что какая-нибудь штука типа HUAWEI Pura 90s Pro сможет локально распознавать голос?

 

Ты изложил интересное описание, но мне всё равно сложно осознать, почему например приложение от яндекса (алиса) офлайн умеет всегда распознать слово яндекс/алиса, но не может распознавать другие слова. Если я верно понимаю, словари, которые загружаются для распознавания речи, весят ничтожные мегабайты, значит крутить их офлайн вроде бы не проблема. Оказывается, проблема.

[Miracle29]

В Samsung есть Bixby и Voice assistant. Но не работают оффлайн, только с доступом к интернету. Ещё и распознают только английский, возможно если установить что-то доп (языковые пакеты). Похоже, iPhone никто не обошел с этой функцией. 

[Umnik]

2 часа назад, Mrak сказал:

т.к. они основываются на андроид

Для рынке Китая он не на Андроиде. Я ХЗ как они там. Для остальных рынков ограничения Андроидовские, да.

 

Судя по твоему непониманию, надо дать больше знаний. Так что введём термины и объясним их.

 

• ИИ - маркетинговое название чего угодно, что работает какой-то магией. Распознавание лиц в мыльницах, которые работали 20 лет назад - это тоже ИИ. То есть само по себе это ничего не означает, под этими буквами очень много самых разных, совершенно не связанных друг с другом технологий. Так что говоря "ИИ", мы не имеем в виду ничего конкретного, пока о чём-то конкретном не договорились ранее. Смотри, когда ты надиктовал предложение, оно распознавалось в текст, вызвалось приложение заметок и туда вставился текст, это разные ИИ, каждая из которых занимается своим. Это можно сделать конвеером - каждая из ИИ занимается своим делом и отдаёт итог дальше. Можно сделать через систему агентов - когда управляющая ИИ вызывает разные инструменты, которые ей доступны. А вызовами занимаются как раз агенты, которые тоже ИИ. То есть положит действия друг за другом - это конвеер, а дай управление одному решале - это работа через агентов
• модель. Это такой файл или набор файлов, который содержит в себе "знания". Модели бывают и общего назначения, которые хоть поболтают с тобой, хоть в игру поиграют, хоть музыку напишут, хоть агентов будут дрюкать под разные задачи. Бывают модели специализированные. Первые удобны тем, что всё в одном, но при этом весят просто ад сколько много. Если такая универсальная модель влезает тебе в телефон, будь уверен - она умеет дофига всего, но тупая как пробка. Будет галлюцинировать на ровном месте, зацикливаться, забывать, о чём говорили минуту назад. В общем, это не для мобилок. Бывают модели специализированные. Чем более специализированная модель, тем лучше она справляется с той задачей, на которую надрюкана, но тем хуже справляется с вообще любой другой задачей или не справляется вовсе. При этом специализированные весят намного меньше, т.к. у них, грубо говоря, отрезаны лишние знания. Модель, в общем случае, не обучается на новых данных. Её данные зафиксированы на момент создания. Ей можно рассказать новый факт, но как только этот факт вылетит из контекста, она его забудет
• LLM (large language model) или БЯМ (большая языковая модель) - это такие модели, которые обучены на анализ текста (в основном). Они его разбирают, "понимают". Очень часто дают ответы. Сами по себе они вообще не способны чем-то управлять. Зато с ними можно отлично поболтать. И она даже, если достаточно большая, будет понимать, что ты хочешь включить фонарик и составить заметку, но сама не сможет это сделать. Потому что это всё ещё просто модель, просто файл на несколько ГБ (мобильные версии) или ТБ, или даже ПБ (в случае коммерческих решений где-то на серверах за деньги), который лежит и который программа-обёртка, умеющая работать с этим файлом, может использовать. Если говорить ну очень грубо, можешь представить себе библиотеку. Твою, личную. Ты её купил, ты её хранишь. У тебя заняты абсолютно все полки, новых книг положить уже нельзя. У тебя что-то спрашивают, ты бежишь в библиотеку и ищешь ответ в книгах. Ответ там может быть, может не быть вовсе, ты можешь неправильно понять вопрос, ты можешь неправильно понять книжный текст, в книгах могут быть ошибки. Вот ты как-то у себя в голове истолковал вопрос, как-то нашёл то, что посчитал ответом, как-то его понял при чтении из книги и как мог, ответил спрашивающему. Чем больше твоя библиотека и чем дольше ты сам работаешь библиотекарем, тем лучше ты понимаешь вопросы, понимаешь ответы в книгах и лучше их доносишь до спрашивающего. Новые книги у тебя в библиотеке не появляются сами по себе, а твоя память может вместить не так много данных о том, о чём вы недавно говорили. И тут ещё подводный камень. Представь, что вот от всего этого зависит твоя ЗП и абсолютно зависит. Дал ответ - получил десять рублей. Не дал ответ - штраф 10 рублей. При таком подходе есть опасность, что человек лучше приврёт в ответе, чем признается, что не знает. Вот примерно такое у меня для тебя описание сути БЯЗов
• GPT. Generative pre-traned transformer. Это такая архитектура. Суть архитектуры в этих трёх словах. Генеративная означает, что ответ создаётся на лету. Задавай один и тот же вопрос в разных сеансах (чтобы не было контекста у модели) и ответы будут не одинаковыми. Они могут быть одинаковыми по сути - и то не всегда, - но по тексту будут разными. Потому что ответ создаётся. Вообще не факт, что правильно. Факт, что он не копируется с диска, а всякий раз генерируется снова и снова. Предобученная означает, что модель когда-то скормили тонны знаний в каком-то формате. Модель как-то эти знания обработала и сожрала в себя. В каком-то виде, но не оригинальном даже близко, они лежат в том самом файле модели. К сожалению, невозможно эти знания сохранить так, чтобы гарантировать, что обучение прошло правильно. Трансформер - это архитектура Гугла такая. Гугл сделал революцию в нейросетях, представив трасформеры с их механизмом так называемого "внимания". Но сами они этого не поняли. А вот создатели ЧатГПТ поняли. И где теперь Гемини, а где ЧатГПТ, да? Первый - не значит лучший. Суть транформеров в том, что эта архитектура пытается понимать взаимосвязи слов. Благодаря этому "мама мыла раму" и "мыла раму мама" трансформеру одинаково ясны. Он понимает, как каждое слово связано друг с другом. В конечном итоге это позволяет проделывать такие вещи: "эй, трасформер сраный, о чём тут сказано: "король надел ___ на голову"". GPT, с помощью трасформера, прикинет связь слов, поищет в своих знаниях (предобучение то самое) и вытянет на свет божий с десяток разных вариантов, что там мог надеть король. У каждого варианта будет своя вероятность и GPT выберет то, что более вероятно в этом месте. При этом "Король надел ___ на голову. Король вообще любил надевать на голову ведро." - это трансформер тоже поймёт. Он читает текст и туда, и сюда (чего раньше не было, читали только в одном направлении, из-за чего новые сведения не влияли на уже вставленные раньше пропуски) и поднимет приоритет ведра над короной
• GPT чаще всего, но не всегда, использует БЯМ. Чаще всего, но в целом не обязательно БЯМ, например BERT ещё есть и другие. Те же BERT архитектурно избавлены от галлюцинаций. Но обратная сторона этого - запросы должны быть максимально близко к данным обучения. "У меня в гостях были Вася и Петя" - "Сколько человек было в гостях?" - да фиг знает сколько, в данных исходных нет этой информации. "Кто был в гостях?" - "Вася и Петя". Хочешь гибкости интерпретации - тебе в LLM. Взамен получаешь галлюцинации. Хочешь точности без галлюцинаций? Вот тебе BERT. Взамен учись формулировать запросы идеально. При этом здесь G отвечает за сами ответы, типа "Вася и Петя", P - это "У меня в гостях.....", а T отвечает за то, чтобы понять, что есть я, есть Вася и Петя, что взаимосвязь между нами - были в гостях

 

Так, пока зафиксируем текущее положение дел. GPT, благодаря БЯМ (чаще всего), нормально так работает как чат. Если модель у него офигенски разнообразная, ГПТ сможет понять, что "включи фонарик" является командой для выполнения, может знать, КАК это сделать, но сам сделать это не сможет. Ему нужен агент, который это сделает. Нужна или специализированная утилита или для вызываемого приложения должны быть известны команды и ГПТ должен уметь посылать эти команды. И снова, сама она это не сделает, нужны прослойки, которое это будут делать. Вот этими прослойками и являются утилиты типа Google Edge Gallery. Именно поэтому такие утилиты скачивают модели. Когда ты что-то пишешь, эти утилиты просто прокидывают данные на вход модели (программный способ связи - API - стандартизирован и это как раз самое простое) ввод в модель и забирают из модели вывод. Так что именно чат ты получишь вообще легко и будет работать оффлай. Хоть гугловую утилиту возьми, хоть опен сорс от сторонних разработчиков - на F-Droid их полно - всё будет работать настолько классно, на сколько жирную модель ты возьмёшь.

 

А вот выполнение команд требует связи. Модель знает, что в Андроиде нужно сформировать Intent() такой-то с такими-то данными. Но она не может это сделать, нет у неё рук. Ты в своей библиотеке тоже это узнаешь, но у тебя нет ни клавиатуры, ни компа вообще. Только прилавок, за которым ты стоишь. Так что это приложение-обёртка должна взять на себя формирование всяких команд. Только команд на телефоне не так много. Ну сколько, пару сотен ещё можно придумать, если прям сильно напрячься, да и всё. Зачем ради этого тащить БЯЗ на много гигабайт, который будет жрать оперативу и высаживать батарею? Нужно взять специализированную модель. И эту специализированную модель ты найдёшь как раз в разделе Mobile Actions в приложении Google Edge Gallery. Она там одна, весит, кажется, полторы сотни мегабайт. Но в ней вырезана поддержка любых языков, кроме английского.

 

Фиксируемся снова. У нас есть модели для чатов, есть специализированная маленькая модель для выполнения действий с мобилкой. Пусть и на одном языке - это не проблема, можно скачать любую другую модель, благо в Инете они есть. Теперь у нас проблема именно интеграции. "Создай заметку такую-то". Создать где? В каком приложении? А есть такое приложение у пользователя? А если приложений несколько? А какого цвета заметку, какой шрифт, какое форматирование? Модели нужно сначала всё это узнать. А потом ещё выяснить, а как создавать-то для тех разных 100 прилаг у пользователя. В случае Apple у пользователя гарантировано есть Apple Notes. В случае Google у него может быть что угодно. Вот это и есть проблема интеграции. Приложение-обёртка должна взять все эти интеграции на себя. А для этого автор приложения должен связаться с авторами хотя бы популярных заметочников и попросить у них API. Но кто ему даст его? Потому что если будет простое общее API, то любой троян тебе втихаря насоздаёт тысячи заметов. Это хорошо, если насоздаёт, а не удалит или не начнёт подменять твои. Как решить эту проблему? У меня нет ответа.

 

Надеюсь, я смог на пальцах объяснить, почему в Android сторонним разработчикам близко к невозможному сделать качественную интеграцию? Достать хорошую модель - это вообще легко, тут нет проблем. Модели доступны абсолютно бесплатно в Инете на специализированных ресурсах и какие хочешь. Почему Google не делает такую интеграцию со своими фирменными прилагами? На самом деле делает, но не для России. Почему Ассистент не работает оффлайн? До этого я ответил, что не знаю, ведь раньше работал. Но сейчас, мне кажется, у меня ответ есть (с точки зрения GPT это может быть галлюцинация, т.к. мне _кажется_, что я понял): на смену Ассистенту они стали развивать Gemini. Ассистент остался как затычка, чтобы было хоть что-то там, где Gemini нет. Ответа про Samsung у меня нет по-прежнему. Возможно их процессоры Exynos плохи в работе с БЯЗ, например. Я вообще ХЗ.

 

Если хочешь потыкать разные модели оффлайн, посмотреть, как они тебя понимают, можешь поискать на F-Droid https://search.f-droid.org/?q=llm, https://search.f-droid.org/?q=AI например. Именно чаты найти легко, их полно. Только смысла в этом нет. Локальная модель = тупая модель. В смысле, объём "знаний" у неё прям так себе. Иначе бы не влезла в телефон. А вызов инструментов на Android - это не решённая на сегодня архитектурная проблема. Когда Google добвит роль Mobile Actions (роли в Андроиде - это такая система разрешений, хардкорнее пермишенов), то дело сдвинется с мёртвой точки. Пока роли нет, чесаться никто не будет, т.к. позволять фиг пойми кому тебя вызывать и насовывать тебе фиг пойми какие данные - это дыра.

 

Добавлено: для распознавания речи в F-Droid есть куча утилит. Ищи по слову whisper. Виспер - это модель от OpenAI и она великолепно переводит речь в текст. Даже поддерживает распознавание речи на одном языке и запись её текстом на другом языке.

Изменено 1 сентября пользователем Umnik

[Mrak]

1 час назад, Umnik сказал:

К сожалению, невозможно эти знания сохранить так, чтобы гарантировать, что обучение прошло правильно.

Почему невозможно, раз всё хранится в электронном виде? Неужели перепроверить нельзя, что там сохранено?

 

1 час назад, Umnik сказал:

Именно чаты найти легко, их полно. Только смысла в этом нет.

Чат - ты имеешь ввиду разговор с роботом? Или чат как распознание речи и перевод её в текст? Если ты о последнем варианте, то можно использовать распознавание в мессенджере Макс. Отдельная программа не требуется, раз уж технически всё равно заметку не создаст телефон в нужном приложении. 

Поэтому вопрос с заметками через костыль решается, хотя плохо, ведь макс надо будет открывать пальцами. В теории ведь телефон должен уметь выполнить команду «открой макс, запиши голосовое сообщение в чате «голосовые сообщения»». Из твоего описания, телефон не сделает такого, т.к. ему нечем открывать. Жаль, не сделали набор «стандартных» приложений (самых базовых) для загрузки на том же андроиде - типовые заметки гугла, его же звонилка, его же календарь, его же галерея (фото) - ну хоть с ними бы связь сделали для голосовых команд. Благо, загрузить ведь на андроид можно что угодно, значит и эти массовые приложения.

 

Насчёт самых простых команд и запрета на их выполнение по мотивам безопасности логика неясна. Говорю «включи фонарик» или «перезагрузи телефон». Логично же, что телефон для перезагрузки потребует разблокировки, поймет, что это я (на айфоне так, без доп. подтверждения фиг ты его перезагрузишь, а вот фонарик включишь сходу). Поэтому вопрос о вирусе/трояне и т.п. как аргумент не делать такие интересные штуки выглядит как отговорка. Я же как пользователь тоже могу всё что хочешь сделать с заметками, хоть их сходу удалить все и даже корзину почистить? Зловредная программа так тоже сможет. Ну так что же, под этим предлогом может надо стереть этот функционал в заметках, а то мало ли?

 

За развернутый ответ тебе спасибо. Интересно было почитать про терминологию и причины ограничений. Надо дожидаться, вдруг яндекс или сбер сподобятся сделать «ии в себе», т.е. добавят внутрь своих голосовых ассистентов функционал заметок (полноценный), контактов для взызова, написания смс и прочего. Пусть не сможет перезагрузить телефон или фонарик включить, так хоть сможет позвонить кому-то или смс выслать в офлайн режиме на русском языке без танцев с бубном. 

[Sapfira]

3 часа назад, Mrak сказал:

Про HUAWEI аналогично

У них есть Селия, которая умеет выполнять базовые команды оффлайн, но для России она не доступна. У нас её заменили Алисой, которая без интернета не работает.

[Mrak]

2 минуты назад, Sapfira сказал:

У них есть Селия, которая умеет выполнять базовые команды оффлайн, но для России она не доступна. У нас её заменили Алисой, которая без интернета не работает.

Так ведь её можно же вернуть, раз она есть и работает на русском. 

Получается вопрос решён уже, хотя Умник подробно объяснил, почему в ближайшее время он не может быть решён?

[Mrak]

10 минут назад, Sapfira сказал:

но для России она не доступна.

судя по информации по твоей ссылке, русский язык она не понимает. Значит, смена региона не поможет всё равно.

[Umnik]

11 часов назад, Mrak сказал:

Почему невозможно, раз всё хранится в электронном виде? Неужели перепроверить нельзя, что там сохранено?

Нельзя, да. Потому что оно не хранится в электронном виде в том смысле, что ты привык. Просто давай рассуждать. Какая-нибудь крупная известная ИИ подскажет тебе что-то, что ты спросишь, о видеоролике с Ютуба. Но ведь она не хранит в себе весь Ютуб, верно? А кроме Ютуба, надо как-то хранить и всё остальное. Считай иметь копию Интернета. Чтобы не опускаться на уровни детализации, в которых я сам сильно начинаю плавать, давай попробуем перейти на аналогию. Ты помнишь много всего, но вот лично ты, как человек разумный (не в смысле терминологии, а в смысле образования, знаний, опыта) понимаешь, что твои знания и воспоминания вообще нифига не точные. Ты не можешь восстановить из запомненного всё в оригинальном виде. Ты составляешь какие-то описания того, что пытаешься понять и запомнить и далее оперируешь _воспоминаниями_ об этих _описаниях_. Не так по сути, но так по духу хранятся знания в модели. Это настолько неточный способ хранения, что придумали RAG (retrieval augmented reneration) - генерирование с дополнительной выборкой. При таком подходе практически гарантируется, что ответы модели будут нормальными. Суть в том, что GPT о чём-то спрашивают, а она лезет за поиском ответа в базу знаний. Например у вас есть внутренняя Wiki. Вот GPT каждый раз, на каждый вопрос, лезет в эту базу и каждый раз заново перечитывает (на самом деле способ не такой глупый, оптимизации есть, но без оптимизаций именно так), чтобы дать ответ.

 

Помнишь, я говорил, что может быть "корона", а может быть "ведро" и это зависит от веса? Вот эти "знания" - это вообще всё на весах. Во, придумал аналогию. Знаешь анекдот, как у двух братьев корову украли? Как они путём размышлений выяснили кто украл, а потом такими же размышлениями выиграли суд? Вот так хранятся знания в моделях, вот кроме шуток. Это пока самая точная аналогия, которую я могу придумать.

 

13 часов назад, Mrak сказал:

Чат - ты имеешь ввиду разговор с роботом?

Да

13 часов назад, Mrak сказал:

Или чат как распознание речи и перевод её в текст?

Это тоже

13 часов назад, Mrak сказал:

можно использовать распознавание в мессенджере Макс

На F-Droid (и в Gplay, понятное дело, но я его стараюсь никогда не использовать) есть заметочники со встроенными моделями распознавания голоса и перевода в текст. То есть не нужно будет копировать-вставлять из одного места в другое. Заметочник сам распознает голос, переведёт в текст и сохранит заметку. Сам не проверял эффективность работы, я не могу заставить себя использовать голос.

 

13 часов назад, Mrak сказал:

В теории ведь телефон должен уметь выполнить команду «открой макс, запиши голосовое сообщение в чате «голосовые сообщения»»

Это сделать не сложно, если Макс позволит это сделать со своей стороны. Но ты забываешь о безопасности. Я пишу троян, который выполняет эту же команду: открой Макс, найди контакт "Очень важный партнёр" и отправь ему сообщение "Я твой дом труба шатал". Нужно понимать, что если одно приложение, хорошее, может сделать что-то, то и другое, плохое, тоже может. Взаимодействие ведь одинаковое. Чтобы хоть как-то защищаться, придётся городить такие лютые костыли, что проще пока вообще этим не заниматься.

 

13 часов назад, Mrak сказал:

Из твоего описания, телефон не сделает такого, т.к. ему нечем открывать

Сейчас - да. Потому что безопасность. Сделать правильно - очень дорого. Не прям, чтобы непосильно, но в списке приоритетов есть более важные вещи. Да и не хотел бы я, чтобы ВК чем-то таким занимался. У них очень плохое качество их продуктов.

 

13 часов назад, Mrak сказал:

Жаль, не сделали набор «стандартных» приложений (самых базовых) для загрузки на том же андроиде

Сделали для тех прошивок, которые проходят сертификацию Google Services. Но список этого ПО меняется. В этом году один набор, потом другой. Когда-то, вон, Google+ был обязателен. Возьми любой Самсунг и там будет папка ярлыком Гугл. Это как раз всё то, что Гугл потребовал, это и есть обязательный список. Gemini, сам рулевой, который будет всеми рулить, туда не входит. А раз рулевого нет в обязательных, то зачем делать затачивание под него в остальных? Когда-нибудь добавят, конечно, но будут ли в России ещё официально продаваться такие телефоны - вопрос.

 

13 часов назад, Mrak сказал:

Логично же, что телефон для перезагрузки потребует разблокировки, поймет, что это я (на айфоне так, без доп. подтверждения фиг ты его перезагрузишь, а вот фонарик включишь сходу).

Это так только сегодня. А когда-то Siri позволяла без разблокировки и фото твои посмотреть, и документы почитать, и позвонить. И эта проблема окончательно не решена. Каждый год забываются и Siri снова без разблокировки выполняет опасное действие. Просто это не твоя сфера интересов, вот ты и не отслеживаешь. Даже банковские переводы можно было делать на заблокированном iPhone. И SMS читать. В 22 году была уязвимость, что любое приложение с доступом к Блютуз (плеер, например) без других действий и подтверждений мог слушать и записывать вообще всё общение с Siri. Это всё только то, что стало известно.

Добавь к этому проблему, что микрофон твоего телефона слышит частоты, которые не слышишь ты. Команды можно отдавать даже если телефон лежит у тебя в кармане. Тебе достаточно находиться в помещении и команды можно отдавать на неслышимых тебе частотах, а телефон будет их выполнять.

 

Голосовое управление - это просто гора проблем, которые не очевидны без погружения. Так получилось, что я имею некоторое отношение как раз именно к этому направлению - интеграции ИИ в прошивку и создание полноценного локального ассистента. Работа ещё толком не началась, а приходится уже учитывать вещи, о которых не задумывался раньше. Например, твой GPT у тебя на телефоне анализирует документы в фоне, чтобы ты в любой момент времени мог быстро задать вопрос. Скажем "какого числа была отгрузка такого-то товара" и ассистент тут же ответил. И тут ты получаешь flash SMS (специальный тип, который твоё телефон лично тебе может вообще не показать), в котором твоему GPT дана команда отправки всех твоих данных злоумышленнику. И твой ассистент это сделает! И это не потенциальная проблема, именно так атаковали Gemini: жертве приходили приглашения на встречи в Гугл Календарь, а в приглашениях были команды, которые Гемини исполнял, давая злоумышленникам разные данные с телефона.

 

Задумывался ли ты о том, что локальный ассистент может одинаково подчиняться кому угодно?

 

13 часов назад, Mrak сказал:

Я же как пользователь тоже могу всё что хочешь сделать с заметками

Ты - да. Тебе можно всё.

 

 

[sputnikk]

Кажется уже предлагал. Купи дополнительный китайфон под ру-приложения. Например Самсунг 07. Знаю, не твой путь, всегда стремишься к идеалу, однако это быстрый способ решить проблему, пока ищешь удобное решение. Проблемы не всегда требую сложных решений.

Изменено Среда в 10:11 пользователем sputnikk

[andrew75]

21 минуту назад, sputnikk сказал:

Купи дополнительный китайфон под ру-приложения.

Чем это ему поможет в данной конкретной проблеме?

[Mrak]

39 минут назад, sputnikk сказал:

Кажется уже предлагал. Купи дополнительный китайфон под ру-приложения. Например Самсунг 07. Знаю, не твой путь, всегда стремишься к идеалу, однако это быстрый способ решить проблему, пока ищешь удобное решение. Проблемы не всегда требую сложных решений.

Там нет голосового управления при отсутствии доступа к сети Интернет. Так что покупкой самсунга проблема не решается. А то как-то увидел, что на озон можно было купить самсунг гэлакси с26 с 512 гб. памяти за 60 тыс. рублей (типа дёшево). Но не взял, поскольку Умник тут разъяснил принципиальную невозможность решения проблемы на андроидах в настоящее время.

 

Проблема именно такая как указана выше. Проблем с установкой удалённых из эпстор приложений у меня нет. Т-банк шустр, я в любой момент могу загрузить их приложение на айфон. Другими банками я не пользуюсь, поэтому на отсутствие тех приложений пофиг. Аналогично с иными приложениями: либо разработчик с чёрного хода позволяет в русском эпсторе загрузить приложение, либо оно у меня уже загружено, либо я им не пользуюсь. 

 

Но осознание, что за мои деньги эпл ставит мне же палки в колёса меня не радует и я хочу сменить аппарат. Только менять не на что. 

 

2 часа назад, Umnik сказал:

В 22 году была уязвимость, что любое приложение с доступом к Блютуз (плеер, например) без других действий и подтверждений мог слушать и записывать вообще всё общение с Siri. Это всё только то, что стало известно.

Специально для тебя байка из недавних (не придумал, реально так было).

 

Еду я в машине (айфон на держателе магсэйф, эплвотч на руке). Везу детей (дочки, мелкие ещё). Сзади раздаются такие звуки:

- Дичайший грохот ударов.

- АААААА!

- Бей его! Бей!

- Вот он! Убей его!

- Он теперь здесь! Убивай!

- ААААА! Кровь!!!!

(звук ударов пропадает).

 

В этот момент эпл вотч мне объявляют (дословно не помню): кажется вы находитесь в критической ситуации. Мне позвонить в службу спасения? Ниже надпись "отменить" и уже идёт индикация, что без отмены вызова пойдет звонок в 112. 

Кроме голосового уведомления на экране эпл вот был написан текст всего, что кричали детки (бей, убивай, кровь и т. п.). Звонок отменил.

 

Детки на заднем сиденье охотились на комара. Успешно. Забили гада, но видимо тот кого-то ранее успел укусить и крови напиться. Мочили так, будто не комара, а слона забивали.