Смешанное использование с отслеживанием плоских изображений

Распознавание изображений в облаке также может сочетаться с отслеживанием плоских изображений для реализации гибридного режима "распознавание + непрерывное отслеживание". В этой статье будет описано, как это использовать, а также проанализированы преимущества и сценарии применения.

Рабочий процесс

Ключевым моментом гибридного режима является бесшовная интеграция облачного распознавания и локального отслеживания. Процесс выглядит следующим образом:

Этап облачного распознавания

1. Отправка запроса: Камера устройства захватывает текущий кадр и загружает изображение на сервер CRS.
2. Сопоставление в облаке: CRS ищет в целевой библиотеке и возвращает ID совпавшего объекта, а также данные изображения (в кодировке Base64).
3. Получение результата: Клиент получает результат распознавания, запуская последующую логику обработки.

Этап локального отслеживания

1. Декодирование изображения: Клиент декодирует данные Base64 в изображение и на его основе создает локальный экземпляр ImageTarget.
2. Инициализация отслеживания: Инициализируется ImageTracker и вызывается метод loadTarget, запуская отслеживание плоского изображения.
3. Непрерывное отслеживание: Устройство локально вычисляет 6DoF-позицию, виртуальное содержимое в реальном времени следует за перемещением изображения.

Преимущества гибридного использования

По сравнению с использованием только облачного распознавания, гибридный режим демонстрирует лучшие результаты в следующих аспектах:

• Снижение вероятности ложного распознавания
  При использовании только облачного распознавания, если в библиотеке есть похожие изображения, может быть возвращен неверный объект. С подключением локального отслеживания, оно непрерывно проверяет характеристики изображения. Если фактическое содержимое не соответствует результату распознавания, отслеживание быстро теряется, вызывая повторное распознавание. Таким образом, гибридный режим значительно снижает процент ошибок облачного распознавания.

• Поддержка непрерывного отслеживания и взаимодействия
  Облачное распознавание само по себе возвращает только ID объекта и не поддерживает непрерывные взаимодействия, такие как вращение или масштабирование. В гибридном режиме после распознавания происходит мгновенное переключение на локальное отслеживание с обновлением 6DoF-позиции в реальном времени. Пользователь может перемещать устройство или изображение, а виртуальное содержимое будет постоянно следовать за ним, что идеально подходит для AR-игр, демонстрации продуктов и других сценариев.

• Снижение нагрузки на облако
  Частые вызовы облачного распознавания (например, раз в секунду) увеличивают нагрузку на сервер и задержки. В гибридном режиме после успешного распознавания последующее отслеживание выполняется локально на устройстве, без необходимости постоянной загрузки изображений. Повторное облачное распознавание срабатывает только при потере отслеживания, что значительно сокращает количество запросов к облаку и снижает потребление сетевого трафика клиентом.

• Адаптивность к слабым сетевым условиям
  Использование только облачного распознавания при нестабильной сети часто приводит к таймаутам или сбоям. В гибридном режиме после успешного распознавания, даже при разрыве сети, локальное отслеживание продолжает работать. В сочетании с локальной библиотекой целей это обеспечивает приложению "деградированный" опыт до восстановления сети.

Лучшие практики

При выборе между облачным распознаванием, отслеживанием плоских изображений или гибридным режимом, можно оценить следующие аспекты:

Как выбрать функцию

Особенность приложения	Рекомендуемое решение	Обоснование
Количество целей < 100	Отслеживание плоских изображений	Достаточно локальной памяти, нет зависимости от сети
Нет сети или нестабильная сеть	Отслеживание плоских изображений	Избежание сбоя распознавания, обеспечение работы офлайн
Необходимо обновление целей в реальном времени	Облачное распознавание	Изменения вступают в силу сразу после загрузки, подходит для динамического контента
Ограниченная производительность устройства	Облачное распознавание	Встроенные устройства или крайне высокие требования к энергопотреблению
Нет потребности в непрерывном отслеживании	Облачное распознавание	Например, одноразовое сканирование без дальнейшего отслеживания

Когда выбирать гибридный режим

• Большое количество целей (>100): Неограниченное облачное хранилище, локально загружается только текущая цель, экономия памяти.
• Требуется непрерывное взаимодействие: Например, AR-образование (вращение 3D-модели после распознавания учебника), AR-маркетинг (просмотр 3D-демонстрации после распознавания продукта).
• Высокая чувствительность к ложному распознаванию: Например, в медицинских или промышленных сценариях, где критична точность.
• Необходимость "деградации" в слабых сетях: После успешного распознавания отслеживание продолжается даже при разрыве соединения.

Итоги и расширение

Гибридный режим сочетает большую емкость облачного распознавания с возможностью непрерывного локального отслеживания, что особенно подходит для сложных сценариев, требующих высокой точности и интерактивности. Разработчикам следует гибко выбирать отдельные функции или гибридный режим, основываясь на количестве целей, частоте обновлений, сетевой среде и потребностях во взаимодействии.