Table of Contents

Введение в EasyAR Mega

EasyAR Mega — это платформа spatial computing, предназначенная для создания постоянных, высокоточных пространств digital twin для всего физического мира, например города, кампуса или крупного торгового центра. С EasyAR Mega ваше приложение может реализовать масштабную и высокоточную indoor и outdoor localization, а также virtual-real occlusion, предоставляя пользователям беспрецедентный опыт пространственного взаимодействия.

В этой главе кратко представлены основные принципы работы EasyAR Mega, ожидаемые эффекты и рекомендации по адаптации платформ с точки зрения разработчика.

Важно

Пользователям, не являющимся разработчиками, например product managers, operations и testers, следует напрямую перейти к руководству пользователя Mega, чтобы узнать о сервисах Mega.

Перед началом: убедитесь, что все готово

Перед интеграцией EasyAR Mega cloud localization в ваше приложение необходимо убедиться в основном предварительном условии: сервис Mega cloud localization готов.

  • Сбор данных на месте завершен
    • Используйте указанные устройства для сбора данных целевой области
    • Используйте Mega Toolbox для сбора EIF data для проверки эффекта
  • Mega Block map building завершен
  • Сервис localization включен и привязан к приложению
    • Добавьте Block в Mega localization library в Developer Center
    • Получите действительные App ID и API Key и корректно настройте их в проекте
Важно

Если указанные выше шаги не выполнены, приложение не сможет получить результаты localization, что проявится как "AR-контент никогда не запускается". Перед разработкой с Mega cloud localization обязательно проверьте доступность сервиса.

Основные принципы Mega localization

В отличие от традиционной GNSS localization, зависящей от спутниковых сигналов, EasyAR Mega основан на передовой технологии visual localization. Сопоставляя image data, которые пользовательское устройство снимает в реальном времени, с заранее построенными высокоточными 3D data, система определяет 6DoF pose пользователя в физическом мире. На основе этой pose приложение может рендерить и накладывать виртуальный контент в правильном физическом месте.

Рабочий процесс выглядит следующим образом:

  1. Построение карты:

    • Используйте профессиональные устройства, например панорамные камеры, для сбора данных в целевой области.
      Data Capture
    • Загрузите собранные данные, например файлы .360, через консоль управления mapping EasyAR.
    • Облачная платформа обработки вычисляет изображения в собранных данных, использует передовые AI-алгоритмы для извлечения визуальных признаков целевой области, а также объединяет изображения с информацией IMU-сенсоров и другими данными, чтобы восстановить траекторию движения при сборе, то есть позу камеры в каждый момент. Затем она генерирует 3D point cloud всей scene и строит dense mesh с texture maps.
    • В итоге система mapping выводит высокоточную "Mega Block map", настроенную EasyAR, которая содержит 3D-геометрическую информацию и визуальные признаки. Эта map является основой Mega localization.
      Mapping Process

  2. Локализация в реальном времени (на примере Mega cloud localization):

    • Пользователь открывает приложение. Камера устройства в реальном времени захватывает изображения в поле зрения пользователя и отправляет их в Mega cloud localization service вместе с camera intrinsics, extrinsics при наличии и вспомогательной информацией при наличии, например GNSS.
      User case
    • Mega cloud localization service извлекает визуальные признаки из загруженного изображения и быстро сравнивает и сопоставляет их с Mega Block maps в localization library.
    • После успешного сопоставления система может вычислить точную pose пользователя, то есть позицию и ориентацию, на map с сантиметровой точностью.
    • После этого Mega cloud localization передает вычисленную pose на сторону приложения, где она объединяется с собственной SLAM-системой устройства для tracking.
    • В итоге сторона приложения получает pose, локализованную в реальном времени и непрерывно отслеживаемую, что позволяет виртуальному контенту отображаться в заранее закрепленных позициях физического мира и непрерывно обновляться при движении человека.
      Localize Process
Совет

Принцип реализации Mega Go on-device localization в основном совпадает с Mega cloud localization. Единственное отличие в том, что localization на стороне клиента полностью выполняется локально на устройстве и не требует network request или cloud computing.

Эффекты и ожидаемые результаты

После успешной интеграции EasyAR Mega ваше приложение может достичь следующих впечатляющих эффектов:

  • Сантиметровая точность: По сравнению с ошибками GNSS в несколько метров или даже десятки метров, Mega localization может обеспечивать точность localization на субметровом и даже сантиметровом уровне, позволяя виртуальному контенту стабильно "закрепляться" в конкретных местах реального мира.
  • Постоянное пространство: Виртуальный контент можно размещать в любом месте физического мира, и все пользователи видят согласованный контент в одной и той же позиции.
  • Реальное перекрытие: Благодаря возможностям spatial understanding Mega виртуальные объекты могут перекрываться реальными зданиями или препятствиями, что значительно усиливает погружение.
  • Работа в зонах без GNSS: В областях, где сигналы GNSS слабы или недоступны, например в помещениях, подземных парковках, городских улицах с плотной высокой застройкой или густых горных лесах, Mega все равно может предоставлять стабильные и надежные службы localization.

В видео показан типичный пример использования EasyAR Mega:

  • Высокоточная и постоянная spatial localization позволяет виртуальному контенту идеально прилегать к поверхностям зданий, показывая красивые динамические видео и тщательно разработанные большие 3D-постеры.
  • Реальное перекрытие, обеспечиваемое spatial understanding, позволяет фейерверкам в небе и цифровым эффектам естественно сочетаться с окружающей средой.
  • Благодаря передовым визуальным алгоритмам весь опыт устойчив к сложной и плотной среде с большим количеством людей и стабильно работает даже ночью.

Возможные нежелательные ситуации

  • Медленное распознавание localization

    В местах с плотным потоком людей, например на крупных мероприятиях, задержка Mega cloud localization может быть относительно большой из-за network latency, concurrent requests и других факторов. Пользователям может потребоваться некоторое время ожидания, прежде чем они увидят виртуальный контент.

    Примечание

    При использовании Mega Go on-device localization скорость localization совместно определяется пространственным диапазоном и вычислительной способностью terminal device. Последний фактор сильнее всего влияет на скорость распознавания localization, а задержка ответа может различаться на разных devices.

  • Ошибки из-за изменений среды

    Если физическая среда резко меняется, например из-за строительных ограждений или сезонных изменений растительности, точность localization может снизиться или потеряться. Mega maps необходимо регулярно обновлять, чтобы адаптироваться к изменениям среды.

  • Drifting во время длительного опыта

    Mega localization на стороне приложения объединяется с собственной SLAM-системой device для tracking и постоянно держит камеру включенной. Длительная работа может привести к снижению частоты CPU device, вызывая рывки изображения или пропуски кадров, tracking scale drifting и другие явления.

Совет

Более подробные сведения об аномалиях эффекта или сбоях см. в разделе troubleshooting:

Дополнительные рекомендации

Если при интеграции EasyAR Mega вы сталкиваетесь с service failures, scene changes, business scaling или другими вопросами, связанными с non-programming development, посетите наше руководство пользователя Mega.

В этом руководстве вы можете найти:

  • Создание сервисов: как создавать сервисы Mega и выполнять простое troubleshooting.
  • Оптимизация эффектов: как предварительно просматривать runtime effects, собирать abnormal data, выполнять cold start monitoring и т. д.
  • Постоянная эксплуатация: как справляться со scene changes, business scaling, migration/upgrade и другими потребностями persistent operations.
  • Интеграция с бизнесом: практическое использование данных, таких как navigation road networks.
  • Справочные ресурсы: руководства по использованию практичных инструментов, таких как Mega Toolbox.

Надеемся, что после этой статьи вы ясно понимаете принципы работы и эффекты EasyAR Mega. Далее можно начать подготовку вашего первого проекта Mega.

Платформенные руководства

Способ интеграции EasyAR Mega тесно связан с платформой. Разрабатывайте согласно следующим руководствам для вашей целевой платформы:

Важно

Mega Go временно поддерживает разработку только через платформу Unity.