Conceitos e fluxo de trabalho do MegaTracker
Este documento introduz os conceitos básicos do MegaTracker e a relação entre o MegaTracker, o sistema AR nativo do WeChat VisionKit e o framework de renderização xr-frame.
Antes de começar
Através da Introdução ao Mega, compreenda:
- Os princípios básicos de posicionamento e rastreamento do Mega.
- O que é um Mega Block.
- Os resultados esperados após a integração do Mega.
O que é o rastreador ar plano
O rastreador AR plano do xr-frame é essencialmente um encapsulamento da capacidade 6DoF-plano do VisionKit.
Após ativar isARCamera no componente de câmera do xr-frame, a transformação tridimensional da câmera é sincronizada a cada quadro com o sistema AR (VisionKit).
O xr-frame fornece capacidade de renderização 3D, enquanto o VisionKit fornece capacidade de rastreamento de movimento no sistema de coordenadas do espaço real.
O rastreador AR plano não pode ser usado com outros rastreadores AR.
O que é o MegaTracker
O MegaTracker é o componente algorítmico central que conecta o sistema AR do WeChat (VisionKit) ao serviço de computação espacial Mega, fornecendo funcionalidade de posicionamento em nuvem.
Entrada: A pose da câmera no sistema de coordenadas do VisionKit (dados 6DoF) calculada pelo VisionKit a cada quadro e a imagem da câmera no momento do quadro de posicionamento Mega.
Saída: A pose da câmera no Mega Block atualmente localizado e rastreado.
Como o MegaTracker funciona no xr-frame
flowchart BT
subgraph Using xr-frame Only
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Using Mega Plugin
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- No fluxo de dados nativo do WeChat, o componente de câmera do xr-frame é atualizado diretamente a cada quadro pelo resultado do rastreador AR plano.
- No fluxo de dados fornecido pelo Mini Program Mega, a pose da câmera no sistema de coordenadas do VisionKit (dados 6DoF) e os dados de imagem do quadro de localização são inseridos no MegaTracker. Após o posicionamento em nuvem e computação local, ele produz a pose da câmera no Mega Block atualmente localizado e rastreado, atualizando finalmente o LocalTransform da câmera no cenário do xr-frame sob o nó Mega Block. Neste momento, o MegaTracker assume o controle da câmera, e o xr-frame não atualiza mais a câmera com base no rastreador AR.
A operação do MegaTracker depende profundamente dos dados de movimento 6DoF fornecidos pelo rastreador plano. Portanto, antes que o rastreador plano complete a inicialização e estabeleça um estado de rastreamento estável, o MegaTracker não pode intervir. Além disso, a estabilidade do rastreamento AR é limitada pelas características ambientais; em cenários extremos como áreas grandes sem textura (ex: parede branca) ou oclusão prolongada da câmera, se o rastreamento plano subjacente do WeChat sofrer deriva ou perda, o MegaTracker perderá a fonte de entrada confiável e entrará simultaneamente em estado de falha.