Conceptos y flujo de trabajo de MegaTracker
En este documento se presentan los conceptos básicos de MegaTracker y la relación entre MegaTracker, el sistema AR nativo de WeChat VisionKit y el framework de renderizado xr-frame.
Antes de empezar
Conozca lo siguiente en Introducción a Mega:
- Los principios básicos de localización y seguimiento de Mega.
- Qué es un Mega Block.
- El resultado esperado después de integrar Mega.
Qué es un Plane AR Tracker
El Plane AR Tracker de xr-frame es, en esencia, una envoltura de la capacidad de plano 6DoF de VisionKit.
Después de habilitar isARCamera en el componente de cámara de xr-frame, la transformación 3D de la cámara se sincroniza con el sistema AR (VisionKit) en cada frame.
xr-frame proporciona capacidades de renderizado 3D, mientras que VisionKit proporciona capacidades de motion tracking en el sistema de coordenadas del espacio real.
El Plane AR Tracker no puede usarse junto con otros trackers AR.
Qué es MegaTracker
MegaTracker es el componente de algoritmo central que conecta el sistema AR de WeChat (VisionKit) con el servicio de computación espacial Mega. Proporciona localización en la nube.
Entrada: la pose de cámara en el sistema de coordenadas de VisionKit calculada por VisionKit en cada frame (es decir, datos 6DoF), así como la imagen de cámara del frame usado para la localización Mega.
Salida: la pose de cámara bajo el Mega Block actualmente localizado y seguido.
Cómo funciona MegaTracker en xr-frame
flowchart BT
subgraph Using xr-frame Only
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Using Mega Plugin
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- En el flujo de datos nativo proporcionado por WeChat, el componente de cámara de xr-frame se actualiza en cada frame directamente a partir del resultado del Plane AR Tracker.
- En el flujo de datos proporcionado por el mini program Mega, la pose de cámara en el sistema de coordenadas de VisionKit (es decir, datos 6DoF) y los datos de imagen del frame de localización se introducen en MegaTracker. Después de la localización en la nube y el cálculo local, se genera la pose de cámara bajo el Mega Block actualmente localizado y seguido, y finalmente se actualiza el LocalTransform de la cámara bajo el nodo Mega Block en la escena xr-frame. En este momento, MegaTracker toma el control de la cámara, y xr-frame ya no actualiza la cámara según el tracker AR.
MegaTracker depende profundamente de los datos de movimiento 6DoF proporcionados por el plane tracker. Por lo tanto, MegaTracker no puede intervenir antes de que el plane tracker complete la inicialización y establezca un estado de seguimiento estable. Además, la estabilidad del seguimiento AR está limitada por las características del entorno. En escenarios extremos, como áreas grandes sin textura (por ejemplo, paredes blancas) u oclusión prolongada de la cámara, si el seguimiento de plano subyacente de WeChat deriva o se pierde, MegaTracker también entrará en estado de fallo al perder una fuente de entrada fiable.