Conceptos y flujo de trabajo de MegaTracker
Este documento presenta los conceptos básicos de MegaTracker y su relación con el sistema AR nativo de WeChat, VisionKit, y el marco de renderizado xr-frame.
Antes de comenzar
A través de la introducción a Mega, comprende:
- Los principios básicos de posicionamiento y seguimiento de Mega.
- Qué es un Mega Block.
- Los resultados esperados tras integrar Mega.
Qué es el rastreador AR de planos
El rastreador AR de planos de xr-frame es esencialmente un envoltorio de la capacidad 6DoF-planos de VisionKit.
Cuando el componente de cámara de xr-frame activa isARCamera, la transformación tridimensional de la cámara se sincroniza cada fotograma con el sistema AR (VisionKit).
xr-frame proporciona capacidades de renderizado 3D, mientras que VisionKit ofrece capacidades de seguimiento de movimiento en el sistema de coordenadas del espacio real.
El rastreador AR de planos no puede usarse junto con otros rastreadores AR.
Qué es MegaTracker
MegaTracker es el componente algorítmico central que conecta el sistema AR de WeChat (VisionKit) con el servicio de computación espacial Mega, proporcionando funcionalidad de posicionamiento en la nube.
Entrada: la pose de la cámara en el sistema de coordenadas de VisionKit calculada por VisionKit en cada fotograma (es decir, datos 6DoF) y la imagen de la cámara en el fotograma donde se realiza el posicionamiento Mega.
Salida: la pose de la cámara en el Mega Block actualmente localizado y rastreado.
Cómo funciona MegaTracker en xr-frame
flowchart BT
subgraph Using xr-frame Only
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Using Mega Plugin
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- En el flujo de datos nativo de WeChat, el componente de cámara de xr-frame se actualiza cada fotograma directamente con los resultados del rastreador AR de planos.
- En el flujo de datos proporcionado por el mini-programa Mega, la pose de la cámara en el sistema de coordenadas de VisionKit (datos 6DoF) y las imágenes de los fotogramas de posicionamiento se alimentan a MegaTracker. Tras el posicionamiento en la nube y el cálculo local, se genera la pose de la cámara en el Mega Block actualmente rastreado, actualizando finalmente el LocalTransform de la cámara en el nodo Mega Block de la escena de xr-frame. En este punto, MegaTracker toma el control de la cámara y xr-frame deja de actualizar la cámara según el rastreador AR.
El funcionamiento de MegaTracker depende profundamente de los datos de movimiento 6DoF proporcionados por el rastreador de planos. Por lo tanto, MegaTracker no puede intervenir hasta que el rastreador de planos complete su inicialización y establezca un estado de seguimiento estable. Además, la estabilidad del seguimiento AR está limitada por las características del entorno; en escenarios extremos como áreas sin textura (por ejemplo, paredes blancas) u oclusiones prolongadas de la cámara, si el seguimiento de planos subyacente en WeChat sufre deriva o pérdida, MegaTracker perderá su fuente de entrada confiable y entrará en estado de fallo.