Concetti e flusso di lavoro di megatracker
Questo documento introduce i concetti fondamentali di MegaTracker e la relazione tra MegaTracker, il sistema AR nativo di WeChat VisionKit e il framework di rendering xr-frame.
Prima di iniziare
Attraverso introduzione a mega comprendere:
- I principi fondamentali del posizionamento e tracking di Mega.
- Cos'è un Mega Block.
- I risultati attesi dopo l'integrazione di Mega.
Cos'è il tracker ar piano
Il tracker AR piano di xr-frame è essenzialmente un wrapper per le capacità 6DoF-piano di VisionKit.
Quando il componente camera di xr-frame attiva isARCamera, la trasformazione 3D della camera viene sincronizzata ogni frame con il sistema AR (VisionKit).
xr-frame fornisce le capacità di rendering 3D, mentre VisionKit fornisce le capacità di motion tracking nel sistema di coordinate dello spazio reale.
Il tracker AR piano non può essere utilizzato insieme ad altri tracker AR.
Cos'è megatracker
MegaTracker è il componente algoritmico centrale che collega il sistema AR di WeChat (VisionKit) con il servizio di calcolo spaziale Mega, fornendo funzionalità di cloud localization.
Input: la posa della camera nel sistema di coordinate di VisionKit (dati 6DoF) calcolata da VisionKit per ogni frame e l'immagine della camera al momento del frame di localizzazione Mega.
Output: la posa della camera nel Mega Block attualmente localizzato e tracciato.
Come funziona megatracker su xr-frame
flowchart BT
subgraph Using xr-frame Only
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Using Mega Plugin
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- Nel flusso di dati nativo di WeChat, il componente camera di xr-frame viene aggiornato ogni frame direttamente dal risultato del tracker AR piano.
- Nel flusso di dati fornito da Mega, i dati di posa della camera nel sistema di coordinate di VisionKit (dati 6DoF) e l'immagine del frame di localizzazione vengono inviati a MegaTracker. Dopo la cloud localization e il calcolo locale, viene emessa la posa della camera nel Mega Block attualmente localizzato e tracciato, aggiornando infine la LocalTransform della camera nella scena xr-frame sotto il nodo Mega Block. A questo punto, MegaTracker assume il controllo della camera e xr-frame non aggiorna più la camera in base al tracker AR.
Il funzionamento di MegaTracker dipende profondamente dai dati di motion 6DoF forniti dal tracker piano. Pertanto, MegaTracker non può iniziare a lavorare finché il tracker piano non completa l'inizializzazione e stabilisce uno stato di tracking stabile. Inoltre, la stabilità del tracking AR è limitata dalle caratteristiche ambientali; in scenari estremi come grandi aree senza texture (es. pareti bianche) o occlusione prolungata della camera, se il tracking piano sottostante di WeChat subisce drift o perdita, MegaTracker perderà la fonte di input affidabile e entrerà contemporaneamente in stato di fallimento.