Konzepte und Arbeitsablauf von MegaTracker
Dieses Dokument führt die grundlegenden Konzepte von MegaTracker ein und erläutert die Beziehung zwischen MegaTracker und dem nativen AR-System VisionKit von WeChat sowie dem Rendering-Framework xr-frame.
Bevor Sie beginnen
Erfahren Sie in der Einführung in Mega über:
- Die grundlegenden Prinzipien der Mega-Positionierung und -Verfolgung.
- Was ein Mega Block ist.
- Die erwarteten Ergebnisse nach der Integration von Mega.
Was ist ein planarer AR-Tracker
Der planare AR-Tracker von xr-frame ist im Wesentlichen eine Kapselung der 6DoF-Ebene-Fähigkeit von VisionKit.
Nachdem die Kamera-Komponente in xr-frame isARCamera aktiviert hat, wird die 3D-Transformation der Kamera jeden Frame mit dem AR-System (VisionKit) synchronisiert.
xr-frame bietet die 3D-Rendering-Fähigkeit, während VisionKit die Bewegungsverfolgungsfähigkeit im Koordinatensystem des realen Raums bereitstellt.
Der planare AR-Tracker kann nicht mit anderen AR-Trackern verwendet werden.
Was ist MegaTracker
MegaTracker ist die Kernalgorithmus-Komponente, die das AR-System von WeChat (VisionKit) mit dem Mega-Raumberechnungsservice verbindet und die Cloud-Positionierungsfunktionalität bereitstellt.
- Eingabe: Die Kamerapose im VisionKit-Koordinatensystem (d.h. 6DoF-Daten), die von VisionKit für jeden Frame berechnet wird, und das Kamerabild des Frames, in dem die Mega-Positionierung durchgeführt wird.
- Ausgabe: Die Kamerapose im aktuell positionierten und verfolgten Mega Block.
Wie funktioniert MegaTracker mit xr-frame
flowchart BT
subgraph Using xr-frame Only
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Using Mega Plugin
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- Im nativen Datenstrom von WeChat wird die Kamera-Komponente von xr-frame jeden Frame direkt durch das Ergebnis des planaren AR-Trackers aktualisiert.
- Im Datenstrom der Mega-Mini-Programme werden die Kamerapose im VisionKit-Koordinatensystem (d.h. 6DoF-Daten) und die Bilddaten des Positionierungs-Frames an MegaTracker übergeben. Nach der Cloud-Positionierung und lokalen Berechnungen gibt er die Kamerapose im aktuell positionierten und verfolgten Mega Block aus, die schließlich die LocalTransform der Kamera im Mega Block-Knoten in der xr-frame-Szene aktualisiert. Zu diesem Zeitpunkt übernimmt MegaTracker die Kontrolle über die Kamera, und xr-frame aktualisiert die Kamera nicht mehr basierend auf dem AR-Tracker.
Der Betrieb von MegaTracker hängt stark von den 6DoF-Bewegungsdaten ab, die der planare Tracker bereitstellt. Daher kann MegaTracker erst arbeiten, nachdem der planare Tracker initialisiert wurde und einen stabilen Tracking-Zustand erreicht hat. Darüber hinaus ist die Stabilität des AR-Trackings durch Umgebungsmerkmale begrenzt; in extremen Szenarien wie großen texturlosen Bereichen (z.B. weiße Wände) oder längerer Kamerablockade, wenn das zugrundeliegende planare Tracking von WeChat driftet oder verloren geht, wird MegaTracker aufgrund des Verlusts einer zuverlässigen Eingabequelle gleichzeitig in einen fehlerhaften Zustand wechseln.