Konsep dan Alur Kerja MegaTracker
Dokumen ini memperkenalkan konsep dasar MegaTracker serta hubungan antara MegaTracker, sistem AR native WeChat VisionKit, dan framework rendering xr-frame.
Sebelum Memulai
Pelajari hal berikut melalui Ikhtisar Mega:
- Prinsip dasar lokalisasi dan tracking Mega.
- Apa itu Mega Block.
- Hasil yang diharapkan setelah mengintegrasikan Mega.
Apa itu Plane AR Tracker
Plane AR Tracker di xr-frame pada dasarnya adalah pembungkus untuk kemampuan plane 6DoF VisionKit.
Setelah isARCamera diaktifkan pada komponen kamera xr-frame, transformasi 3D kamera akan disinkronkan dengan sistem AR (VisionKit) setiap frame.
xr-frame menyediakan kemampuan rendering 3D, sementara VisionKit menyediakan kemampuan motion tracking dalam sistem koordinat ruang nyata.
Plane AR Tracker tidak dapat digunakan bersama tracker AR lainnya.
Apa itu MegaTracker
MegaTracker adalah komponen algoritma inti yang menghubungkan sistem AR WeChat (VisionKit) dengan layanan komputasi spasial Mega. Komponen ini menyediakan lokalisasi cloud.
Input: pose kamera dalam sistem koordinat VisionKit yang dihitung VisionKit pada setiap frame (yaitu data 6DoF), serta gambar kamera pada frame yang digunakan untuk lokalisasi Mega.
Output: pose kamera di bawah Mega Block yang saat ini dilokalisasi dan dilacak.
Cara MegaTracker Bekerja di xr-frame
flowchart BT
subgraph Using xr-frame Only
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Using Mega Plugin
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- Dalam aliran data native yang disediakan WeChat, komponen kamera xr-frame diperbarui setiap frame langsung dari hasil Plane AR Tracker.
- Dalam aliran data yang disediakan mini program Mega, pose kamera dalam sistem koordinat VisionKit (yaitu data 6DoF) dan data gambar frame lokalisasi dimasukkan ke MegaTracker. Setelah lokalisasi cloud dan komputasi lokal, MegaTracker menghasilkan pose kamera di bawah Mega Block yang saat ini dilokalisasi dan dilacak, lalu akhirnya memperbarui LocalTransform kamera di bawah node Mega Block dalam scene xr-frame. Pada titik ini, MegaTracker mengambil alih kendali kamera, dan xr-frame tidak lagi memperbarui kamera berdasarkan tracker AR.
MegaTracker sangat bergantung pada data gerak 6DoF yang disediakan oleh plane tracker. Karena itu, MegaTracker tidak dapat mulai bekerja sebelum plane tracker selesai diinisialisasi dan membangun status tracking yang stabil. Selain itu, stabilitas tracking AR dibatasi oleh fitur lingkungan. Dalam skenario ekstrem seperti area luas tanpa tekstur (misalnya dinding putih) atau kamera tertutup dalam waktu lama, jika tracking plane dasar WeChat mengalami drift atau hilang, MegaTracker juga akan masuk ke status gagal karena kehilangan sumber input yang andal.