Deteksi bidang EasyAR
Deteksi bidang EasyAR adalah kemampuan untuk secara otomatis mendeteksi bidang horizontal atau vertikal di lingkungan saat menjalankan pelacakan gerak EasyAR, menyediakan fungsi seperti penempatan objek virtual.
Prinsip deteksi bidang EasyAR
Deteksi bidang EasyAR (Plane Detection) adalah kemampuan pemahaman lingkungan sederhana yang diselesaikan secara sinkron selama proses pelacakan gerak (Motion Tracker) EasyAR berjalan. Sistem ini memodelkan lingkungan nyata secara berkelanjutan berdasarkan informasi spatio-temporal yang diperoleh dari kamera perangkat dan sensor inersia, sehingga mengidentifikasi dan melacak bidang horizontal dan vertikal di lingkungan, memberikan dukungan dasar untuk penempatan objek virtual, penyelarasan interaktif, dan pemahaman spasial.
Alur spesifiknya adalah:
Pelacakan gerak Selama pelacakan gerak berjalan, EasyAR terus mendapatkan dua jenis data inti berikut: frame gambar berkelanjutan dari kamera RGB, serta data akselerometer dan giroskop. Sistem memperkirakan posisi dan orientasi enam derajat kebebasan perangkat yang berkelanjutan dalam sistem koordinat dunia melalui algoritma fusi visio-inersia, menyediakan lintasan kamera yang stabil dan rendah drift untuk pemodelan spasial dan analisis bidang selanjutnya.
Deteksi titik fitur dan triangulasi Berdasarkan estimasi pose, EasyAR mengekstrak dan melacak titik fitur visual yang stabil (seperti titik sudut atau area tekstur yang signifikan) dari urutan gambar, dan melakukan triangulasi pada titik-titik fitur ini melalui metode geometri multi-pandangan, memulihkan posisinya dalam ruang tiga dimensi, membentuk representasi point cloud 3D lokal.
Pembuatan kandidat area bidang Setelah mendapatkan point cloud 3D, sistem menganalisis geometri point cloud untuk menemukan kumpulan titik yang mungkin termasuk dalam bidang yang sama. Dengan hubungan terhadap arah gravitasi, sistem dapat membedakan jenis kandidat bidang yang berbeda:
- Bidang horizontal: vektor normal kira-kira sejajar dengan arah gravitasi (misalnya lantai, meja);
- Bidang vertikal: vektor normal kira-kira tegak lurus terhadap arah gravitasi (misalnya dinding, pilar).
Pelacakan dan deteksi bidang EasyAR akan memvalidasi dan memperbarui bidang yang terdeteksi dalam frame berkelanjutan:
- Menilai apakah titik 3D yang baru diamati mendukung model bidang yang ada;
- Secara dinamis menyesuaikan cakupan bidang, batas, dan kepercayaan berdasarkan konsistensi pengamatan;
- Menghilangkan kandidat bidang yang muncul sementara atau tidak stabil. Hanya ketika konsistensi geometri dan stabilitas waktu keduanya terpenuhi, hasilnya akan dianggap sebagai "bidang yang dapat digunakan".
Penyelerasan sistem koordinat bidang dengan konten virtual Setelah bidang dikonfirmasi, Anda dapat mencapai efek AR yang lebih realistis berdasarkan hasil deteksi bidang:
- Menempatkan objek virtual pada bidang, mencapai penyelarasan skala dan orientasi yang nyata;
- Melakukan ray cast (Hit Test), memetakan ketukan layar ke posisi bidang nyata;
- Menerapkan logika interaksi berbasis bidang, seperti penempelan objek, pergerakan, dan penilaian oklusi.
Karena bidang berbagi sistem koordinat dunia yang sama dengan sistem pelacakan gerak, objek virtual dapat mempertahankan konsistensi spasial yang stabil dan berkelanjutan saat pengguna menggerakkan perangkat.
Deteksi bidang bergantung pada pose stabil dan struktur spasial yang disediakan oleh pelacakan gerak, sementara hasil deteksi bidang juga dapat digunakan untuk meningkatkan kemampuan pemahaman lingkungan, seperti membantu penempatan konten dan desain interaksi. Keduanya bersama-sama membentuk dasar inti dari kemampuan persepsi spasial EasyAR, tetapi dalam arsitektur sistem keduanya terpisah, deteksi bidang tidak akan mengubah hasil estimasi pose pelacakan gerak itu sendiri.
Praktik terbaik
Untuk memastikan pengguna mendapatkan efek terbaik dari deteksi bidang, mengikuti praktik berikut dapat meningkatkan pengalaman pengguna.
- Pandu pengguna untuk bergerak perlahan, hindari diam, gerakan cepat, atau berputar di tempat.
- Hindari bidang yang sulit dikenali secara visual seperti tanpa tekstur, warna polos, atau permukaan cermin.
Catatan
Deteksi bidang adalah fungsi EasyAR untuk mengenali bidang horizontal atau vertikal di lingkungan. Pelacakan permukaan tidak mendeteksi atau mengenali struktur bidang dalam adegan, perlu dibedakan.