Ar driven 3d rendering
Pengembangan aplikasi AR memerlukan penyelesaian satu masalah dasar, yaitu rendering konten AR. Artikel ini akan mengambil pelacakan gambar planar sebagai contoh untuk menggambarkan modul dasar, alur kerja, dan implementasi rendering aplikasi AR.
Alur aplikasi ar yang tipikal
Sebuah aplikasi AR yang tipikal biasanya merupakan proses mengenali gambar, objek, atau skenario tertentu dari gambar kamera, melacak posisi dan orientasinya, serta merender dan menampilkan konten virtual (model 3D) sesuai dengan posisi dan orientasi tersebut.
Misalnya gambar di atas adalah aplikasi AR pelacakan gambar planar
Berikut adalah diagram skematik alur aplikasi.
flowchart TD
CameraDevice[Camera Device]
Tracker[Tracker]
Renderer[Renderer]
CameraDevice -->|Image Frame| Tracker
Tracker -->|Image Frame + Tracked Pose| Renderer
Alur tersebut melibatkan beberapa modul berikut.
| Modul | Fungsi |
|---|---|
| Kamera fisik | Menyediakan urutan bingkai gambar input. Bingkai gambar mencakup gambar, stempel waktu pembuatan gambar, dan terkadang juga dapat mencakup posisi dan orientasi kamera di ruang |
| Pelacak | Menghitung posisi dan orientasi target pelacakan dari bingkai gambar. Bergantung pada target pelacakan, terdapat berbagai jenis pelacak, seperti pelacak gambar planar dan pelacak objek 3D |
| Perender | Digunakan untuk merender gambar kamera dan model 3D yang sesuai dengan objek pelacakan ke layar. Pada beberapa kacamata AR, gambar kamera mungkin tidak dirender, hanya model 3D yang dirender |
Rendering di ponsel
Rendering di ponsel dibagi menjadi dua bagian: rendering gambar kamera dan rendering objek virtual.
Rendering gambar kamera
Terdapat beberapa parameter yang perlu diperhatikan saat merender gambar kamera.
Mode penskalaan
Biasanya perlu mengisi seluruh layar dengan gambar kamera, atau mengisi jendela tertentu. Saat itu, kita akan menghadapi masalah ketidaksesuaian rasio aspek antara gambar kamera dan layar/jendela.
Asumsikan kita mengharuskan pusat gambar kamera sejajar dengan pusat layar/jendela, dengan rasio aspek tetap. Maka terdapat dua mode penskalaan umum: penskalaan proporsional dan pengisian proporsional.
Mode penskalaan Efek Penskalaan proporsional Menampilkan semua konten di layar, tetapi akan meninggalkan bilah hitam di kiri-kanan atau atas-bawah Pengisian proporsional Tidak ada bilah hitam, tetapi akan memotong sebagian gambar di kiri-kanan atau atas-bawah Rotasi gambar kamera
Di ponsel, gambar yang direkam oleh kamera fisik biasanya tetap relatif terhadap bodi perangkat, tidak berubah dengan orientasi tampilan layar. Namun, perubahan orientasi bodi ponsel akan memengaruhi definisi arah atas-bawah-kiri-kanan gambar kita. Saat merender, orientasi tampilan layar saat ini juga akan memengaruhi arah gambar yang ditampilkan.
Biasanya saat merender, perlu ditentukan sudut rotasi gambar kamera relatif terhadap orientasi tampilan layar.
Pembalikan gambar kamera
Dalam beberapa kasus, kamera depan digunakan, dan saat itu gambar biasanya perlu dibalik kiri-kanan agar tampilan terlihat seperti cermin.
Rendering objek virtual
Untuk merender objek virtual di ponsel, objek virtual perlu disejajarkan dengan gambar kamera. Ini mengharuskan kita menempatkan kamera rendering dan objek di ruang virtual yang sepenuhnya sesuai dengan ruang nyata, dan menggunakan sudut pandang (fov) serta rasio aspek yang sama dengan kamera fisik untuk melakukan rendering. Transformasi proyeksi perspektif yang dialami gambar kamera dan objek virtual persis sama, kecuali bahwa sebagian besar transformasi proyeksi perspektif gambar kamera terjadi di kamera fisik, sedangkan transformasi proyeksi perspektif objek virtual sepenuhnya merupakan proses komputasi.
Rendering di headset
Rendering di headset memiliki beberapa perbedaan dengan ponsel, dan perlu dibagi menjadi dua situasi.
VST
Video See-Through merujuk pada teknologi AR di mana headset menangkap gambar melalui kamera fisik, kemudian menampilkan gambar kamera dan konten virtual di layar headset. Perwakilan tipikal adalah Vision Pro. Biasanya matriks proyeksi perspektif gambar kamera dan konten virtual diatur oleh SDK yang disediakan headset, dan pihak eksternal hanya perlu mengatur posisi dan orientasi konten virtual. Kamera fisik yang digunakan untuk pelacakan dan kamera gambar yang dirender di layar mungkin berada di posisi yang berbeda, transformasi koordinat dilakukan saat rendering.
OST
Optical See-Through merujuk pada teknologi AR di mana layar headset transparan, dan headset hanya menampilkan konten virtual di layar. Perwakilan tipikal adalah HoloLens. Biasanya matriks proyeksi perspektif konten virtual diatur oleh SDK yang disediakan headset, dan pihak eksternal hanya perlu mengatur posisi dan orientasi konten virtual. Kamera fisik yang digunakan untuk pelacakan dan kamera gambar yang dirender di layar mungkin berada di posisi yang berbeda, transformasi koordinat dilakukan saat rendering.
Panduan khusus platform
Rendering 3D yang digerakkan AR sangat terkait dengan platform. Silakan merujuk pada panduan berikut untuk pengembangan sesuai dengan platform target Anda: