Merekam file EIF dan menggunakannya untuk simulasi runtime
File EIF (EasyAR Input Frame file) adalah format file yang digunakan EasyAR Sense untuk menyimpan rangkaian data frame input. Artikel ini terutama menjelaskan cara merekam file EIF dan menggunakannya untuk simulasi runtime.
File dan konten EIF
File EIF memiliki dua implementasi berdasarkan cara perekamannya:
Format EIF asli (biasanya berekstensi .eif)
File EIF asli menyimpan data frame input frame demi frame menggunakan struktur data yang didefinisikan secara internal oleh EasyAR, termasuk gambar dan informasi tambahan seperti parameter camera dan status pelacakan. Format ini tidak menggunakan kompresi video, tetapi mengodekan data frame demi frame, misalnya data gambar JPEG, sehingga cocok untuk playback yang akurat.
Format EIF MKV (biasanya berekstensi .mkveif)
Ini adalah format video berbasis kontainer MKV. Informasi frame input dikodekan ke dalam kontainer MKV. Encoding video menggunakan H.264 untuk mengompresi data gambar, sambil mempertahankan metadata frame input lainnya, seperti data sensor IMU dan data localization, sebagai stream atau track tambahan. Cara ini dapat mengurangi ukuran file secara signifikan dan memudahkan pemrosesan stream video standar.
Catatan
Format EIF MKV saat ini hanya mendukung perekaman di Android/iOS/macOS/visionOS dan playback di Windows/macOS. Format EIF tradisional tidak memiliki batasan ini.
Perekaman dan playback EIF
EasyAR menyediakan mekanisme lengkap untuk perekaman dan playback, yang terutama dikontrol melalui komponen berikut:
InputFrameRecorder / InputFramePlayer
Tujuan
Komponen perekaman dan playback untuk format EIF asli.
Fitur
Selama perekaman, semua frame input yang masuk akan diserialisasi dan disimpan, termasuk gambar, parameter, status pelacakan, dan data lainnya.
VideoInputFrameRecorder / VideoInputFramePlayer
Tujuan
Komponen perekaman dan playback untuk format EIF MKV.
Fitur
Perekaman mendukung lebih banyak stream data sensor, seperti gyroscope, accelerometer, dan data localization, lalu mengemasnya bersama ke dalam file EIF MKV. Sisi playback dapat memilih untuk mengeluarkan data ini, sehingga berbagai input saat perekaman dapat disimulasikan secara lengkap di PC.
Prinsip dan hasil yang dapat dicapai saat menggunakan EIF untuk simulasi runtime
Menggunakan file EIF yang telah direkam sebagai sumber data input setara dengan "memutar ulang" aliran data lengkap dari kamera fisik dan sensor terkaitnya ke AR engine pada runtime. Dengan menyimulasikan rangkaian frame input:
AR engine menganggap bahwa ia masih memperoleh data dari kamera fisik
Setiap frame yang dikeluarkan saat playback memiliki timestamp asli, parameter camera, dan status pelacakan, sehingga algoritma memproses frame tersebut seperti saat berjalan dengan data real-time.
Perilaku runtime nyata dapat direproduksi di lingkungan non-perangkat, seperti PC atau Unity Editor
Dengan demikian, Anda dapat men-debug visual tracking, spatial map, dan fitur lainnya tanpa perangkat fisik, serta menjalankan simulasi Mega dan fitur lain di Windows/Mac.
Menggunakan EIF untuk simulasi runtime dapat mencapai hasil berikut:
Mereproduksi alur data nyata Bahkan tanpa kamera, fitur AR dapat digerakkan seperti berjalan nyata, misalnya planar image tracking, spatial localization, dan dense map generation.
Memudahkan pengembangan, debugging, dan diagnostik File EIF yang direkam dapat digunakan untuk menganalisis penyebab kegagalan pelacakan, memverifikasi perilaku algoritma AR pada input tertentu, atau memeriksa fluktuasi performa.
Playback lintas platform File EIF dapat ditransfer antarplatform untuk mereproduksi perilaku AR Session yang direkam di ponsel pada PC, sehingga debugging dapat dilakukan tanpa perangkat.
Langkah berikutnya
Panduan khusus platform
Merekam file EIF dan menggunakannya untuk simulasi runtime sangat terkait dengan platform. Lihat panduan berikut untuk pengembangan sesuai platform target Anda: