Table of Contents

Rekaman layar headset: merekam pengalaman AR/MR imersif

Dalam pengembangan, pengujian, atau dukungan pengguna menggunakan headset augmented reality (AR) atau mixed reality (MR), merekam layar adalah cara penting untuk mereproduksi dan menganalisis masalah. Namun, berbeda dengan perangkat seluler, merekam layar headset melibatkan teknologi khusus seperti pandangan tembus (Passthrough), rendering fokus (Foveated Rendering), dan lainnya. Rekaman layar biasanya tidak sepenuhnya setara dengan tampilan stereoskopik penuh yang dilihat langsung oleh mata pengguna. Oleh karena itu, saat menafsirkan konten rekaman layar, perhatian khusus harus diberikan pada perbedaan antara rekaman tersebut dan pengalaman visual mata manusia yang sebenarnya.

Mengapa rekaman layar headset memiliki perbedaan visual?

Pengguna harus sangat berhati-hati: Rekaman layar headset tidak sepenuhnya sama dengan tampilan aktual yang Anda lihat di balik lensa. Jika Anda menemukan anomali dalam rekaman, pastikan untuk menggambarkannya berdasarkan sensasi aktual Anda untuk menghindari kesalahpahaman oleh pengembang.

Berikut adalah poin perbedaan utama:

  1. Perbedaan resolusi dan kejernihan
  • Rekaman layar: Biasanya merupakan aliran video resolusi 1080p atau lebih rendah dari satu mata (misalnya mata kiri).
  • Mata manusia: Bergantung pada aplikasinya, headset modern dapat memiliki resolusi per mata hingga 2K atau lebih tinggi.
  • Dampak: Teks atau gambar buram yang Anda lihat dalam rekaman, mungkin tidak ada di dalam headset; sebaliknya, tepi bergerigi kecil yang Anda lihat di dalam headset mungkin tidak terlihat sama sekali dalam rekaman.
  1. Perbedaan sudut pandang (FOV)
  • Rekaman layar: Gambar yang direkam biasanya berbentuk persegi. Terutama pada perangkat dengan FOV lebar, konten di tepi sering kali terpangkas.
  • Mata manusia: Mata manusia melihat gambar yang ditampilkan oleh kedua mata, dengan bidang pandang yang lebih luas.
  • Dampak: Jika masalah Anda terjadi di tepi bidang pandang, rekaman mungkin tidak dapat mencerminkannya secara akurat.
  1. Pengaruh rendering fokus (Foveated Rendering)
  • Rekaman layar: Semua konten dalam bidang pandang layar penuh akan disertakan, termasuk area tepi beresolusi rendah.
  • Mata manusia: Pusat fokus mata manusia memiliki resolusi tinggi, sedangkan area tepi di luar fokus memiliki resolusi rendah.
  • Dampak: Anda mungkin merasakan gambar sangat jernih, tetapi saat meninjau rekaman, Anda menemukan beberapa area yang buram. Ini biasanya normal dan bukan bug. Oleh karena itu, saat merekam, pastikan untuk fokus pada bagian yang ingin ditampilkan, karena ini akan memastikan area tersebut jernih.
  1. Pengaruh frame rate dan refresh rate
  • Rekaman layar: Video rekaman biasanya direkam pada frame rate 30FPS atau 60FPS.
  • Mata manusia: Refresh rate layar yang dialami sebenarnya bisa mencapai 90Hz atau 120Hz.
  • Dampak: Penurunan frame rate yang sangat ringan mungkin tidak terdeteksi dalam rekaman, tetapi mata manusia akan merasakan "lag" atau "pusing" yang jelas. Jika rekaman terlihat lancar tetapi pengalaman aktual tidak, ini biasanya adalah masalah kinerja, pastikan untuk menjelaskannya setelah merekam.

Catatan khusus untuk headset OST

Perhatian khusus: Jika Anda menggunakan headset OST (Optical See-Through), seperti kacamata AR Rokid, Xreal, dll., menggunakan fitur rekaman layar tidak akan merekam konten pemandangan dunia nyata yang dilihat oleh mata manusia.

Apa itu perangkat OST?

Perangkat OST memproyeksikan cahaya langsung ke mata Anda melalui lensa optik semi-transparan, sementara konten virtual ditumpangkan di bidang pandang melalui proyeksi mikro atau pandu gelombang (waveguide), memungkinkan Anda melihat dunia nyata dan gambar virtual secara bersamaan. Kamera yang mengambil gambar dunia luar hanya digunakan untuk pelacakan spasial, bukan untuk tampilan. Karena mekanisme ini, perangkat itu sendiri tidak dapat "merekam" pemandangan dunia nyata seperti yang dilihat oleh mata manusia.

Keterbatasan rekaman layar perangkat OST

  • Tidak dapat merekam pemandangan dunia nyata: Fitur rekaman layar perangkat OST hanya merekam lapisan konten virtual (GUI, model 3D, pointer UI, dll.).
  • Latar belakang hitam: Saat Anda memutar ulang video ini di komputer atau ponsel, Anda akan melihat objek virtual di atas latar belakang hitam polos, sepenuhnya kehilangan konteks lingkungan nyata.
  • Hubungan tumpang-tindih (oklusi) hilang: Jika objek virtual seharusnya tertutup oleh objek nyata (seperti tangan Anda, meja), dalam rekaman mereka akan melayang di atas layar hitam, terlihat seperti hubungan lapisan yang salah.

Masalah kesalahan visual penumpukan konten virtual

Bahkan dalam kondisi ideal, keselarasan antara konten virtual yang ditampilkan oleh headset OST dan dunia nyata tidak dapat dihindari memiliki tingkat kesalahan visual tertentu. Jenis kesalahan ini tidak selalu disebabkan oleh bug perangkat lunak atau kegagalan pelacakan, tetapi sering kali berasal dari perbedaan mendasar antara karakteristik fisik perangkat dan sistem visual manusia. Beberapa kesalahan tidak dapat sepenuhnya dihilangkan dengan teknologi saat ini.

Saat memberikan umpan balik, perhatikan untuk membedakan situasi berikut:

  • Kesalahan keselarasan optik:
    • Fenomena: Saat Anda menggerakkan kepala, objek virtual tampak "mengambang" atau memiliki sedikit pergeseran posisi relatif terhadap objek nyata.
    • Penyebab: Pengguna melihat dunia nyata secara langsung melalui lensa optik, sedangkan sistem koordinat untuk merender konten virtual biasanya dibangun berdasarkan pelacakan kepala dan sistem pemahaman lingkungan (seperti SLAM). Karena ada pergeseran fisik (offset) antara jalur cahaya tampilan optik dan kamera/IMU yang digunakan untuk pelacakan spasial, dan sulit untuk mencapai kalibrasi gabungan tingkat sub-piksel, keselarasan realitas-virtual menjadi sangat sensitif terutama di bidang pandang tepi atau skenario jarak dekat.
  • Batasan kalibrasi mata manusia:
    • Fenomena: Objek virtual tampak memiliki bayangan hantu (ghosting), tepi buram, atau terasa seperti gambar tidak diproyeksikan dengan benar di ruang.
    • Penyebab: Perangkat OST sangat bergantung pada kalibrasi jarak antar-pupil (IPD) dan posisi mata yang presisi. Jika perangkat tidak dikalibrasi secara akurat untuk mata Anda, atau posisi Anda mengenakan headset bergeser, cahaya yang diproyeksikan oleh mesin optik tidak akan masuk ke pupil Anda secara akurat. Namun, bahkan jika perangkat dikalibrasi, proses kalibrasi didasarkan pada titik sampel yang terbatas dan sulit untuk mencocokkan secara tepat geometri bola mata, kelengkungan kornea, dan kebiasaan persepsi visual setiap pengguna. Penyimpangan kalibrasi kecil dapat menyebabkan pergeseran sistematis pada objek virtual dalam hal kedalaman atau posisi lateral.
  • Perbedaan visual individu:
    • Fenomena: Penilaian subjektif pengguna yang berbeda tentang posisi konten virtual mungkin berbeda.
    • Penyebab: Penglihatan pengguna yang berbeda (seperti rabun jauh, astigmatisme), kemampuan fokus dinamis, dll., semuanya akan memengaruhi penilaian subjektif tentang efek penumpukan konten virtual. Perangkat OST mungkin tidak memiliki kemampuan pelacakan gerakan mata dan koreksi optik yang dipersonalisasi secara real-time, sehingga tidak dapat mengompensasi perbedaan ini secara dinamis untuk setiap pengguna.
  • Gangguan faktor lingkungan:
    • Fenomena: Konten virtual memudar, sulit dilihat, atau bahkan tidak terlihat di lingkungan terang; konten virtual menjadi terlalu terang (overexposed) atau bahkan menghasilkan bayangan hantu di lingkungan gelap.
    • Penyebab: Perangkat OST menggabungkan cahaya virtual dari proyeksi mikro atau pandu gelombang secara langsung dengan cahaya lingkungan dunia nyata. Jika lingkungan nyata terlalu terang, itu akan mengalahkan cahaya virtual yang lemah; begitu pula sebaliknya. Artefak optik semacam ini adalah karakteristik optik bawaan dari perangkat OST.
Catatan

Kesalahan seperti ini adalah karakteristik inheren dari teknologi kacamata AR OST, dan bukan kerusakan fungsional. Dalam pemecahan masalah, bedakan antara "masalah perangkat lunak/pelacakan yang dapat diperbaiki" dan "batas pengalaman yang dibatasi oleh perangkat keras dan fisiologi". Jika umpan balik pengguna melibatkan ketidakselarasan ringan, distorsi tepi, atau ketidakkonsistenan persepsi kedalaman, disarankan untuk terlebih dahulu memastikan apakah pengguna berada dalam kondisi penggunaan yang ditetapkan perangkat (seperti jarak kerja, rentang pencahayaan, status kalibrasi).

Bagaimana menangani umpan balik perangkat OST?

Jika Anda mengalami masalah visual saat menggunakan perangkat OST, setelah menyingkirkan faktor-faktor keterbatasan perangkat di atas, Anda dapat merekam layar untuk memberikan umpan balik. Namun, hanya mengirimkan konten rekaman biasanya tidak cukup:

  1. Sertakan foto: Gunakan ponsel untuk mengambil foto tampilan aktual yang Anda lihat melalui lensa (disebut "foto sudut pandang mata"). Ini dapat menunjukkan posisi relatif objek virtual terhadap lingkungan nyata.
  2. Jelaskan lingkungan: Jelaskan secara rinci lingkungan tempat Anda berada (kondisi pencahayaan, warna latar belakang, keberadaan objek bergerak seperti orang, dll.), karena tampilan OST sangat bergantung pada cahaya lingkungan.

Metode umum merekam layar perangkat headset

Catatan

Selama proses perekaman, perangkat mungkin menurunkan frame rate rendering atau resolusi, memengaruhi penilaian terhadap kelancaran dan stabilitas pelacakan. Disarankan untuk merekam segera setelah masalah dapat direproduksi, menghindari menjalankan perangkat dalam waktu lama yang dapat memengaruhi hasil.

Apple Vision Pro

  1. Angkat kepala melihat ke bagian atas layar, hingga Anda melihat titik Pusat Kontrol. Fokuskan pada titik ini dan klik.
  2. Lihat dan ketuk Pusat Kontrol > tombol "Rekam Pandangan Saya" untuk mulai merekam.
  3. Untuk menghentikan perekaman, buka Pusat Kontrol, lalu ketuk "Rekam Pandangan Saya" lagi.
  4. Rekaman pandangan Anda akan disimpan di Aplikasi "Foto" .

PICO 4 Ultra Enterprise

  1. Buka Pusat Kontrol > Pengaturan > Umum > Pemantulan Layar, Rekaman Layar & Tangkapan Layar, di "Rekaman Layar dan Tangkapan Layar" pilih mode rekaman layar sebagai "Spasial".
  2. Tekan singkat tombol Home pada pengontrol, di menu yang muncul di layar pilih tombol "Rekam Layar", tarik pelatuk untuk mulai merekam.
  3. Sistem akan memberikan hitungan mundur mulai, segera kembali ke antarmuka aplikasi yang akan direkam. Perekaman akan dimulai secara otomatis setelah hitungan mundur selesai.
  4. Tekan singkat tombol Home pada pengontrol lagi, ulangi pilihan tombol "Rekam Layar" untuk menghentikan perekaman.
  5. File rekaman Anda secara default disimpan di direktori "Penyimpanan Internal/DCIM/ScreenRecord" perangkat.

Rokid AR Studio

  1. Masuk ke beranda, temukan bilah status bagian bawah, ketuk area "Pengaturan Cepat" di sebelah ikon pengguna.
  2. Di jendela yang muncul, ketuk tombol "Rekam", segera kembali ke antarmuka aplikasi yang akan direkam. Sistem akan mulai merekam secara otomatis.
  3. Tekan tombol X pada Station Pro untuk kembali ke beranda. Ketuk lagi tombol "Rekam" di area "Pengaturan Cepat" untuk menghentikan perekaman.
  4. File rekaman Anda secara default disimpan di direktori "Penyimpanan Bersama Internal/ScreenRecorder" perangkat.

XREAL Air2 Ultra

  1. Di layar Beam Pro, geser ke bawah untuk memanggil Pusat Kontrol kacamata, ketuk tombol "Rekam Layar" di bagian atas.
  2. Sistem akan memberikan hitungan mundur, segera kembali ke antarmuka aplikasi yang akan direkam.
  3. Ketuk tombol "Berhenti" merah yang melayang di bagian atas layar untuk menghentikan perekaman.
  4. File rekaman Anda secara default disimpan di direktori "Penyimpanan Bersama Internal/Movies/Record" perangkat.

Saran praktik terbaik

Saat menggunakan rekaman headset untuk memberikan umpan balik tentang masalah, perhatikan poin-poin berikut:

  • Saat mengirimkan, berikan label yang jelas tentang model perangkat, metode perekaman, dan faktor lingkungan.
  • Jika masalah melibatkan kedalaman, oklusi, atau goyangan pelacakan, tambahkan deskripsi tertulis tentang fenomena yang diamati secara visual oleh mata manusia, karena rekaman mungkin tidak dapat menyajikannya secara akurat.
  • Untuk skenario kritis, Anda dapat melengkapinya dengan merekam video menggunakan kamera eksternal yang menangkap pengguna beroperasi dengan headset di lingkungan nyata, untuk memberikan konteks yang lebih komprehensif.

Meskipun rekaman headset nyaman, itu selalu merupakan perkiraan dari pengalaman sebenarnya. Diagnostik yang paling andal masih memerlukan kombinasi log, data sensor, dan umpan balik subjektif pengguna. Untuk metode pengumpulan log, lihat: