Table of Contents

헤드셋 화면 녹화: 몰입형 AR/MR 경험 기록하기

AR 또는 MR headset으로 개발, 테스트, 사용자 지원을 할 때 screen recording은 문제를 재현하고 분석하는 중요한 수단입니다. 하지만 mobile device와 달리 headset의 screen recording은 Passthrough와 Foveated Rendering 같은 특수 기술이 개입하므로, 녹화된 화면은 사용자가 두 눈으로 직접 보는 완전한 stereoscopic view와 완전히 같지 않습니다. 따라서 녹화 내용을 해석할 때 실제 사람의 시각 경험과의 차이에 특히 주의해야 합니다.

왜 headset screen recording에는 visual difference가 있는가?

사용자는 특히 주의해야 합니다: headset의 녹화 화면은 렌즈 뒤에서 실제로 보이는 화면과 완전히 같지 않습니다. 녹화에서 이상을 발견하면 반드시 실제 느낌과 함께 설명해 developer가 오해하지 않도록 해야 합니다.

주요 차이점은 다음과 같습니다.

  1. 해상도와 선명도의 차이
  • 녹화: 보통 monocular video stream이며 1080p 또는 그 이하입니다.
  • 사람의 눈: application에 따라 modern headset의 monocular resolution은 2K 이상이 될 수 있습니다.
  • 영향: 녹화에서 흐릿해 보이는 텍스트나 이미지는 headset에서는 선명할 수 있고, 반대로 headset에서 보이는 작은 edge jaggedness는 녹화에서 전혀 보이지 않을 수 있습니다.
  1. field of view(FOV) 차이
  • 녹화: 녹화된 이미지는 보통 정사각형입니다. 특히 wide FOV device에서는 가장자리 content가 잘리기 쉽습니다.
  • 사람의 눈: 보이는 화면은 binocular이며 시야가 더 넓습니다.
  • 영향: 문제가 시야 가장자리에서 발생하면 녹화가 이를 정확히 보여주지 못할 수 있습니다.
  1. Foveated Rendering의 영향
  • 녹화: 낮은 해상도의 가장자리 영역을 포함해 전체 field of view가 모두 녹화됩니다.
  • 사람의 눈: 시선 중심은 고해상도이고, 중심 밖은 더 낮은 해상도입니다.
  • 영향: 실제로는 아주 선명하다고 느꼈는데 녹화를 다시 보면 일부 영역이 흐릿하게 보일 수 있습니다. 이는 보통 정상이며 bug가 아닙니다. 따라서 녹화할 때는 보여주려는 부분에 집중해 그 영역이 선명하게 찍히도록 해야 합니다.
  1. frame rate와 refresh rate의 영향
  • 녹화: 녹화된 video의 frame rate는 보통 30FPS 또는 60FPS입니다.
  • 사람의 눈: 실제 화면 refresh rate는 90Hz 또는 120Hz까지 갈 수 있습니다.
  • 영향: 아주 작은 frame rate 저하는 녹화에서 보이지 않을 수 있지만, 사람의 눈은 stutter나 motion sickness를 뚜렷하게 느낄 수 있습니다. 녹화는 부드러워 보이는데 실제 경험은 그렇지 않다면 보통 performance 문제이므로 녹화 후 반드시 적어 주세요.

OST headset에 대한 특별 설명

특히 주의: Rokid, XREAL 같은 AR glasses를 포함한 OST(Optical See-Through) headset을 사용 중이라면, screen recording 기능은 사람이 보는 실제 scene을 기록할 수 없습니다.

OST device란 무엇인가?

OST device는 반투명 optical lens를 통해 빛을 눈에 직접 투사하고, virtual content는 mini projector나 waveguide를 통해 시야에 겹쳐집니다. 바깥세계를 촬영하는 camera는 spatial positioning에만 쓰이며 display에는 사용되지 않습니다. 이 메커니즘 때문에 device 자체가 사람이 보는 real scene을 “녹화”할 수는 없습니다.

OST device에서 screen recording의 한계

  • 실제 scene을 녹화할 수 없음: OST 녹화는 GUI, 3D model, UI pointer 등 virtual content layer만 기록합니다.
  • 배경이 검게 보임: PC나 mobile에서 재생하면 완전히 검은 배경 위의 virtual object만 보이고, real environment context는 사라집니다.
  • occlusion 관계가 사라짐: virtual object가 손이나 책상 같은 real object에 가려져야 해도, 녹화에서는 검은 화면 위에 떠 있는 것처럼 보여 잘못된 layer hierarchy처럼 보입니다.

virtual content가 겹쳐 보일 때의 visual error 문제

이상적인 환경에서도 OST headset이 보여주는 virtual content와 real world 사이의 alignment에는 어느 정도의 visual error가 피할 수 없이 존재합니다. 이런 error는 항상 software bug나 tracking failure 때문만은 아니며, device의 물리적 특성과 인간 visual system의 근본적인 차이에서 비롯되는 경우가 많습니다. 일부 error는 현재 기술 조건에서 완전히 제거할 수 없습니다.

feedback을 제출할 때는 다음 경우를 구분해 주세요.

  • optical alignment error:
    • 현상: 머리를 움직일 때 virtual object가 “떠 있는” 것처럼 보이거나 real object와 위치가 조금 어긋나 보입니다.
    • 원인: 사용자는 optical lens를 통해 real world를 직접 보지만, virtual content의 rendering coordinate system은 보통 head tracking과 SLAM 같은 environment understanding system을 기반으로 구성됩니다. optical display path와 spatial positioning에 쓰는 camera/IMU 사이에는 physical offset이 있고, sub-pixel 수준의 joint calibration도 어렵기 때문에 real-virtual alignment는 특히 edge FOV나 가까운 scene에서 민감합니다.
  • 눈 calibration의 한계:
    • 현상: virtual object가 겹쳐 보이거나, 가장자리가 흐리거나, 공간에 올바르게 투사되지 않은 것처럼 느껴집니다.
    • 원인: OST device는 정확한 IPD와 eye position calibration에 매우 크게 의존합니다. device가 사용자의 눈에 맞게 정확히 calibrate되지 않았거나 headset 위치가 밀리면 optical engine이 쏘는 빛이 pupil에 정확히 들어가지 않습니다. calibrate가 되어 있더라도 제한된 sample point에 기반하므로 각 사용자의 eye geometry, cornea curvature, 시각 습관과 완전히 맞추기 어렵습니다. 작은 calibration 오차도 virtual object의 depth나 lateral position에 체계적인 offset을 만들 수 있습니다.
  • 개인별 visual difference:
    • 현상: virtual content 위치에 대한 주관적 판단이 사용자마다 다를 수 있습니다.
    • 원인: 근시, 난시, 동적 초점 능력 같은 차이가 virtual overlay의 주관적 판단에 영향을 줍니다. OST device는 real-time eye tracking이나 개인화된 optical correction이 없을 수 있어 각 사용자에게 이런 차이를 동적으로 보정하지 못합니다.
  • 환경 요인의 간섭:
    • 현상: 밝은 환경에서는 virtual content가 옅어지거나 잘 안 보이거나 사라지고, 어두운 환경에서는 과노출되거나 ghosting이 생길 수 있습니다.
    • 원인: OST device는 mini projector나 waveguide의 virtual light를 real world의 ambient light 위에 직접 겹칩니다. real environment가 너무 밝으면 약한 virtual light가 묻히고, 반대도 마찬가지입니다. 이런 optical artifact는 OST device의 고유 특성입니다.
참고

이런 error는 OST AR glasses 기술의 고유 특성이며 기능 고장이 아닙니다. 문제를 분석할 때는 “수정 가능한 software/tracking 문제”와 “hardware와 생리적 제약이 만든 체험의 한계”를 구분하세요. 사용자 feedback이 약간의 위치 어긋남, 가장자리 왜곡, depth perception 불일치를 다룬다면 먼저 device가 명시된 사용 조건, 예를 들어 작업 거리, 조도 범위, calibration 상태 안에서 사용됐는지 확인하세요.

OST device feedback는 어떻게 다뤄야 하나?

OST device 사용 중 visual 문제가 생기면, 위의 device 한계를 제외한 뒤 screen recording으로 feedback을 남길 수 있습니다. 하지만 screen recording만으로는 보통 충분하지 않습니다.

  1. 사진을 함께 첨부: 렌즈를 통해 실제로 보이는 화면을 휴대폰으로 찍어 주세요. 이를 “eye-view photo”라고 부릅니다. 이렇게 하면 virtual object와 real environment의 상대 위치를 보여줄 수 있습니다.
  2. 환경 설명: 주변 환경을 자세히 설명해 주세요(조도 조건, 배경 색, 보행자 같은 동적 요소의 존재 여부 등). OST의 표시 효과는 ambient light에 매우 크게 의존하기 때문입니다.

일반적인 headset의 screen recording 방법

참고

screen recording 중 device가 rendering frame rate나 resolution을 낮출 수 있어 부드러움과 tracking stability 판단에 영향을 줍니다. 문제를 재현한 직후 바로 녹화하는 것이 좋으며, 너무 긴 run이 결과에 영향을 주지 않도록 하세요.

Apple Vision Pro

  1. 화면 상단을 올려다보아 Control Center의 점이 보일 때까지 기다린 뒤, 그 점에 집중하고 클릭합니다.
  2. Control Center > “Record My View” 버튼 을 바라보고 클릭해 녹화를 시작합니다.
  3. 녹화를 멈추려면 Control Center를 열고 다시 “Record My View”를 누릅니다.
  4. view 녹화는 “Photos” app 에 저장됩니다.

PICO 4 Ultra

  1. Control Center > Settings > General > Casting, Recording, and Screenshot을 열고 “Recording and Screenshot”에서 recording mode를 “Spatial”로 선택합니다.
  2. controller의 Home 버튼을 짧게 누르고 뜨는 메뉴에서 “Recording” 버튼을 선택한 뒤 trigger를 당겨 녹화를 시작합니다.
  3. 시스템이 카운트다운을 표시하면 바로 녹화할 app 화면으로 돌아가세요. 카운트다운이 끝나면 자동으로 녹화가 시작됩니다.
  4. Home 버튼을 다시 짧게 누르고 “Recording”을 다시 선택하면 녹화를 멈출 수 있습니다.
  5. 녹화 파일은 보통 device의 Internal Storage/DCIM/ScreenRecord에 저장됩니다.

Rokid Max Pro

  1. desktop으로 들어가 아래 status bar를 찾고, user avatar 옆의 “Quick Settings” 영역을 누릅니다.
  2. 뜨는 window에서 “Record”를 누른 뒤 바로 녹화할 app 화면으로 돌아가세요. 시스템이 자동으로 녹화를 시작합니다.
  3. Station Pro의 X 버튼을 눌러 desktop으로 돌아갑니다. 다시 “Quick Settings”의 “Record”를 누르면 녹화를 멈출 수 있습니다.
  4. 녹화 파일은 보통 device의 Internal Shared Storage/ScreenRecorder에 저장됩니다.

XREAL Air2 Ultra

  1. Beam Pro 화면에서 아래로 내려 glasses control center를 열고, 상단의 “Screen Record” 버튼을 누릅니다.
  2. 시스템이 카운트다운을 표시하면 바로 녹화할 app 화면으로 돌아가세요.
  3. 화면 상단에 떠 있는 빨간 “Stop” 버튼을 누르면 녹화를 멈출 수 있습니다.
  4. 녹화 파일은 보통 device의 Internal Shared Storage/Movies/Record에 저장됩니다.

Best practice 제안

headset screen recording으로 문제를 보고할 때는 다음 사항을 기억하세요.

  • 제출 시 device model, recording method, environment factor를 분명하게 적어 주세요.
  • 문제가 depth, occlusion, tracking jitter와 관련 있다면, 녹화가 정확히 보여주지 못할 수 있으므로 사람이 실제로 본 현상을 텍스트로 보충해 주세요.
  • 중요한 scene의 경우, 외부 camera로 headset을 착용한 사용자의 실제 동작을 함께 촬영하면 더 완전한 context를 제공할 수 있습니다.

headset screen recording은 편리하지만, 언제나 경험의 근사치일 뿐입니다. 가장 신뢰할 수 있는 진단은 여전히 log, sensor data, 사용자 subjective feedback을 함께 보는 것입니다. log 수집 방법은 다음을 참고하세요.