헤드셋 화면 녹화: 몰입형 AR/MR 경험 기록하기

증강 현실(AR) 또는 혼합 현실(MR) 헤드셋을 사용한 개발, 테스트 또는 사용자 지원 중 화면 녹화는 문제를 재현하고 분석하는 중요한 수단입니다. 그러나 모바일 기기와 달리, 헤드셋 녹화는 패스스루(Passthrough), 포비에이티드 렌더링(Foveated Rendering) 등 특수 기술을 포함하며, 녹화된 화면은 일반적으로 사용자가 직접 양안으로 보는 완전한 입체 시각과 동일하지 않습니다. 따라서 녹화 내용을 해석할 때는 실제 인간의 시각 경험과의 차이를 특별히 주의해야 합니다.

헤드셋 녹화에 시각적 차이가 발생하는 이유?

사용자는 반드시 주의해야 합니다: 헤드셋 장치의 녹화 화면은 렌즈 뒤에서 보는 실제 화면과 완전히 같지 않습니다. 녹화에서 이상 현상을 발견했다면, 반드시 실제 경험을 바탕으로 설명하여 개발자를 오도하지 않도록 해야 합니다.

주요 차이점은 다음과 같습니다:

해상도와 선명도 차이

녹화: 일반적으로 단안(예: 왼쪽 눈) 1080p 또는 그 이하 해상도의 비디오 스트림입니다.
인간 시각: 애플리케이션에 따라 최신 헤드셋의 단안 해상도는 2K 이상일 수 있습니다.
영향: 녹화에서 보이는 흐릿한 텍스트나 화면은 헤드셋 내부에서는 존재하지 않을 수 있습니다. 반대로, 헤드셋 내부에서 보이는 미세한 가장자리 계단 현상(aliasing)은 녹화에서는 전혀 보이지 않을 수 있습니다.

시야각(FOV) 차이

녹화: 녹화된 화면은 일반적으로 정사각형입니다. 특히 넓은 시야각 장치에서는 가장자리 콘텐츠가 자주 잘립니다.
인간 시각: 인간이 보는 화면은 양안으로 표시되며 시야가 더 넓습니다.
영향: 문제가 시야 가장자리에서 발생한 경우, 녹화로는 이를 정확히 확인하기 어려울 수 있습니다.

포비에이티드 렌더링(Foveated Rendering) 영향

녹화: 전체 화면 시야의 모든 콘텐츠가 포함되며, 저해상도 가장자리 영역도 포함됩니다.
인간 시각: 인간의 시선 중심은 고해상도이지만, 비시선 중심의 가장자리는 저해상도입니다.
영향: 실제로는 화면이 선명하게 느껴지지만, 녹화를 돌려볼 때 일부 영역이 흐릿한 경우가 있습니다. 이는 일반적으로 버그가 아닌 정상적인 현상입니다. 따라서 녹화 시에는 반드시 보여주려는 부분에 집중하여 해당 영역이 선명하게 나오도록 해야 합니다.

프레임률과 재생률 영향

녹화: 녹화된 비디오는 일반적으로 30FPS 또는 60FPS 프레임률로 촬영됩니다.
인간 시각: 실제 경험하는 화면 재생률은 90Hz 또는 120Hz에 이를 수 있습니다.
영향: 매우 미세한 프레임률 하락은 녹화에서는 감지하기 어려울 수 있지만, 인간의 눈은 뚜렷한 "끊김" 또는 "어지러움"을 느낄 수 있습니다. 녹화는 부드러워 보이지만 실제 경험은 그렇지 않다면, 이는 일반적으로 성능 문제입니다. 녹화 후 반드시 이를 설명해야 합니다.

OST 헤드셋 특별 안내

특별 주의: 만약 Rokid, Xreal 등 AR 안경과 같은 OST(Optical See-Through, 광학식 투시형) 헤드셋을 사용 중이라면, 녹화 기능으로는 인간의 눈이 보는 실제 장면을 녹화할 수 없습니다.

OST 장치란 무엇인가요?

OST 장치는 반투명 광학 렌즈를 통해 빛을 직접 사용자의 눈에 투사하며, 가상 콘텐츠는 마이크로 프로젝터나 도파관을 통해 시야에 중첩되어 실제 세계와 중첩된 가상 이미지를 동시에 볼 수 있게 합니다. 외부 세계를 촬영하는 카메라는 공간 위치 추적에만 사용되며 표시에는 사용되지 않습니다. 이 메커니즘으로 인해 장치 자체는 인간의 눈이 보는 실제 장면을 "녹화"할 수 없습니다.

OST 장치 녹화의 한계

실제 장면 녹화 불가: OST 장치의 녹화 기능은 가상 콘텐츠 레이어(GUI, 3D 모델, UI 포인터 등)만 녹화합니다.
배경은 검은색: 컴퓨터나 휴대폰에서 이 비디오를 재생하면 실제 환경의 맥락이 완전히 사라진 순수 검은색 배경 위의 가상 물체만 보이게 됩니다.
가림 관계 손실: 가상 물체가 실제 물체(예: 손, 책상)에 가려져야 한다면, 녹화에서는 검은 화면 위에 떠 있는 것처럼 보여 잘못된 레이어 관계처럼 보일 수 있습니다.

가상 콘텐츠 중첩의 시각 오차 문제

이상적인 환경에서도 OST 헤드셋이 표시하는 가상 콘텐츠와 실제 세계 간의 정렬에는 불가피하게 어느 정도의 시각적 오차가 존재합니다. 이러한 오차는 항상 소프트웨어 버그나 추적 오류로 인한 것이 아니며, 장치의 물리적 특성과 인간 시각 시스템의 근본적 차이에서 비롯되며, 일부 오차는 현재 기술 수준에서 완전히 제거하기 어렵습니다.

피드백을 제출할 때 다음 상황을 구분하세요:

광학 정렬 오차:
- 현상: 머리를 움직일 때 가상 물체가 "떠다니는" 것처럼 보이거나 실제 물체 위치와 미세한 차이가 있습니다.
- 원인: 사용자는 광학 렌즈를 통해 실제 세계를 직접 보지만, 가상 콘텐츠의 렌더링 좌표계는 일반적으로 헤드 추적 및 환경 이해 시스템(예: SLAM)을 기반으로 구축됩니다. 광학 디스플레이 광로와 공간 위치 추적에 사용되는 카메라/IMU 사이에는 물리적 오프셋이 존재하며, 서브픽셀 수준의 공동 보정을 달성하기 어렵습니다. 특히 가장자리 시야나 근거리 장면에서 가상-실제 정렬이 민감합니다.
인간 눈 보정 한계:
- 현상: 가상 물체에 고스트 현상(ghosting), 가장자리 흐림이 보이거나 이미지가 공간에 올바르게 투사되지 않는 느낌이 듭니다.
- 원인: OST 장치는 정확한 동공간 거리(IPD) 및 안구 위치 보정에 크게 의존합니다. 장치가 사용자의 눈에 대해 정밀하게 보정되지 않았거나 헤드셋 착용 위치가 변경된 경우, 광학 엔진이 투사하는 빛이 정확히 동공으로 들어가지 않습니다. 그러나 장치가 보정되어 있더라도, 보정 과정은 제한된 샘플링 지점을 기반으로 하므로 모든 사용자의 안구 기하학 구조, 각막 곡률 및 시각 인지 습관을 정확히 일치시키기 어렵습니다. 미세한 보정 오차는 가상 물체의 깊이 또는 횡방향 위치에서 체계적인 오프셋을 유발할 수 있습니다.
개인 시각 차이:
- 현상: 가상 콘텐츠 위치에 대한 다른 사용자의 주관적 판단이 다를 수 있습니다.
- 원인: 근시, 난시와 같은 다른 사용자의 시력, 동적 초점 능력 등은 가상 콘텐츠 중첩 효과를 관찰하는 주관적 판단에 영향을 미칩니다. OST 장치는 실시간 안구 추적 및 개인화된 광학 보정 능력이 부족할 수 있어 각 사용자마다 이러한 차이를 동적으로 보상할 수 없습니다.
환경 요인 간섭:
- 현상: 밝은 환경에서 가상 콘텐츠가 희미해지거나 보이지 않을 수 있습니다. 어두운 환경에서는 가상 콘텐츠가 과다 노출되거나 고스트 현상을 일으킬 수 있습니다.
- 원인: OST 장치는 마이크로 프로젝터나 도파관의 가상 빛과 실제 세계의 환경 빛을 직접 중첩시킵니다. 실제 환경이 너무 밝으면 미약한 가상 빛을 압도할 수 있으며 그 반대의 경우도 마찬가지입니다. 이러한 광학 아티팩트는 OST 장치의 고유한 광학 특성입니다.

참고

이러한 오차는 OST AR 안경 기술의 고유한 특성으로 기능 장애가 아닙니다. 문제 해결 시 "수정 가능한 소프트웨어/추적 문제"와 "하드웨어 및 생리적 한계에 따른 경험 경계"를 구분하세요. 사용자 피드백이 미세한 어긋남, 가장자리 왜곡 또는 깊이 인식 불일치와 관련된 경우, 먼저 장치의 명시된 사용 조건(작동 거리, 조명 범위, 보정 상태) 내에 있는지 확인하는 것이 좋습니다.

OST 장치 피드백은 어떻게 처리하나요?

OST 장치를 사용 중 시각적 문제가 발생하여 위 장치 한계로 인한 요인을 배제한 후, 녹화를 통해 피드백할 수 있습니다. 그러나 단순히 녹화 내용만 제출하는 것은 일반적으로 충분하지 않습니다:

사진 동반: 휴대폰으로 렌즈를 통해 보이는 실제 화면 사진(이를 "눈 시점 사진"이라고 함)을 촬영해 주세요. 이는 가상 물체와 실제 환경의 상대적 위치를 보여줍니다.
환경 설명: OST 디스플레이 효과는 환경광에 크게 의존하므로, 사용 중인 환경(조명 조건, 배경 색상, 보행자 등 동적 요소 존재 여부)을 상세히 설명해 주세요.

일반적인 헤드셋 장치의 녹화 방법

참고

녹화 과정에서 장치는 렌더링 프레임률이나 해상도를 낮출 수 있으며, 이는 유연성과 추적 안정성 판단에 영향을 미칩니다. 문제를 재현한 후 가능한 한 빨리 녹화하여 장시간 실행으로 인한 결과 영향력을 피하는 것이 좋습니다.

Apple Vision Pro

화면 상단을 올려다보며 컨트롤 센터 점이 나타날 때까지 기다립니다. 이 점에 집중하고 클릭합니다.
컨트롤 센터 > "나의 시야 녹화" 버튼 을 응시하고 탭하여 녹화를 시작합니다.
녹화를 중지하려면 컨트롤 센터를 열고 다시 "나의 시야 녹화"를 탭합니다.
시야 녹화는 "사진" 앱 에 저장됩니다.

PICO 4 Ultra Enterprise

컨트롤 센터 > 설정 > 일반 > 미러링, 녹화 및 스크린샷을 열고 "녹화 및 스크린샷"에서 녹화 모드를 "공간"으로 선택합니다.
컨트롤러의 홈 키를 짧게 눌러 화면에 팝업되는 메뉴에서 "녹화" 버튼을 선택하고 트리거를 당겨 녹화를 시작합니다.
이때 시스템이 시작 카운트다운을 알립니다. 즉시 녹화할 애플리케이션 화면으로 돌아가면 카운트다운 종료 후 자동으로 녹화가 시작됩니다.
다시 컨트롤러의 홈 키를 짧게 누르고 "녹화" 버튼을 선택하면 녹화가 중지됩니다.
녹화 파일은 기본적으로 장치의 "내부 저장소/DCIM/ScreenRecord" 디렉터리에 저장됩니다.

Rokid AR Studio

데스크탑으로 이동하여 하단 상태 표시줄에서 사용자 아바타 옆의 "빠른 설정" 영역을 클릭합니다.
팝업되는 창에서 "녹화" 버튼을 클릭하고 즉시 녹화할 애플리케이션 화면으로 돌아갑니다. 시스템이 자동으로 녹화를 시작합니다.
Station Pro의 X 버튼을 클릭하여 데스크탑으로 돌아갑니다. 다시 "빠른 설정" 영역의 "녹화" 버튼을 클릭하면 녹화가 중지됩니다.
녹화 파일은 기본적으로 장치의 "내부 공유 저장 공간/ScreenRecorder" 디렉터리에 저장됩니다.

XREAL Air2 Ultra

Beam Pro 화면에서 아래로 스와이프하여 안경의 컨트롤 센터를 호출하고 상단의 "녹화" 버튼을 클릭합니다.
이때 시스템이 카운트다운을 알립니다. 즉시 녹화할 애플리케이션 화면으로 돌아갑니다.
화면 상단에 떠 있는 빨간색 "중지" 버튼을 클릭하면 녹화가 중지됩니다.
녹화 파일은 기본적으로 장치의 "내부 공유 저장 공간/Movies/Record" 디렉터리에 저장됩니다.

모범 사례 제안

헤드셋 녹화로 문제를 피드백할 때 다음 사항에 유의하세요:

제출 시 장치 모델, 녹화 방식 및 환경 요인을 명확히 표시하세요.
깊이, 가림 또는 추적 흔들림과 관련된 문제의 경우, 녹화로는 정확히 표현되지 않을 수 있으므로 인간의 눈으로 실제 관찰된 현상에 대한 설명을 텍스트로 보충하세요.
중요한 장면의 경우 사용자가 헤드셋을 착용하고 실제로 조작하는 모습을 외부 카메라로 촬영하여 더 포괄적인 맥락을 제공할 수 있습니다.

헤드셋 녹화는 편리하지만 항상 경험의 근사치일 뿐입니다. 가장 신뢰할 수 있는 진단은 로그, 센서 데이터 및 사용자의 주관적 피드백을 결합해야 합니다. 로그 수집 방법에 대해서는 다음을 참조하세요:

Table of Contents