MegaTracker의 개념 및 워크플로
이 문서는 MegaTracker의 기본 개념과 MegaTracker가 WeChat 네이티브 AR 시스템인 VisionKit 및 렌더링 프레임워크 xr-frame과의 관계를 설명합니다.
시작하기 전에
Mega 소개를 통해 다음을 이해하세요:
- Mega의 위치 추적 및 추적 기본 원리.
- Mega Block이란 무엇인가.
- Mega 통합 후 예상 결과.
평면 AR 트래커란 무엇인가
xr-frame의 평면AR트래커는 본질적으로 VisionKit 6DoF-평면 기능의 래퍼입니다.
xr-frame 카메라 컴포넌트에서 isARCamera를 활성화하면 카메라의 3D 변환이 매 프레임 AR 시스템(VisionKit)과 동기화됩니다.
xr-frame이 3D 렌더링 기능을 제공하고, VisionKit가 현실 공간 좌표계에서의 모션 추적 기능을 제공합니다.
평면 AR 트래커는 다른 AR 트래커와 함께 사용할 수 없습니다.
MegaTracker란 무엇인가
MegaTracker는 WeChat AR 시스템(VisionKit)과 Mega 공간 컴퓨팅 서비스를 연결하는 핵심 알고리즘 컴포넌트로, 클라우드 기반 위치 지정 기능을 제공합니다.
- 입력: VisionKit가 계산한 VisionKit 좌표계에서의 카메라 포즈(6DoF 데이터) 및 Mega 위치 지정 시점의 카메라 이미지.
- 출력: 현재 위치 지정 및 추적 중인 Mega Block 하위의 카메라 포즈.
MegaTracker가 xr-frame에서 작동하는 방식
flowchart BT
subgraph Using xr-frame Only
direction BT
PlaneARTracker_1[PlaneARTracker] -->|MotionData & Image| XRFrame_1[xr-frame]
end
subgraph Using Mega Plugin
direction BT
PlaneARTracker_2[PlaneARTracker] -->|MotionData & Image| MegaTracker
MegaTracker -->|CameraTransform| XRFrame_2[xr-frame]
end
- WeChat 네이티브 데이터 흐름에서 xr-frame 카메라 컴포넌트는 매 프레임 평면 AR 트래커 결과로 직접 업데이트됩니다.
- Mega 미니프로그램 데이터 흐름에서는 VisionKit 좌표계에서의 카메라 포즈(6DoF 데이터) 및 위치 지정 프레임의 이미지 데이터가 MegaTracker에 입력됩니다. 클라우드 위치 지정 및 로컬 계산 후 현재 위치 지정 및 추적 중인 Mega Block 하위의 카메라 포즈를 출력하여 최종적으로 xr-frame 장면에서 카메라의 Mega Block 노드 하위 LocalTransform을 업데이트합니다. 이때 MegaTracker가 카메라 제어권을 인수하므로 xr-frame은 AR 트래커를 기반으로 더 이상 카메라를 업데이트하지 않습니다.
MegaTracker의 작동은 평면 트래커가 제공하는 6DoF 모션 데이터에 깊이 의존합니다. 따라서 평면 트래커가 초기화를 완료하고 안정적인 추적 상태를 확립하기 전에는 MegaTracker가 작동을 시작할 수 없습니다. 또한 AR 추적 안정성은 환경 특징에 제한됩니다. 대규모 무텍스처 영역(예: 흰 벽), 장시간 카메라 가림 등 극단적인 시나리오에서 WeChat 기본 평면 추적이 드리프트되거나 손실되면 MegaTracker는 신뢰할 수 있는 입력 소스를 잃어 동기화된 실패 상태로 전환됩니다.