Table of Contents

3D object tracking 소개

평면 객체 외에도 EasyAR는 3D 객체에 대한 tracking 기능을 제공합니다. 이 글에서는 3D object tracking의 핵심 원리, 기대 효과 및 잠재적 제한을 소개하여 개발자가 이 기술의 적용 시나리오를 이해할 수 있도록 합니다.

기본 원리

3D object tracking은 장난감, 조각품, 산업 부품 등 실제 세계의 3차원 객체를 인식하고 추적하여 AR content overlay를 구현합니다. 핵심 흐름은 다음과 같습니다.

기술 흐름

  1. 모델 준비: 개발자는 추적할 객체의 3D 모델 파일(Wavefront OBJ 형식)을 제공합니다. 시스템은 모델을 로컬에서 로드하고, 모델의 다양한 시점에서 시각 feature를 추출하여 고유한 feature library를 생성합니다.
  2. 실시간 매칭: 카메라가 현실 scene을 캡처한 후, 시스템은 프레임별로 화면의 시각 feature를 분석하고 저장된 모델 feature library와 매칭합니다.
  3. Pose 계산: 매칭 포인트를 통해 3D 공간에서 객체의 6DoF pose를 계산하여 virtual content가 객체와 정확히 정렬되도록 합니다.
  4. 지속 tracking: 객체가 일부 가려지거나 이동하더라도 시스템은 남아 있는 가시 feature point를 통해 tracking을 유지할 수 있습니다.

핵심 메커니즘

  • 로컬 처리: 모든 계산은 device 측에서 완료됩니다. 모델과 content는 개발자가 관리하므로 offline 사용 가능성이 보장됩니다.
  • 텍스처 의존성: 객체 표면에는 풍부한 텍스처 또는 기하 세부 정보가 있어야 합니다. 유리나 금속처럼 단색이거나 매끄러운 표면은 추적하기 어렵습니다.
  • 모델 형식: OBJ 형식만 지원합니다. MTL material file과 최소 하나의 texture map(JPEG/PNG)을 포함해야 하며, 파일 path는 relative path여야 합니다. absolute path 또는 공백은 금지됩니다.

기술 제한

  • 객체 유형: 변형되지 않는 rigid object만 지원하며, 기하 구조는 주로 볼록해야 하고 구멍 구조가 많지 않아야 합니다.
  • 크기 범위: 객체 크기는 10 cm에서 2 m 사이를 권장합니다. 너무 작거나 큰 객체는 자연스러운 경험 거리에서 객체 가시성에 영향을 줍니다.
  • 환경 요구 사항: 조명 조건에 의존합니다. 너무 어둡거나 과노출되면 detection이 어렵거나 tracking이 손실될 수 있습니다.

효과와 기대 결과

object tracking 기능은 객체 자체의 텍스처에 의존하여 시각 feature matching을 수행하므로 달성 가능한 효과에도 일부 제한이 있습니다. 이러한 효과를 명확히 이해하면 개발 과정에서 합리적인 테스트 기준을 설정하는 데 도움이 됩니다.

이상적인 효과

  • 정확한 바인딩: virtual content가 3D 객체 가장자리에 정렬됩니다.
  • 실시간 응답: 모델 로드부터 detection 성공까지 매우 낮은 지연.
  • 가림 저항성: 객체가 일부 가려진 경우(예: 30%)에도 tracking을 유지할 수 있습니다.
  • 다각도 지원: 객체가 360° 회전하거나 다른 시점에서 관찰될 때도 virtual content가 계속 따라갑니다.

비이상적 상황 및 대응

현상 원인 사용자 인지 해결 방안 미리보기(자세한 내용은 이후 장 참조)
인식 불가 모델 텍스처 부족, path 오류, 파일 encoding이 UTF-8이 아님 virtual content가 나타나지 않음 모델 텍스처 최적화, 파일 형식 및 path 확인
Tracking 떨림 조명 변화가 심함, 객체 표면 반사 virtual object가 뚜렷하게 흔들림 조명 제어, 반사 표면 회피
자주 손실 객체가 빠르게 이동하거나 완전히 가려짐 virtual object가 깜박임/사라짐 모델 크기 확대 또는 motion fusion 결합
로드 실패 OBJ/MTL 파일 형식 오류, texture map 누락 tracker를 초기화할 수 없음 모델 사양 검증, 공식 sample 참고

기대 결과 검증 방법

  • 개발 단계: HelloARObjectTracking sample을 사용하고, 공식 테스트 모델을 가져온 뒤 실제 객체를 제작하여 기본 기능을 검증합니다.
  • 테스트 단계: 실제 환경에서 다양한 조명, 각도, 가림 조건의 tracking 안정성을 테스트합니다.

요약 및 확장

3D object tracking은 모델의 시각 feature를 로컬에서 처리하여 구현되며, 비평면 객체가 필요한 offline AR 애플리케이션에 적합합니다. 개발자는 모델이 형식 규격을 충족하는지 확인하고 환경 및 객체 텍스처 품질에 주의해야 합니다. 다음 장에서는 모델 준비와 최적화 기법을 자세히 설명합니다.