평면 이미지 추적 소개

평면 이미지 추적(Planar Image Tracking)은 일상생활에서 텍스처가 있는 평면 물체를 감지하고 추적하는 데 사용됩니다. "평면" 물체는 책, 명함, 포스터와 같은 작은 물체부터 그래피티 벽과 같은 대형 대상까지 포함됩니다. 이러한 물체는 평평한 표면과 풍부하며 반복되지 않는 텍스처를 가지고 있습니다.

이 글은 평면 이미지 감지 및 추적의 기본 원리, 예상 효과 및 플랫폼 적응 방안을 개괄하여 기능의 경계와 개발 포인트를 빠르게 이해하는 데 도움을 줍니다.

기본 원리

이러한 원리를 이해하면 개발자가 인식 효과를 최적화하고 일반적인 문제를 피하는 데 도움이 됩니다.

핵심 프로세스

로드 및 전처리 단계:
- 시스템은 대상 이미지를 로드하고, 많은 시각적 특징점을 추출하며, 해당 이미지의 특징 설명을 생성하여 특징 라이브러리에 삽입합니다.
- 텍스처가 풍부한 이미지일수록 인식 및 추적이 용이합니다. 타겟 이미지 감지 도구를 사용하여 대상 이미지의 인식 가능성을 사전에 확인할 수 있습니다.
참조 왼쪽: 텍스처가 풍부하여 인식 용이(5점); 참조 오른쪽: 요소 단순, 텍스처 부족, 인식 어려움(1점).
4~5점 품질의 이미지를 타겟 이미지로 사용하는 것을 권장합니다.
실시간 감지 및 추적 단계:
- 카메라가 화면을 캡처하면, 시스템은 현재 화면의 특징점을 분석하여 타겟 이미지의 특징 라이브러리와 특징 매칭을 수행합니다.
- PnP(Perspective-n-Point) 알고리즘을 통해 3D 공간에서 이미지의 포즈(위치+회전)를 계산합니다.
- 대상 감지가 성공하면 시스템은 추적 모드로 전환됩니다. 이때 시스템은 연속 프레임의 화면을 비교하고 프레임 간의 움직임을 분석하여 실시간 추적 과정을 구현합니다.
최적화 메커니즘:
- 추적 손실 복구: 짧은 가림 또는 빠른 움직임으로 인한 흐림 후 시스템이 자동으로 대상을 재감지합니다.
- 다중 대상 동시 추적: Simultaneous Number 매개변수로 단일 Tracker의 동시 처리 수를 제어하여 하나의 Tracker 호출로 여러 대상을 동시 추적할 수 있습니다.

기술적 제한

평면 이미지만 지원(3D 물체 또는 동적 콘텐츠 불가).
환경 조명에 의존하여 어둡거나 과도하게 노출된 경우 감지 어려움 또는 추적 손실 발생 가능.
감지 시 카메라가 대상에서 너무 멀리 떨어져서는 안 되며, 화면에서 대상 이미지의 비율이 최소 30% 이상이어야 함.
다중 대상 추적은 장치 성능에 제한받음. 일반적으로 PC에서는 10개 이상 대상 동시 추적 가능, 모바일에서는 4~6개 평면 대상 동시 추적 가능.

효과 및 예상 결과

이미지 감지 및 추적의 작동 메커니즘과 기술적 제한을 이해한 후, 이 기능이 달성할 수 있는 효과를 파악해야 합니다. 이러한 효과를 명확히 하면 개발 과정에서 합리적인 테스트 기준을 설정하는 데 도움이 됩니다.

이상적인 효과

정밀 오버레이: 가상 객체가 이미지 가장자리와 정렬됨.
빠른 감지: 애플리케이션 로드부터 감지 성공까지 초저지연.
안정적인 추적: 이미지 회전, 이동, 부분 가림 상황에서도 추적 유지 가능.

비이상적인 상황 및 대응

현상	원인	사용자 인지	해결 방안 미리보기 (자세한 내용은 후속 섹션 참조)
인식 불가	이미지 텍스처 부족, 너무 작음	가상 객체 나타나지 않음	타겟 이미지 최적화, 도구로 인식 가능성 확인
추적 흔들림	대상 화면 비율 과소, 추적 가능점 부족	가상 객체 흔들림 현저	대상 이미지에서 지나치게 멀리 떨어지지 않기, 추적 모드 `PreferQuality` 설정
빈번한 손실	이미지 빠른 이동 또는 완전 가림	가상 객체 깜빡임/사라짐	기기/대상 이미지 안정화 또는 대상 크기 확대
다중 이미지 대상 누락	하드웨어 성능 영향	일부 대상 이미지 추적 불가	실행 성능 고려하여 적절한 `Simultaneous Number` 매개변수 설정

예상 결과 검증 방법

개발 단계: PC 카메라로 Unity 에디터 Play 모드 미리보기 사용.
테스트 단계: 공식 Sample 씬 또는 자체 테스트 이미지 사용, 다양한 조명/각도/거리 조건 커버.

타겟 이미지 모범 사례

평면 이미지 추적의 효과는 타겟 이미지의 품질에 크게 의존합니다. 인식 성공률을 보장하기 위해 타겟 이미지 준비 시 다음 지침을 따르는 것이 좋습니다.

사용 시나리오에 따라 다양한 방식으로 타겟 이미지를 준비할 수 있습니다: 카메라로 정면에서 대상 물체를 직접 촬영하거나, 패턴을 먼저 디자인한 후 인쇄 생산합니다. 사진이나 디자인 원본 모두 템플릿 이미지로 사용 가능합니다.

기본 요구사항

이미지 형식: JPG 또는 PNG 권장.
투명 채널 처리: 이미지에 투명 채널이 있는 경우 시스템이 흰색 배경으로 처리합니다. 원하지 않는 경우 투명 채널 사용을 피하십시오.

핵심 최적화 포인트

풍부한 텍스처 세부사항 보장
템플릿 이미지는 충분한 디테일과 가장자리 변화가 있어야 하며, 단색이나 단순한 도형은 피해야 합니다.

참조 왼쪽: 텍스처 풍부한 이미지 감지 가능; 참조 오른쪽: 단색 이미지 감지 불가
반복 패턴 피하기
규칙적으로 반복되는 패턴(체스판, 줄무늬 등)은 특징점의 고유성을 떨어뜨립니다.

참조 이미지: 반복 패턴 이미지 추적 불가
콘텐츠가 화면 가득 채우기
주체는 가능한 한 전체 화면을 차지하도록 하여 빈 공간을 최소화해야 합니다.

참조 이미지: 왼쪽(주체 풍부)이 오른쪽(여백 과다)보다 감지 및 추적 용이
종횡비 제어
이미지가 지나치게 길쭉하지 않도록 하며, 짧은 변 길이가 긴 변의 최소 20% 이상이어야 합니다.

참조 이미지: 길쭉한 이미지 추적 어려움
적절한 해상도 선택
권장 범위: SQCIF(128×96) ~ QVGA(1280×960) 사이.
너무 작음: 특징점 부족으로 인식률 저하.
너무 큼: Target 데이터 생성 시 불필요한 메모리 오버헤드 증가, 계산 시간 증가.

Table of Contents