Table of Contents

3D object tracking の概要

平面物体に加えて、EasyAR は 3D 物体の tracking 機能も提供します。本記事では、3D object tracking の基本原理、期待される効果、および潜在的な制限を紹介し、開発者がこの技術の適用シーンを理解できるようにします。

基本原理

3D object tracking は、現実世界の三次元物体（玩具、彫刻、工業部品など）を認識・追跡することで、AR コンテンツの重ね合わせを実現します。核心的な流れは次のとおりです。

技術フロー

  1. モデル準備: 開発者は追跡対象物体の 3D モデルファイル（Wavefront OBJ 形式）を提供します。システムはモデルをローカルで読み込み、異なる視点でのモデルの視覚特徴を抽出し、一意の特徴ライブラリを生成します。
  2. リアルタイムマッチング: カメラが現実シーンをキャプチャした後、システムはフレームごとに画面内の視覚特徴を分析し、保存済みのモデル特徴ライブラリとマッチングします。
  3. 姿勢計算: マッチした点から物体の 3D 空間内の 6DoF 姿勢を計算し、仮想コンテンツを物体に正確に整列させます。
  4. 継続的な tracking: 物体が一部遮蔽されたり移動したりしても、システムは残りの可視特徴点によって tracking を維持できます。

コアメカニズム

  • ローカル処理: すべての計算はデバイス側で完了します。モデルとコンテンツは開発者が管理し、offline 利用性を保証します。
  • テクスチャ依存: 物体表面には豊富なテクスチャまたは幾何学的ディテールが必要です。ガラスや金属のような単色または滑らかな表面は tracking が困難です。
  • モデル形式: OBJ 形式のみをサポートします。MTL マテリアルファイルと少なくとも 1 枚の texture map（JPEG/PNG）を含む必要があり、ファイルパスは相対パスでなければなりません。絶対パスやスペースは禁止です。

技術的制限

  • 物体タイプ: 変形しない剛体のみをサポートし、幾何構造は主に凸形状で、多数の穴構造を含まないものに限られます。
  • サイズ範囲: 物体サイズは 10 cm から 2 m の間を推奨します。小さすぎる、または大きすぎると、自然な体験距離での物体の視認性に影響します。
  • 環境要件: 照明条件に依存します。暗すぎる、または露出過多の場合、detection が困難になったり tracking が失われたりします。

効果と期待結果

object tracking 機能は、物体自体のテクスチャに依存して視覚特徴をマッチングするため、達成できる効果にもいくつかの制限があります。これらの効果を明確にすることで、開発中に合理的なテスト基準を設定できます。

理想的な効果

  • 正確なバインド: 仮想コンテンツが 3D 物体のエッジに整列します。
  • リアルタイム応答: モデル読み込みから detection 成功までの超低遅延。
  • 遮蔽耐性: 物体が部分的に遮蔽された場合（例: 30%）でも、tracking を維持できます。
  • 多角度サポート: 物体が 360° 回転したり、異なる視点から観察されたりしても、仮想コンテンツは追従し続けます。

理想的でない状況と対応

現象 原因 ユーザーの知覚 解決策プレビュー（詳細は後続章）
認識できない モデルのテクスチャ不足、パスエラー、ファイル encoding が UTF-8 ではない 仮想コンテンツが表示されない モデルテクスチャを最適化し、ファイル形式とパスを確認
tracking の揺れ 照明変化が激しい、物体表面が反射する 仮想物体が明らかに揺れる 照明を制御し、反射面を避ける
頻繁に失われる 物体が高速移動する、または完全に遮蔽される 仮想物体が点滅/消失する モデルサイズを大きくする、または motion fusion を組み合わせる
読み込み失敗 OBJ/MTL ファイル形式エラー、texture map 欠落 tracker を初期化できない モデル仕様を検証し、公式 sample を参照

期待結果の検証方法

  • 開発段階: HelloARObjectTracking sample を使用し、公式テストモデルをインポートして実物を作成し、基本機能を検証します。
  • テスト段階: 実環境で、異なる照明、角度、遮蔽条件下の tracking 安定性をテストします。

まとめと拡張

3D object tracking はモデルの視覚特徴をローカル処理することで実現され、非平面物体を対象とする offline AR アプリケーションに適しています。開発者はモデルが形式仕様を満たすことを確認し、環境と物体テクスチャ品質に注意する必要があります。次章では、モデル準備と最適化テクニックを詳しく説明します。