Table of Contents

Introduction au 3D object tracking

En plus des objets plans, EasyAR fournit également une fonction de tracking pour les objets 3D. Cet article présente les principes de base, les effets attendus et les limites potentielles du 3D object tracking, afin d'aider les développeurs à comprendre les scénarios d'application de cette technologie.

Principes de base

Le 3D object tracking réalise la superposition de contenu AR en reconnaissant et en suivant des objets tridimensionnels du monde réel, tels que des jouets, des sculptures ou des pièces industrielles. Son flux principal est le suivant:

Flux technique

  1. Préparation du modèle: le développeur fournit le fichier de modèle 3D de l'objet à suivre, au format Wavefront OBJ. Le système charge le modèle localement, extrait les caractéristiques visuelles du modèle depuis différents angles et génère une bibliothèque de caractéristiques unique.
  2. Correspondance en temps réel: après la capture de la scène réelle par la caméra, le système analyse image par image les caractéristiques visuelles et les compare à la bibliothèque de caractéristiques du modèle enregistrée.
  3. Calcul de pose: la pose 6DoF de l'objet dans l'espace 3D est calculée à partir des points correspondants, afin d'aligner précisément le contenu virtuel sur l'objet.
  4. Tracking continu: même si l'objet est partiellement occlus ou se déplace, le système peut maintenir le tracking grâce aux points de caractéristiques encore visibles.

Mécanisme principal

  • Traitement local: tous les calculs sont effectués côté appareil. Le modèle et le contenu sont gérés par le développeur, ce qui garantit une disponibilité offline.
  • Dépendance à la texture: la surface de l'objet doit présenter des textures ou des détails géométriques riches. Les surfaces unies ou lisses, comme le verre ou le métal, sont difficiles à suivre.
  • Format du modèle: seul le format OBJ est pris en charge. Il doit inclure un fichier de matériau MTL et au moins une texture map (JPEG/PNG), et les chemins de fichiers doivent être relatifs. Les chemins absolus ou les espaces sont interdits.

Limites techniques

  • Type d'objet: seuls les objets rigides qui ne se déforment pas sont pris en charge, avec une structure géométrique principalement convexe et sans nombreuses structures trouées.
  • Plage de taille: la taille de l'objet est recommandée entre 10 cm et 2 m. Un objet trop petit ou trop grand affectera sa visibilité à une distance d'expérience naturelle.
  • Exigences environnementales: dépend des conditions d'éclairage. Une scène trop sombre ou surexposée peut rendre detection difficile ou provoquer la perte du tracking.

Effets et résultats attendus

La fonction object tracking dépend de la texture de l'objet lui-même pour la correspondance des caractéristiques visuelles. Les effets atteignables comportent donc certaines limites. Les comprendre aide à définir des standards de test raisonnables pendant le développement.

Effet idéal

  • Ancrage précis: le contenu virtuel s'aligne sur les bords de l'objet 3D.
  • Réponse en temps réel: très faible latence entre le chargement du modèle et la réussite de detection.
  • Résistance à l'occlusion: lorsque l'objet est partiellement occlus, par exemple 30%, le tracking peut encore être maintenu.
  • Prise en charge multi-angle: lorsque l'objet tourne à 360° ou est observé depuis différents angles, le contenu virtuel continue de le suivre.

Situations non idéales et réponses

Phénomène Cause Perception utilisateur Aperçu de solution (voir les chapitres suivants pour les détails)
Impossible à reconnaître Texture du modèle insuffisante, chemin incorrect, encoding du fichier non UTF-8 Le contenu virtuel n'apparaît pas Optimiser la texture du modèle, vérifier le format et le chemin du fichier
Tremblement du tracking Changements d'éclairage importants, surface réfléchissante de l'objet L'objet virtuel tremble visiblement Contrôler l'éclairage, éviter les surfaces réfléchissantes
Perte fréquente Mouvement rapide de l'objet ou occlusion complète L'objet virtuel clignote/disparaît Augmenter la taille du modèle ou combiner motion fusion
Échec du chargement Format de fichier OBJ/MTL incorrect, texture map manquante Impossible d'initialiser le tracker Vérifier les spécifications du modèle, consulter le sample officiel

Méthode de vérification des résultats attendus

  • Phase de développement: utilisez le sample HelloARObjectTracking, importez le modèle de test officiel et fabriquez l'objet physique pour vérifier la fonction de base.
  • Phase de test: testez la stabilité du tracking dans un environnement réel sous différentes conditions d'éclairage, d'angle et d'occlusion.

Résumé et extension

Le 3D object tracking traite localement les caractéristiques visuelles du modèle et convient aux applications AR offline nécessitant des objets non plans. Les développeurs doivent s'assurer que le modèle respecte les spécifications de format et faire attention à la qualité de l'environnement et de la texture de l'objet. Le chapitre suivant expliquera en détail la préparation du modèle et les techniques d'optimisation.