Suivi d'objets et suivi de mouvement combinés
Ce document explique comment fusionner le suivi 3D d'objets avec le suivi de mouvement des appareils pour améliorer la stabilité du suivi et l'expérience utilisateur dans des scènes complexes. Il couvre les principes fondamentaux, les résultats attendus et l'analyse des problèmes potentiels.
Principes de base
Fusion de mouvement (Motion Fusion) combine les données de pose du suivi 3D d'objets et celles du suivi de mouvement des appareils pour une estimation de pose plus robuste. Voici le processus clé :
Synchronisation et complémentarité des données
- Suivi visuel : Calcule la pose actuelle (position + rotation) via la correspondance de points caractéristiques dans l'image, mais est sensible aux occultations, flous ou mouvements rapides.
- Suivi de mouvement : Utilise les données haute fréquence des capteurs IMU et la sortie visuelle pour obtenir le mouvement de l'appareil, mais accumule des erreurs de dérive.
- Mécanisme de fusion :
- Aligne les systèmes de coordonnées des poses des deux méthodes.
- Lorsque l'objet cible est visible et stable : Privilégie le suivi visuel. Les poses corrigées réduisent la dérive cumulative.
- Lorsque l'objet est perdu, trop petit ou en mouvement rapide : Le suivi visuel échoue, le suivi de mouvement prend le relais pour prédire la pose fusionnée.
Points techniques clés
- Alignement temporel : Synchronise les horodatages des images visuelles et des données de mouvement pour éviter les saccades.
- Alignement des coordonnées : Harmonise les trajectoires des deux systèmes de suivi.
- Relocalisation : Quand l'objet réapparaît, le suivi visuel corrige rapidement les erreurs cumulatives pour repositionner l'objet virtuel.
Scénarios applicables et limitations
La fusion de mouvement n'est pas adaptée à tous les cas. Elle est incompatible si :
- L'appareil ne prend pas en charge ARCore/ARKit ou technologies similaires. Liste des appareils compatibles : Support des appareils.
- L'objet cible est dynamique (ex: jouet tenu en main).
Dans les autres scénarios, elle améliore significativement l'expérience utilisateur, notamment pour :
- Mouvements rapides : Suivi maintenu malgré le flou de mouvement.
- Disparition de la cible : Contenu virtuel persiste lors d'occultations ou de sortie du champ.
- Éloignement : Suivi stable même si l'objet devient minuscule dans l'image.
- Faible luminosité : Compensation de la baisse de performance visuelle.
Résultats et effets attendus
Lorsque applicable, la fusion de mouvement offre une expérience plus stable et fluide que le suivi 3D seul.
Effets idéaux
- Suivi plus stable : Objets virtuels sans saccades ni sauts.
- Transitions fluides : Changements de pose naturels lors des défaillances visuelles.
- Robustesse : Suivi continu malgré les occultations ou mouvements brusques.
Cas problématiques et solutions
| Phénomène | Cause | Perception utilisateur | Solution |
|---|---|---|---|
| Non-activation initiale | Initialisation nécessaire du suivi de mouvement | Contenu disparaît temporairement | Ajouter des indications UI pendant l'initialisation |
| Dérive importante | Erreurs cumulées sans correction visuelle | Objet virtuel décalé | Limiter la durée d'occultation / Ajouter des aides à la relocalisation |
| Baisse de performance | Double traitement prolongé | Ralentissements ou saccades | Désactiver la fusion via l'API si nécessaire |
Méthode de validation
Tester sur appareil compatible :
- Pointer l'objet cible : Vérifier la stabilité de l'objet virtuel.
- Occulter l'objet 2 secondes en bougeant : Observer le déplacement fluide.
- Découvrir l'objet : Confirmer un repositionnement rapide sans saut.
Conclusion et bonnes pratiques
La fusion de mouvement améliore la robustesse du suivi 3D, mais nécessite un support matériel adéquat. Les développeurs doivent l'activer sélectivement selon le public cible et prévoir des solutions de repli pour appareils moins performants.
API pour activer/désactiver en temps réel :
- Natif : setResultPostProcessing
- Unity : EnableMotionFusion