Table of Contents

Planare verfolgung mit bewegungsverfolgung kombiniert

Dieser Artikel beschreibt, wie die planare Bildverfolgung mit der Gerätebewegungsverfolgung kombiniert wird, um die Verfolgungsstabilität und Benutzererfahrung in komplexen Szenarien zu verbessern. Er behandelt Kernprinzipien, erwartete Effekte und die Analyse potenzieller Probleme.

Grundlegende prinzipien

Motion-Fusion kombiniert die Pose-Daten (Position + Rotation) der planaren Bildverfolgung mit den Pose-Daten der Gerätebewegungsverfolgung, um eine robustere Pose-Schätzung zu erreichen. Hier ist der Kernprozess:

Datensynchronisation und -ergänzung

  • Visuelle Verfolgung: Berechnet die Pose des aktuellen Frames durch Bildmerkmalpunktabgleich, ist jedoch anfällig für Verdeckung, Unschärfe oder schnelle Bewegung.
  • Bewegungsverfolgung: Nutzt IMU-Sensoren für hochfrequente Ausgabedaten sowie die visuelle Bildausgabe, um Gerätebewegungsdaten zu erhalten, leidet aber unter kumulativen Drift-Fehlern.
  • Fusionsmechanismus:
    • Die Posen der visuellen Verfolgung und der Gerätebewegungsverfolgung werden im Koordinatensystem ausgerichtet.
    • Wenn das Zielbild klar sichtbar und die Bewegung stabil ist: Visuelle Verfolgung dominiert. Die visuelle Verfolgungspose wird kontinuierlich in das Fusionsmodul eingespeist, um das kumulative Driften des Gesamtsystems zu korrigieren.
    • Wenn das Zielbild verloren geht oder zu klein im Bild ist, oder bei schneller Bewegung: Visuelle Verfolgung versagt, Bewegungsverfolgung dominiert. Die Fusionspose wird basierend auf der aktuellen Bewegungsverfolgungspose vorhergesagt.

Schlüsseltechnische punkte

  • Zeitstempel-Ausrichtung: Visuelle Frame-Zeitstempel werden mit Bewegungsverfolgungsdaten abgeglichen, um Ruckeln durch Verzögerung zu vermeiden.
  • Koordinatensystem-Ausrichtung: Die Trajektorien der visuellen Verfolgung und der Bewegungsverfolgung werden im Koordinatensystem ausgerichtet.
  • Relokalisierung: Wenn das Bild wieder erscheint, übernimmt die visuelle Verfolgung schnell und korrigiert mögliche kumulative Fehler, wodurch virtuelle Objekte an die korrekte Position "zurückgezogen" werden.

Anwendbare szenarien und einschränkungen

Motion-Fusion ist nicht für alle Szenarien geeignet. Sie ist nicht anwendbar in folgenden Fällen:

  • Das Zielgerät unterstützt keine Bewegungsverfolgungsfunktionen wie ARCore/ARKit. Eine detaillierte Liste unterstützter Geräte finden Sie hier: Bewegungsverfolgung Geräteunterstützung.
  • Das Zielbild/planare Objekt ist in der Szene dynamisch, z.B. eine Karte, die in der Hand gehalten wird.

In allen anderen Szenarien verbessert Motion-Fusion die Benutzererfahrung der planaren Bildverfolgung erheblich, einschließlich, aber nicht beschränkt auf:

  • Schnelle bewegung: Der Benutzer bewegt das Gerät schnell, Bewegungsunschärfe führt zum Ausfall der Bildverfolgung.
  • Ziel verschwindet: Das Bild verlässt das Ziel selbst oder das Ziel wird durch dynamische Objekte (z.B. Personen) verdeckt, während virtuelle Inhalte in der Szene erhalten bleiben.
  • Vom ziel entfernen: Der Benutzer bewegt das Gerät vom Ziel weg, sodass das Zielbild im Bild zu klein wird, während die Verfolgung stabil bleibt.
  • Schlechte lichtverhältnisse: Die Leistung der visuellen Verfolgung nimmt ab, die Erfahrung muss aufrechterhalten werden.

Effekt und erwartete ergebnisse

Bei geeignetem Szenario bietet Motion-Fusion im Vergleich zur reinen planaren Bildverfolgung eine stabilere, flüssigere Benutzererfahrung.

Idealer effekt

  • Stabilere verfolgung: Virtuelle Objekte ruckeln oder springen nicht.
  • Sanfter übergang: Wenn die visuelle Verfolgung ausfällt, ändert sich die Fusionspose kontinuierlich und natürlich.
  • Störungsresistenz: Wenn das Zielbild verloren geht, verdeckt wird oder das Gerät sich schnell bewegt, folgen virtuelle Objekte weiterhin der Gerätebewegung.

Unerwünschte situationen und lösungen

Phänomen Ursache Benutzerwahrnehmung Lösung
Initial nicht aktiv Bewegungsverfolgung benötigt Initialisierungszeit Inhalte verschwinden in der Anfangsphase Klare UI-Hinweise, bis die System-Bewegungsverfolgung initialisiert ist
Deutliches driften Kumulativer Systemfehler, lange ohne visuelle Korrektur Virtuelles Objekt weicht von der ursprünglichen Position ab Benutzer anleiten, Verdeckungszeiten zu verkürzen oder visuelle Relokalisierungshinweise hinzuzufügen
Leistungsabfall Lange gleichzeitige Ausführung beider Funktionen Bildrate sinkt, Ruckeln Normales Phänomen, Motion-Fusion kann über API deaktiviert werden

Verifikationsmethode für erwartete ergebnisse

Testen mit unterstütztem Gerät in realer Umgebung:

  1. Bild ausrichten, Stabilität des virtuellen Objekts bestätigen.
  2. Bild 2 Sekunden mit Hand verdecken und Gerät bewegen, beobachten ob virtuelles Objekt sich flüssig mitbewegt.
  3. Hand wegnehmen, bestätigen dass virtuelles Objekt schnell korrigiert wird und nicht springt.

Zusammenfassung und best practices

Motion-Fusion verbessert die Robustheit der planaren Bildverfolgung in vielen Szenarien erheblich, erfordert jedoch Hardware-Unterstützung und ausreichende Geräteleistung. Entwickler sollten die Funktion basierend auf den Zielgeräten der Benutzer selektiv aktivieren und auf leistungsschwachen Geräten eine Ausweichlösung bereitstellen.

API-Referenz zum Echtzeit-Aktivieren/Deaktivieren von Motion-Fusion: