Table of Contents

EasyAR Plane Detection

EasyAR Plane Detection erkennt automatisch horizontale Ebenen in der Umgebung, während EasyAR Motion Tracker läuft, und stellt Funktionen wie das Platzieren virtueller Objekte bereit.

Funktionsweise von EasyAR Plane Detection

EasyAR Plane Detection ist eine einfache Fähigkeit zum Verständnis der Umgebung, die synchron während der Ausführung von EasyAR Motion Tracker automatisch ausgeführt wird. Auf Grundlage der raumzeitlichen Informationen aus Gerätekamera und Inertialsensoren modelliert das System die reale Umgebung kontinuierlich, erkennt und verfolgt horizontale Ebenen und bietet grundlegende Unterstützung für das Platzieren virtueller Objekte, Interaktionsausrichtung und räumliches Verständnis.

planedetection

Der konkrete Ablauf ist:

  1. Motion tracking

    Während motion tracking läuft, erfasst EasyAR kontinuierlich zwei Kerndatentypen: fortlaufende Bildframes der RGB-Kamera sowie Daten von Beschleunigungssensor und Gyroskop. Durch einen visuell-inertialen Fusionsalgorithmus schätzt das System die kontinuierliche Position und Orientierung des Geräts mit sechs Freiheitsgraden im Weltkoordinatensystem und liefert eine stabile Kameratrajektorie mit geringer Drift für die anschließende räumliche Modellierung und Ebenenanalyse.

  2. Feature point-Erkennung und Triangulation

    Auf Basis der pose-Schätzung extrahiert und verfolgt EasyAR stabile visuelle feature point aus der Bildsequenz, etwa Ecken oder auffällige Texturbereiche, und trianguliert diese Punkte mittels Mehransichtsgeometrie, um ihre Positionen im 3D-Raum wiederherzustellen und eine lokale 3D point cloud-Darstellung zu bilden.

  3. Generierung von Ebenenkandidaten

    Nach dem Erhalt der 3D point cloud führt das System eine geometrische Analyse durch, um Punktmengen zu finden, die zu derselben Ebene gehören könnten. Über die Beziehung zur Schwerkraftrichtung kann das System Kandidaten horizontaler Ebenen unterscheiden, also Ebenen, deren Normalenvektoren ungefähr parallel zur Schwerkraftrichtung sind, wie Boden oder Tischplatten.

  4. Ebenenverfolgung und -erkennung

    EasyAR validiert und aktualisiert erkannte Ebenen in aufeinanderfolgenden Frames:

    • Bestimmt, ob neu beobachtete 3D-Punkte ein vorhandenes Ebenenmodell unterstützen;
    • Passt Ebenenausdehnung, Grenze und confidence dynamisch anhand der Beobachtungskonsistenz an;
    • Entfernt kurzzeitig auftretende oder instabile Ebenenkandidaten. Ein Ergebnis wird nur dann zu einer “verfügbaren Ebene”, wenn sowohl geometrische Konsistenz als auch zeitliche Stabilität die Anforderungen erfüllen.

  5. Ebenenkoordinatensystem und Ausrichtung virtueller Inhalte

    Sobald eine Ebene bestätigt ist, können Sie das Ergebnis von plane detection nutzen, um realistischere AR-Effekte umzusetzen:

    • Virtuelle Objekte auf der Ebene platzieren und an realer Skalierung und Richtung ausrichten;
    • Ray casting, Hit Test, durchführen, um Bildschirmtipps auf reale Ebenenpositionen abzubilden;
    • Ebenenbasierte Interaktionslogik umsetzen, etwa Objekteinrasten, Bewegung und Okklusionsentscheidungen.

Da Ebenen und das motion tracking-System dasselbe Weltkoordinatensystem verwenden, können virtuelle Objekte eine stabile und kontinuierliche räumliche Konsistenz behalten, während der Benutzer das Gerät bewegt.

Plane detection hängt von der stabilen pose und räumlichen Struktur ab, die motion tracking bereitstellt. Umgekehrt können plane detection-Ergebnisse das Umgebungsverständnis verbessern, etwa bei der Platzierung von Inhalten und beim Interaktionsdesign. Gemeinsam bilden sie die Kernbasis der räumlichen Wahrnehmung von EasyAR, sind in der Systemarchitektur jedoch entkoppelt. Plane detection ändert nicht das pose-Schätzungsergebnis von motion tracking selbst.

Best Practices

Um die Benutzererfahrung mit plane detection sicherzustellen, befolgen Sie diese Praktiken.

  • Leiten Sie Benutzer an, sich langsam zu bewegen und Stillstand, schnelle Bewegung oder Drehen auf der Stelle zu vermeiden.
  • Vermeiden Sie texturlose, einfarbige, spiegelnde oder anderweitig visuell schwer erkennbare Ebenen.
Anmerkung

Plane Detection ist die EasyAR-Funktion zum Erkennen horizontaler Ebenen in der Umgebung. Surface Tracking erkennt keine Ebenenstrukturen in einer Szene und sollte davon unterschieden werden.

Weiterführende Lektüre