EasyAR Flächenerkennung
Die EasyAR Flächenerkennung erkennt automatisch horizontale Flächen in der Umgebung, während die EasyAR Bewegungserfassung läuft, und bietet Funktionen wie die Platzierung virtueller Objekte.
Funktionsweise der EasyAR Flächenerkennung
Die EasyAR Flächenerkennung (Plane Detection) ist eine einfache Fähigkeit zum Umgebungsverständnis, die während des Betriebs der EasyAR Bewegungserfassung (Motion Tracker) synchron automatisch durchgeführt wird. Das System modelliert die reale Umgebung kontinuierlich auf der Grundlage von räumlich-zeitlichen Informationen, die von der Gerätekamera und den Trägheitssensoren erfasst werden, um horizontale Flächen in der Umgebung zu erkennen und zu verfolgen. Dies bietet grundlegende Unterstützung für die Platzierung virtueller Objekte, die Interaktionsausrichtung und das räumliche Verständnis.
Der konkrete Ablauf ist wie folgt:
Bewegungserfassung
Während des Betriebs der Bewegungserfassung erfasst EasyAR kontinuierlich zwei Arten von Kerndaten: fortlaufende Bildframes von der RGB-Kamera und Daten von Beschleunigungsmesser und Gyroskop. Durch einen visuell-trägheitsbasierten Fusionsalgorithmus schätzt das System die kontinuierliche 6-DOF-Position und -Ausrichtung des Geräts im Weltkoordinatensystem und bietet so eine stabile, driftarme Kameratrajektorie für die nachfolgende räumliche Modellierung und Flächenanalyse.
Merkpunktdetektion und Triangulation
Auf der Grundlage der Poseschätzung extrahiert und verfolgt EasyAR stabile visuelle Merkpunkte (wie Eckpunkte oder texturreiche Bereiche) aus der Bildsequenz und rekonstruiert deren Position im dreidimensionalen Raum durch Methoden der Mehrbildgeometrie (Triangulation), wodurch eine lokale 3D-Punktwolkenrepräsentation entsteht.
Generierung von Flächenkandidatenbereichen
Nach Erhalt der 3D-Punktwolke führt das System eine geometrische Analyse der Punktwolke durch, um Punktsätze zu finden, die möglicherweise zu derselben Fläche gehören. Durch die Beziehung zur Schwerkraftrichtung kann das System horizontale Flächenkandidaten unterscheiden, d. h. Flächen, deren Normalenvektoren annähernd parallel zur Schwerkraftrichtung sind (z. B. Boden, Tischplatte).
Flächenverfolgung und -erkennung
EasyAR überprüft und aktualisiert die erkannten Flächen in aufeinanderfolgenden Frames:
- Es wird beurteilt, ob neu beobachtete 3D-Punkte das bestehende Flächenmodell unterstützen;
- Der Flächenbereich, die Grenzen und die Konfidenz werden dynamisch basierend auf der Beobachtungskonsistenz angepasst;
- Kurzzeitig auftretende oder instabile Flächenkandidaten werden verworfen. Nur wenn sowohl geometrische Konsistenz als auch zeitliche Stabilität die Anforderungen erfüllen, wird das Ergebnis als "verfügbare Fläche" betrachtet.
Flächenkoordinatensystem und Ausrichtung von virtuellem Inhalt
Sobald eine Fläche bestätigt ist, können Sie realistischere AR-Effekte basierend auf dem Flächenerkennungsergebnis erzielen:
- Platzieren virtueller Objekte auf der Fläche, um eine Ausrichtung in realem Maßstab und Richtung zu erreichen;
- Durchführen von Strahlabfragen (Hit Test), um Bildschirmberührungen auf reale Flächenpositionen abzubilden;
- Implementierung von flächenbasierten Interaktionslogiken, wie Objektanheftung, Bewegung und Verdeckungsprüfung.
Da die Fläche und das Bewegungserfassungssystem dasselbe Weltkoordinatensystem teilen, können virtuelle Objekte bei Bewegung des Geräts durch den Benutzer eine stabile, kontinuierliche räumliche Konsistenz beibehalten.
Die Flächenerkennung ist abhängig von der stabilen Pose und Raumstruktur, die von der Bewegungserfassung bereitgestellt wird, während die Flächenerkennungsergebnisse umgekehrt zur Verbesserung der Umgebungsverständnisfähigkeit beitragen können, z. B. zur Unterstützung der Inhaltsplatzierung und Interaktionsgestaltung. Zusammen bilden sie die Kernbasis der räumlichen Wahrnehmungsfähigkeit von EasyAR, sind aber in der Systemarchitektur entkoppelt. Die Flächenerkennung verändert nicht die eigentlichen Poseschätzergebnisse der Bewegungserfassung.
Best practices
Um die Effektivität der Flächenerkennung für den Benutzer zu gewährleisten, kann die Einhaltung der folgenden Praktiken die Benutzererfahrung verbessern.
- Weisen Sie den Benutzer an, sich langsam zu bewegen, und vermeiden Sie Stillstehen, schnelle Bewegungen oder Drehungen auf der Stelle.
- Vermeiden Sie Flächen ohne Textur, einfarbige Flächen, spiegelnde Flächen usw., die visuell schwer zu erkennen sind.
Anmerkung
Die Flächenerkennung ist eine Funktion von EasyAR, um horizontale Flächen in der Umgebung zu erkennen. Die Oberflächenverfolgung erkennt oder identifiziert keine Flächenstrukturen in der Szene; dies ist zu unterscheiden.