EIF-Dateien aufzeichnen und für simulierte Ausführung verwenden
Eine EIF-Datei (EasyAR Input Frame file) ist das Dateiformat, das EasyAR Sense zum Speichern einer Folge von Eingabeframe-Daten verwendet. Dieser Artikel beschreibt hauptsächlich, wie EIF-Dateien aufgezeichnet und für simulierte Ausführung verwendet werden.
EIF-Dateien und Inhalte
Je nach Aufzeichnungsmethode gibt es für EIF-Dateien zwei Implementierungen:
Ursprüngliches EIF-Format (normalerweise mit der Erweiterung .eif)
Ursprüngliche EIF-Dateien speichern Eingabeframe-Daten Frame für Frame mit intern in EasyAR definierten Datenstrukturen, einschließlich Bildern und zusätzlichen Informationen wie camera-Parametern und Tracking-Status. Dieses Format verwendet keine Videokomprimierung, sondern kodiert die Daten Frame für Frame, zum Beispiel JPEG-Bilddaten, und eignet sich daher für eine präzise Wiedergabe.
EIF-MKV-Format (normalerweise mit der Erweiterung .mkveif)
Dies ist ein Videoformat auf Basis eines MKV-Containers. Die Informationen der Eingabeframes werden dabei in den MKV-Container kodiert. Die Videokodierung verwendet H.264 zur Komprimierung der Bilddaten, während andere Metadaten der Eingabeframes, wie IMU-Sensordaten und localization-Daten, als Streams oder zusätzliche Spuren erhalten bleiben. Dadurch kann die Dateigröße deutlich reduziert werden, und die Verarbeitung standardisierter Videostreams wird erleichtert.
Anmerkung
Das EIF-MKV-Format unterstützt derzeit nur die Aufzeichnung auf Android/iOS/macOS/visionOS und die Wiedergabe auf Windows/macOS. Das traditionelle EIF-Format hat diese Einschränkung nicht.
EIF-Aufzeichnung und -Wiedergabe
EasyAR stellt einen vollständigen Mechanismus für Aufzeichnung und Wiedergabe bereit, der hauptsächlich über die folgenden Komponenten gesteuert wird:
InputFrameRecorder / InputFramePlayer
Zweck
Komponenten für Aufzeichnung und Wiedergabe des ursprünglichen EIF-Formats.
Merkmale
Während der Aufzeichnung werden alle eingehenden Eingabeframes serialisiert und gespeichert, einschließlich Bildern, Parametern, Tracking-Status und weiteren Daten.
VideoInputFrameRecorder / VideoInputFramePlayer
Zweck
Komponenten für Aufzeichnung und Wiedergabe des EIF-MKV-Formats.
Merkmale
Die Aufzeichnung unterstützt mehr Sensordatenströme, etwa Gyroskop-, Beschleunigungsmesser- und localization-Daten, und verpackt sie gemeinsam in eine EIF-MKV-Datei. Auf der Wiedergabeseite kann ausgewählt werden, ob diese Daten ausgegeben werden, sodass die verschiedenen Eingaben zum Zeitpunkt der Aufzeichnung auf einem PC vollständig simuliert werden können.
Prinzipien und erreichbare Effekte bei der Verwendung von EIF für simulierte Ausführung
Die Verwendung einer aufgezeichneten EIF-Datei als Eingabedatenquelle entspricht dem "Wiedergeben" des vollständigen Datenstroms der physischen Kamera und der zugehörigen Sensoren für die AR engine zur Laufzeit. Durch die Simulation der Eingabeframe-Sequenz:
Die AR engine geht davon aus, weiterhin Daten von der physischen Kamera zu erhalten
Jeder bei der Wiedergabe ausgegebene Frame enthält den ursprünglichen Zeitstempel, camera-Parameter und Tracking-Status und treibt den Algorithmus dazu an, diese Frames wie Echtzeitdaten zu verarbeiten.
Reales Laufzeitverhalten kann in Umgebungen ohne Gerät reproduziert werden, etwa auf einem PC oder im Unity Editor
So können Sie visual tracking, spatial map und andere Funktionen ohne physisches Gerät debuggen und Mega sowie andere Funktionen unter Windows/Mac simuliert ausführen.
Mit EIF für simulierte Ausführung lassen sich folgende Effekte erzielen:
Reproduktion des realen Datenflusses Auch ohne Kamera können AR-Funktionen wie in einer realen Ausführung betrieben werden, zum Beispiel planar image tracking, spatial localization und dense map generation.
Einfachere Entwicklung, Fehlersuche und Diagnose Aufgezeichnete EIF-Dateien können verwendet werden, um Ursachen von Tracking-Fehlern zu analysieren, das Verhalten von AR-Algorithmen bei bestimmten Eingaben zu überprüfen oder Leistungsschwankungen zu untersuchen.
Plattformübergreifende Wiedergabe EIF-Dateien können zwischen verschiedenen Plattformen übertragen werden, um auf einem PC das auf einem Telefon aufgezeichnete Verhalten einer AR Session zu reproduzieren und ohne Gerät zu debuggen.
Nächste Schritte
Plattformspezifische Anleitungen
Das Aufzeichnen von EIF-Dateien und ihre Verwendung für simulierte Ausführung ist eng mit der Plattform verbunden. Verwenden Sie je nach Zielplattform die folgenden Anleitungen für die Entwicklung: