Enregistrer des fichiers EIF et les utiliser pour une exécution simulée
Le fichier EIF (EasyAR Input Frame file) est le format de fichier utilisé par EasyAR Sense pour stocker une série de données de frames d'entrée. Cet article décrit principalement comment enregistrer des fichiers EIF et les utiliser pour une exécution simulée.
Fichiers EIF et contenu
Les fichiers EIF ont deux implémentations selon la méthode d'enregistrement:
Format EIF original (généralement avec l'extension .eif)
Les fichiers EIF originaux stockent les données des frames d'entrée frame par frame à l'aide de structures de données définies en interne par EasyAR, notamment les images et les informations supplémentaires comme les paramètres camera et l'état de suivi. Ce format n'utilise pas de compression vidéo, mais encode les données frame par frame, par exemple les données d'image JPEG, ce qui le rend adapté à une lecture précise.
Format EIF MKV (généralement avec l'extension .mkveif)
Il s'agit d'un format vidéo basé sur un conteneur MKV. Les informations des frames d'entrée sont encodées dans le conteneur MKV. L'encodage vidéo utilise H.264 pour compresser les données d'image, tout en conservant les autres métadonnées des frames d'entrée, comme les données de capteurs IMU et les données de localization, sous forme de flux ou de pistes supplémentaires. Cela peut réduire considérablement la taille du fichier et faciliter le traitement des flux vidéo standards.
Note
Le format EIF MKV prend actuellement en charge uniquement l'enregistrement sur Android/iOS/macOS/visionOS et la lecture sur Windows/macOS. Le format EIF traditionnel n'a pas cette limitation.
Enregistrement et lecture EIF
EasyAR fournit un mécanisme complet d'enregistrement et de lecture, principalement contrôlé par les composants suivants:
InputFrameRecorder / InputFramePlayer
Utilisation
Composants d'enregistrement et de lecture correspondant au format EIF original.
Caractéristiques
Pendant l'enregistrement, toutes les frames d'entrée reçues sont sérialisées et enregistrées, y compris les images, les paramètres, l'état de suivi et d'autres données.
VideoInputFrameRecorder / VideoInputFramePlayer
Utilisation
Composants d'enregistrement et de lecture correspondant au format EIF MKV.
Caractéristiques
L'enregistrement prend en charge davantage de flux de données de capteurs, comme le gyroscope, l'accéléromètre et les données de localization, et les encapsule ensemble dans un fichier EIF MKV. Le côté lecture peut choisir de produire ces données, ce qui facilite la simulation complète sur PC des différentes entrées présentes au moment de l'enregistrement.
Principes et effets atteignables avec EIF pour l'exécution simulée
Utiliser un fichier EIF enregistré comme source de données d'entrée revient à "rejouer" au AR engine le flux de données complet de la caméra physique et de ses capteurs associés pendant l'exécution. En simulant la séquence de frames d'entrée:
Le AR engine considère qu'il reçoit toujours les données de la caméra physique
Chaque frame produite pendant la lecture contient l'horodatage d'origine, les paramètres camera et l'état de suivi, ce qui pousse l'algorithme à traiter ces frames comme des données en temps réel.
Le comportement réel à l'exécution peut être reproduit dans des environnements sans appareil, comme un PC ou Unity Editor
Vous pouvez ainsi déboguer visual tracking, spatial map et d'autres fonctions sans appareil physique, et simuler Mega et d'autres fonctions sur Windows/Mac.
L'utilisation d'EIF pour l'exécution simulée permet d'obtenir les effets suivants:
Reproduire le flux de données réel Même sans caméra, les fonctions AR peuvent être pilotées comme lors d'une exécution réelle, par exemple planar image tracking, spatial localization et dense map generation.
Faciliter le développement, le débogage et le diagnostic Les fichiers EIF enregistrés peuvent être utilisés pour analyser les causes d'échec du suivi, vérifier le comportement des algorithmes AR avec des entrées spécifiques ou examiner les fluctuations de performance.
Lecture multiplateforme Les fichiers EIF peuvent être transférés entre différentes plateformes pour reproduire sur PC le comportement d'une AR Session enregistrée sur téléphone, permettant le débogage sans l'appareil.
Étapes suivantes
Guides spécifiques aux plateformes
L'enregistrement de fichiers EIF et leur utilisation pour une exécution simulée sont étroitement liés à la plateforme. Consultez les guides suivants pour développer selon votre plateforme cible: