Table of Contents

Prise en charge des headsets et glasses EasyAR

EasyAR SDK offre de puissantes capacités AR multiplateformes, et son concept de conception s'adapte également aux nouveaux appareils de spatial computing que sont les headsets. Cet article explique comment EasyAR prend en charge les headsets et comment les développeurs peuvent utiliser ces capacités pour créer des immersive experiences.

Explication des termes

Dans ce document, "headset" ou "Headset" désigne spécifiquement un type d'appareil informatique porté sur la tête et prenant en charge une interaction immersive ou see-through. Ces appareils peuvent afficher du virtual content devant les yeux de l'utilisateur, permettant des expériences de augmented reality (AR) ou mixed reality (MR). Cela inclut :

  • Optical See-Through, OST Headset : permet de voir directement le monde réel à travers des lentilles semi-transparentes.
  • Video See-Through, VST Headset : capture le monde réel via une camera et l'affiche sous forme de video stream. En général, les headsets sont aussi appelés AR glasses, MR glasses ou VR helmet. Les appellations peuvent varier selon le vendor et le type d'appareil, mais dans cet article nous utilisons "headset" de manière uniforme pour ce type d'appareil.

Principe de fonctionnement des headsets

Pour mieux comprendre le principe de prise en charge des headsets par EasyAR, il faut d'abord comprendre le flux de travail de base de ces appareils :

  1. Environmental sensing : grâce à plusieurs cameras intégrées, un depth sensor comme l'iToF et une inertial measurement unit (IMU), l'appareil perçoit en temps réel la structure géométrique, les conditions lumineuses et les surfaces des objets de l'environnement.
  2. Spatial computing : à partir des données des capteurs, le système SLAM suit en temps réel la 6DoF pose de la tête de l'utilisateur (position + orientation).
  3. Content rendering and display : le contenu 3D, comme les modèles et les effets, est rendu en fonction de la pose de l'appareil puis projeté à l'écran. En mode VR, seule une image virtuelle pure est affichée ; en mode AR/MR, l'image virtuelle est combinée avec l'environnement réel (image camera VST ou fond see-through OST).
  4. Interaction system : il reçoit les commandes de l'utilisateur et répond via controller, gesture recognition, voix ou eye tracking.

Principe de prise en charge d'EasyAR pour les headsets

EasyAR ne remplace pas le native spatial tracking ni le rendering pipeline du headset, mais fonctionne avec eux comme un "spatial computing enhancer". En tant que AR algorithm engine professionnel, il fournit des capacités de spatial perception et de computing pour divers scénarios AR et coopère efficacement avec le système natif de l'appareil.

Scope of Responsibility Role Division
6DOF head tracking, display rendering, basic interaction, etc. SDK/runtime natif du headset
Capacités avancées de perception comme image/object recognition et tracking, ainsi que large-scale spatial positioning EasyAR SDK

Le SDK EasyAR fournit les fonctions AR principales pour comprendre le monde, comme image/object recognition, sparse reconstruction, dense reconstruction et large-scale spatial positioning. Il est chargé de "comprendre" le monde et d'indiquer à l'application headset où placer le virtual content.

Le SDK EasyAR s'intègre dans le framework de développement des applications headset (généralement Unity ou Unreal) sous forme de plugin ou de library. Il reçoit le flux de données brut du système de l'appareil, le traite et le calcule, puis génère une pose matrix relative au spatial coordinate system de l'appareil. Enfin, le rendering pipeline du moteur du headset dessine les virtual objects à la bonne position.

État du support et méthodes d'implémentation

EasyAR offre une prise en charge complète des principales platform de développement headset, principalement de deux façons :

  • Via Unity/Unreal Engine : c'est la méthode la plus courante et recommandée. Les vendors de headsets fournissent généralement des plugins Unity/Unreal dédiés ou des XR SDK. EasyAR peut s'intégrer sans friction aux SDK des vendors.
  • Via platform Native : pour les scénarios nécessitant des performances extrêmes ou un développement native spécifique, vous pouvez utiliser les native interfaces d'EasyAR en C++, Java ou Objective-C. Cela demande généralement au développeur de gérer lui-même le docking des interface avec les données de bas niveau de l'appareil.

EasyAR a déjà été testé et vérifié sur plusieurs principales platform de headset via Unity. Les appareils actuellement confirmés comme pris en charge sont les suivants :

Modèle de casque Vendor SDK and version requirement System and firmware version requirement
Apple Vision Pro ARKit in visionOS visionOS 2 ou version ultérieure
PICO 4 Ultra1 PICO Unity Integration SDK 3.4.0 ou version ultérieure Versions déclarées prises en charge par le SDK du fabricant2
PICO Space Pro1 PICO Unity Integration SDK 3.4.0 ou version ultérieure Versions déclarées prises en charge par le SDK du fabricant2
Meta Quest 3/3S3 Meta MRUK (Mixed Reality Utility Kit) 201 ou version ultérieure Versions déclarées prises en charge par le SDK du fabricant2
Rokid Max Pro
(Rokid AR Studio or other officially supported Rokid usage methods)		 Rokid Unity OpenXR Plugin 3.0.3 ou version ultérieure Versions déclarées prises en charge par le SDK du fabricant2
XREAL Air2 Ultra XREAL SDK 3.1 ou version ultérieure Versions déclarées prises en charge par le SDK du fabricant2
Xrany X1 Xrany Yuanni SDK Versions déclarées prises en charge par le SDK du fabricant2
Note

Rokid Max Pro peut être pris en charge via Rokid Unity OpenXR Plugin pour Rokid UXR 3, mais il est recommandé d'utiliser XR Interaction Toolkit, surtout pour une utilisation cross-device.

Important

Apple Vision Pro et XREAL nécessitent tous deux leur enterprise authorization correspondante pour être utilisés. Si vous avez des questions, contactez le service commercial.

  • En raison des restrictions d'interface authorization d'Apple Vision Pro, seuls les appareils disposant d'une Apple enterprise API license sont pris en charge.
  • En raison des restrictions d'interface authorization de XREAL, seuls les appareils disposant d'une enterprise authorization sont pris en charge.

Pour les appareils headset d'autres vendors non mentionnés ci-dessus, EasyAR fournit une méthode d'accès étendue comme custom camera. Vous pouvez vous référer à Create an EasyAR Headset Extension Package pour l'intégration et la terminer vous-même.

Cela comprend généralement les étapes suivantes :

  1. Obtenir les droits de développement de l'appareil : demandez un developer account et la SDK documentation du headset cible.
  2. Obtenir les flux de données des capteurs : récupérez depuis le SDK de l'appareil les données nécessaires, comme les camera images (video frames) et les camera parameters.
  3. Appeler l'API EasyAR : utilisez les low-level API d'EasyAR pour envoyer les sensor data obtenus à FrameSource d'EasyAR afin de les traiter.
  4. Obtenir et appliquer les résultats du calcul : récupérez les résultats de calcul (camera pose) depuis le engine EasyAR et appliquez-les à votre 3D rendering engine.

Nous fournissons des guides de développement détaillés et du sample code pour vous aider à mener ce processus à bien. Si vous rencontrez des problèmes pendant l'intégration, vous êtes invité à demander un support technique dans notre developer community.

Fonctions principales disponibles

Sur les appareils headset, vous pouvez exploiter pleinement la matrix de fonctions EasyAR pour créer des spatial applications riches :

  • Planar Image Tracking : reconnaît et suit des images prédéfinies, puis superpose des vidéos dynamiques ou des modèles 3D dessus.
  • 3D Object Tracking : reconnaît et suit des modèles 3D prédéfinis, comme des jouets et des boîtes de produits, et permet au virtual content d'interagir avec eux.
  • Sparse Spatial Map : scanne l'environnement pour générer une 3D visual map et fournit des fonctions de visual positioning et tracking. La carte générée peut être enregistrée ou partagée en temps réel entre plusieurs appareils.
  • Dense Spatial Map : scanne et génère un dense point cloud map et un mesh model (Mesh) de l'environnement, permettant la physical occlusion entre objets virtuels et réels et augmentant fortement l'immersion.
  • Cloud Image Recognition : se connecte à la cloud database d'EasyAR pour reconnaître et gérer un grand nombre d'images, adapté à des scénarios comme les expositions et l'éducation.
  • Mega Large-Scale Spatial Positioning : solution de spatial computing à l'échelle d'une ville qui se connecte au cloud positioning service d'EasyAR pour obtenir un positioning et un tracking stables, rapides et précis, élargissant fortement le champ des expériences AR.

Guides spécifiques par plateforme

Pour vous aider à démarrer rapidement sur des plateformes spécifiques, nous avons préparé des guides d'intégration multiplateforme détaillés. Cliquez sur les onglets ci-dessous pour voir les quick-start tutorials de la plateforme correspondante.

  1. Vous devez utiliser EasyAR Sense Unity Plugin PICO Extension 4000.1 ou plus récent + EasyAR Sense Unity Plugin 4003.1 ou plus récent. Les versions antérieures ne prennent en charge que les appareils PICO 4 Ultra Enterprise et nécessitent l'enterprise interface authorization du vendor PICO.↩↩

  2. La compatibilité système et firmware est maintenue par le fabricant. EasyAR fournit uniquement le support de compatibilité avec le SDK du fabricant.↩↩↩↩↩↩

  3. EasyAR Sense Unity Plugin 4003.1.1 ou version ultérieure est requis.↩