Table of Contents

Enregistrement d’écran du headset : enregistrer une expérience AR/MR immersive

Lors du développement, des tests ou du support utilisateur avec des headsets AR ou MR, l’enregistrement d’écran est un moyen important de reproduire et d’analyser les problèmes. Cependant, contrairement aux mobile devices, l’enregistrement d’écran d’un headset implique des techniques spéciales comme le Passthrough et le Foveated Rendering, si bien que l’image enregistrée ne correspond généralement pas entièrement à la vue stéréo complète que l’utilisateur voit directement avec ses deux yeux. Il faut donc prêter une attention particulière à la différence avec l’expérience visuelle réelle lors de l’interprétation de l’enregistrement.

Pourquoi l’enregistrement d’écran du headset présente-t-il des différences visuelles ?

Les utilisateurs doivent être particulièrement attentifs : l’image enregistrée du headset n’est pas exactement celle que vous voyez réellement derrière les lentilles. Si vous trouvez une anomalie dans l’enregistrement, décrivez-la toujours avec l’expérience réelle afin de ne pas induire les développeurs en erreur.

Les principales différences sont les suivantes :

  1. Différence de résolution et de netteté
  • Enregistrement : il s’agit généralement d’un stream monoculaire, par exemple 1080p ou moins.
  • Vision humaine : selon l’application, la résolution monoculaire des headsets modernes peut atteindre 2K ou davantage.
  • Impact : un texte ou une image flous dans l’enregistrement peuvent être nets dans le headset ; à l’inverse, de petites irrégularités de bord visibles dans le headset peuvent ne pas apparaître dans l’enregistrement.
  1. Différence de field of view (FOV)
  • Enregistrement : l’image enregistrée est généralement carrée. Sur les appareils à large FOV, le contenu des bords est souvent coupé.
  • Vision humaine : l’image perçue est binoculaire et le champ de vision est plus large.
  • Impact : si le problème se situe au bord du champ de vision, l’enregistrement peut ne pas le montrer avec précision.
  1. Impact du Foveated Rendering
  • Enregistrement : tout le contenu du champ de vision est inclus, y compris les zones périphériques à basse résolution.
  • Vision humaine : le centre du regard a une haute résolution, tandis que les zones hors centre ont une résolution plus faible.
  • Impact : vous trouvez l’image très nette, mais en revoyant l’enregistrement vous constatez que certaines zones sont floues. C’est généralement normal et ce n’est pas un bug. C’est pourquoi, lors de l’enregistrement, concentrez-vous bien sur la partie que vous voulez montrer afin que cette zone soit capturée nettement.
  1. Impact du frame rate et du refresh rate
  • Enregistrement : le frame rate de la vidéo enregistrée est généralement de 30FPS ou 60FPS.
  • Vision humaine : le refresh rate réel peut atteindre 90Hz ou 120Hz.
  • Impact : une très légère baisse de frame rate peut ne pas être visible dans l’enregistrement, mais la vision humaine peut percevoir un stutter ou un motion sickness évident. Si l’enregistrement semble fluide alors que l’expérience réelle ne l’est pas, c’est généralement un problème de performance et il faut le signaler après l’enregistrement.

Note spéciale pour les headsets OST

Attention particulière : si vous utilisez un headset OST (Optical See-Through), par exemple des AR glasses comme Rokid ou XREAL, la fonction d’enregistrement d’écran ne peut pas enregistrer la scene réelle vue par l’œil humain.

Qu’est-ce qu’un OST device ?

Un OST device projette directement la lumière vers les yeux à travers des optical lens semi-transparentes, tandis que les virtual contents sont superposés dans le champ de vision via un mini projector ou un waveguide. La caméra qui filme le monde extérieur sert uniquement au spatial positioning, pas à l’affichage. De ce fait, l’appareil ne peut pas “enregistrer” la scene réelle vue par l’œil humain.

Limites de l’enregistrement d’écran sur les OST device

  • Impossible d’enregistrer la scene réelle : l’enregistrement OST ne capture que la couche des virtual contents (GUI, 3D models, UI pointer, etc.).
  • Fond noir : lors de la lecture sur PC ou mobile, on voit seulement des virtual objects sur un fond noir total, ce qui fait perdre tout le contexte réel.
  • La relation d’occlusion disparaît : si un virtual object devrait être masqué par un objet réel comme une main ou une table, il apparaîtra dans l’enregistrement comme flottant sur fond noir et donnera l’impression d’une hiérarchie de layers incorrecte.

Problème d’erreur visuelle lors de la superposition des virtual contents

Même dans un environnement idéal, l’alignment entre les virtual contents affichés par un headset OST et le real world comporte inévitablement un certain degré d’erreur visuelle. Ce type d’erreur n’est pas toujours causé par un bug software ou un tracking failure, mais provient souvent de différences fondamentales entre les caractéristiques physiques de l’appareil et le système visuel humain. Certaines erreurs ne peuvent pas être complètement supprimées avec la technologie actuelle.

Lorsque vous soumettez un feedback, distinguez les cas suivants :

  • Erreur d’optical alignment :
    • Symptôme : lorsque vous bougez la tête, le virtual object semble “flotter” ou présenter un léger décalage par rapport à l’objet réel.
    • Cause : l’utilisateur regarde directement le real world à travers des optical lens, tandis que le rendering coordinate system du virtual content est généralement construit à partir du head tracking et de systèmes de compréhension de l’environnement comme le SLAM. En raison du décalage physique entre le optical display path et la camera/IMU utilisées pour le spatial positioning, et de la difficulté d’une calibration conjointe au niveau subpixel, l’alignment réel-virtuel est particulièrement sensible dans les bords du champ de vision ou dans les scènes de proximité.
  • Limite de calibration des yeux :
    • Symptôme : le virtual object semble doublé, flou sur les bords, ou comme s’il n’était pas correctement projeté dans l’espace.
    • Cause : les OST device dépendent énormément d’une calibration précise de l’IPD et de la position des yeux. Si l’appareil n’est pas calibré précisément pour vos yeux, ou si la position du headset a bougé, la lumière projetée par l’optical engine n’entre plus correctement dans la pupille. Même lorsqu’une calibration existe, le processus repose sur un nombre limité de points d’échantillonnage et ne correspond pas parfaitement à la géométrie de l’œil, à la courbure cornéenne et aux habitudes visuelles de chaque utilisateur. Une légère erreur de calibration peut provoquer un décalage systématique du virtual object en profondeur ou latéralement.
  • Différences visuelles individuelles :
    • Symptôme : l’évaluation subjective de la position du virtual content peut varier d’un utilisateur à l’autre.
    • Cause : des différences de vision comme la myopie, l’astigmatisme, la capacité d’accommodation dynamique et d’autres facteurs influencent l’évaluation subjective de l’overlay. Un OST device peut ne pas disposer d’un eye tracking en temps réel ni d’une correction optique personnalisée, et ne peut donc pas compenser dynamiquement ces différences pour chaque utilisateur.
  • Interférence des facteurs environnementaux :
    • Symptôme : dans un environnement lumineux, le virtual content devient plus pâle, difficile à voir, voire invisible ; dans un environnement sombre, il peut être surexposé ou produire du ghosting.
    • Cause : l’OST device superpose directement la lumière virtuelle du mini projector ou du waveguide à la lumière ambiante du real world. Si l’environnement réel est trop lumineux, la faible virtual light est masquée ; et inversement. Ces artefacts optiques sont une caractéristique inhérente des OST device.
Note

Ce type d’erreur est une caractéristique inhérente de la technologie OST AR glasses, et non un dysfonctionnement. Lors du diagnostic, distinguez les “software/tracking issues corrigeables” des “limites d’expérience imposées par le hardware et la physiologie”. Si le feedback utilisateur concerne un léger décalage, une distorsion des bords ou une incohérence dans la perception de la profondeur, vérifiez d’abord si l’appareil est utilisé dans les conditions d’usage annoncées, comme la distance de travail, la plage de lumière et l’état de calibration.

Comment traiter le feedback pour les OST device ?

Si vous rencontrez un problème visuel en utilisant un OST device, après avoir écarté les limites décrites ci-dessus, vous pouvez faire un enregistrement d’écran pour le feedback. Mais un simple enregistrement d’écran est généralement insuffisant :

  1. Ajouter une photo : utilisez un téléphone pour photographier l’image réelle que vous voyez à travers la lentille (une “eye-view photo”). Cela montre la position relative du virtual object par rapport à l’environnement réel.
  2. Décrire l’environnement : décrivez en détail l’environnement dans lequel vous vous trouvez (conditions lumineuses, couleur de fond, présence d’éléments dynamiques comme des passants, etc.), car l’affichage OST dépend énormément de la lumière ambiante.

Méthodes courantes d’enregistrement d’écran pour les headsets

Note

Pendant l’enregistrement, l’appareil peut réduire le rendering frame rate ou la résolution, ce qui influence l’évaluation de la fluidité et de la stabilité du tracking. Il est conseillé d’enregistrer dès que le problème est reproduit afin d’éviter qu’une longue exécution n’en fausse le résultat.

Apple Vision Pro

  1. Levez les yeux vers le haut de l’écran jusqu’à voir le point du Control Center. Fixez-le puis cliquez.
  2. Regardez et appuyez sur Control Center > bouton “Record My View” pour démarrer l’enregistrement.
  3. Pour arrêter l’enregistrement, ouvrez le Control Center et appuyez à nouveau sur “Record My View”.
  4. L’enregistrement de votre view sera sauvegardé dans l’app “Photos” .

PICO 4 Ultra

  1. Ouvrez Control Center > Settings > General > Casting, Recording, and Screenshot et, dans “Recording and Screenshot”, choisissez le mode d’enregistrement “Spatial”.
  2. Appuyez brièvement sur le bouton Home du controller, sélectionnez le bouton “Recording” dans le menu qui apparaît, puis appuyez sur le trigger pour commencer l’enregistrement.
  3. Le système affichera un compte à rebours ; revenez immédiatement à l’app que vous voulez enregistrer, puis l’enregistrement commencera automatiquement à la fin du compte à rebours.
  4. Appuyez de nouveau brièvement sur le bouton Home du controller et resélectionnez “Recording” pour arrêter l’enregistrement.
  5. Le fichier enregistré est généralement sauvegardé dans Internal Storage/DCIM/ScreenRecord sur l’appareil.

Rokid Max Pro

  1. Entrez dans le desktop, trouvez la status bar en bas et appuyez sur la zone “Quick Settings” à côté de l’avatar utilisateur.
  2. Dans la fenêtre qui apparaît, appuyez sur le bouton “Record” puis revenez immédiatement à l’app à enregistrer. Le système démarre automatiquement l’enregistrement.
  3. Appuyez sur la touche X de Station Pro pour revenir au desktop. Appuyez de nouveau sur “Record” dans la zone “Quick Settings” pour arrêter l’enregistrement.
  4. Le fichier enregistré est généralement sauvegardé dans Internal Shared Storage/ScreenRecorder sur l’appareil.

XREAL Air2 Ultra

  1. Sur l’écran de Beam Pro, faites glisser vers le bas pour ouvrir le control center des lunettes, puis appuyez sur le bouton “Screen Record” en haut.
  2. Le système affichera un compte à rebours ; revenez immédiatement à l’app à enregistrer.
  3. Appuyez sur le bouton rouge flottant “Stop” en haut de l’écran pour arrêter l’enregistrement.
  4. Le fichier enregistré est généralement sauvegardé dans Internal Shared Storage/Movies/Record sur l’appareil.

Recommandations de best practice

Lorsque vous utilisez l’enregistrement d’écran du headset pour signaler un problème, gardez les points suivants à l’esprit :

  • Lors de la soumission, indiquez clairement le model de l’appareil, la méthode d’enregistrement et les facteurs environnementaux.
  • Si le problème concerne la profondeur, l’occlusion ou le tracking jitter, ajoutez une description de ce que l’œil humain a réellement observé, car l’enregistrement peut ne pas le représenter fidèlement.
  • Pour les scènes critiques, vous pouvez aussi filmer avec une camera externe l’utilisation réelle du headset par l’utilisateur afin de fournir davantage de contexte.

L’enregistrement d’écran du headset est pratique, mais il ne reste qu’une approximation de l’expérience. Le diagnostic le plus fiable nécessite encore de combiner logs, sensor data et feedback subjectif de l’utilisateur. Pour les méthodes de collecte de logs, voir :