Bildschirmaufnahme von Head-Mounted Displays: Aufzeichnung von immersiven AR/MR-Erlebnissen
Bei der Entwicklung, dem Testen oder der Benutzerunterstützung mit Augmented Reality (AR) oder Mixed Reality (MR) Head-Mounted Displays ist die Bildschirmaufnahme ein wichtiges Mittel, um Probleme zu reproduzieren und zu analysieren. Im Gegensatz zu mobilen Geräten beinhaltet die Aufnahme mit Headsets jedoch spezielle Technologien wie Passthrough (Durchsicht) und Foveated Rendering (Blickpunkt-Rendering). Die Aufnahme zeigt normalerweise nicht die vollständige, stereoskopische Ansicht, die der Benutzer direkt durch die Linsen sieht. Daher ist bei der Interpretation der Aufnahmeinhalte besondere Aufmerksamkeit auf die Unterschiede zur tatsächlichen visuellen Erfahrung des Benutzers erforderlich.
Warum unterscheidet sich die Bildschirmaufnahme vom Seherlebnis?
Besonders wichtig für Benutzer: Die Bildschirmaufnahme des Headset entspricht nicht genau dem Bild, das Sie tatsächlich hinter den Linsen sehen. Wenn Sie in der Aufnahme eine Anomalie entdecken, beschreiben Sie diese bitte unbedingt im Zusammenhang mit Ihrem tatsächlichen Erlebnis, um Entwickler nicht in die Irre zu führen.
Hier sind die Hauptunterschiede:
- Unterschiede in Auflösung und Schärfe
- Aufnahme: Typischerweise ein Videostream mit 1080p oder niedrigerer Auflösung eines Auges (z.B. linkes Auge).
- Menschliches Auge: Moderne Headsets können je nach Anwendung eine Einzelauge-Auflösung von 2K oder höher erreichen.
- Auswirkung: Text oder Bilder, die in der Aufnahme unscharf erscheinen, sind im Headset möglicherweise nicht vorhanden; umgekehrt können geringfügige Kantenverzahnungen, die Sie im Headset sehen, in der Aufnahme vollständig unsichtbar sein.
- Unterschiede im Sichtfeld (Field of View, FOV)
- Aufnahme: Das aufgezeichnete Bild ist normalerweise quadratisch. Besonders bei Geräten mit großem Sichtfeld werden Randbereiche oft beschnitten.
- Menschliches Auge: Das wahrgenommene Bild ist binokular und bietet ein größeres Sichtfeld.
- Auswirkung: Wenn Ihr Problem am Rand des Sichtfelds auftritt, kann die Aufnahme dies möglicherweise nicht genau wiedergeben.
- Einfluss von Foveated Rendering (Blickpunkt-Rendering)
- Aufnahme: Der gesamte Bildschirminhalt wird erfasst, einschließlich der Randbereiche mit niedrigerer Auflösung.
- Menschliches Auge: Der foveale Blickpunktbereich ist hochauflösend, während der periphere Bereich außerhalb des Blickpunkts niedriger aufgelöst ist.
- Auswirkung: Sie empfinden das Bild tatsächlich als scharf, stellen aber beim Betrachten der Aufnahme fest, dass Teile unscharf sind. Dies ist oft normal und kein Bug. Konzentrieren Sie sich daher während der Aufnahme unbedingt auf den Bereich, den Sie zeigen möchten, um sicherzustellen, dass dieser Bereich scharf ist.
- Einfluss von Bildrate und Aktualisierungsrate
- Aufnahme: Die Aufnahme erfolgt typischerweise mit 30 FPS oder 60 FPS.
- Menschliches Auge: Die tatsächlich erlebte Bildschirmaktualisierungsrate kann 90 Hz oder 120 Hz betragen.
- Auswirkung: Sehr leichte Einbrüche der Bildrate (Framerate) können in der Aufnahme möglicherweise nicht wahrgenommen werden, fühlen sich für das Auge aber als deutliches "Ruckeln" oder "Schwindelgefühl" an. Wenn die Aufnahme flüssig aussieht, das Erlebnis aber nicht, handelt es sich typischerweise um ein Leistungsproblem. Geben Sie dies nach der Aufnahme unbedingt an.
Besondere Hinweise für OST-Headsets
Besonderes Augenmerk: Wenn Sie ein OST-Headset (Optical See-Through, optisch durchsichtig) verwenden, wie z.B. Rokid-, Xreal- oder ähnliche AR-Brillen, zeichnet die Bildschirmaufnahmefunktion nicht die realen Szeneninhalte auf, die Ihr Auge sieht.
Was ist ein OST-Gerät?
OST-Geräte projizieren Licht direkt durch halbtransparente optische Linsen in Ihr Auge, während virtuelle Inhalte über Mikroprojektion oder Wellenleiter in das Sichtfeld eingeblendet werden. So sehen Sie sowohl die reale Welt als auch überlagerte virtuelle Bilder. Die Kamera, die die Außenwelt aufnimmt, dient nur der Positionsbestimmung im Raum (Tracking), nicht der Darstellung. Aufgrund dieses Mechanismus kann das Gerät selbst die reale Szene, wie das Auge sie sieht, nicht "aufzeichnen".
Einschränkungen der Bildschirmaufnahme bei OST-Geräten
- Keine Aufnahme der realen Szene: Die Aufnahmefunktion von OST-Geräten zeichnet nur die Ebene mit den virtuellen Inhalten auf (GUI, 3D-Modelle, UI-Zeiger usw.).
- Schwarzer Hintergrund: Beim Abspielen dieses Videos auf einem Computer oder Smartphone sehen Sie virtuelle Objekte vor einem rein schwarzen Hintergrund. Der Kontext der realen Umgebung geht vollständig verloren.
- Verlust der Verdeckungsbeziehung: Wenn virtuelle Objekte durch reale Objekte (z.B. Ihre Hand, ein Tisch) verdeckt werden sollten, schweben sie in der Aufnahme über dem schwarzen Bildschirm, was wie eine falsche Ebenenreihenfolge aussieht.
Visuelle Ungenauigkeiten bei der Überlagerung virtueller Inhalte
Selbst unter idealen Bedingungen treten bei OST-Headsets unvermeidlich gewisse visuelle Ungenauigkeiten bei der Ausrichtung der virtuellen Inhalte auf die reale Welt auf. Diese Ungenauigkeiten sind nicht immer auf Software-Bugs oder Tracking-Fehler zurückzuführen, sondern resultieren oft aus grundlegenden Unterschieden zwischen den physikalischen Eigenschaften des Geräts und dem menschlichen Sehsystem. Ein Teil dieser Ungenauigkeiten lässt sich mit der aktuellen Technologie nicht vollständig beseitigen.
Beim Melden von Feedback sollten Sie folgende Fälle unterscheiden:
- Optische Ausrichtungsfehler:
- Phänomen: Bei Kopfbewegungen scheinen virtuelle Objekte zu "schweben" oder weisen eine leichte Positionsabweichung zu realen Objekten auf.
- Ursache: Der Benutzer sieht die reale Welt direkt durch die optischen Linsen, während das Koordinatensystem für das Rendering virtueller Inhalte typischerweise auf Kopf-Tracking und Umgebungserfassungssystemen (wie SLAM) basiert. Da es eine physische Verschiebung zwischen dem optischen Displaypfad und den für die räumliche Erfassung verwendeten Kameras/IMUs gibt und eine subpixelgenaue gemeinsame Kalibrierung schwierig ist, ist die Ausrichtung zwischen virtuell und real besonders an den Rändern des Sichtfelds oder in Nahszenen empfindlich.
- Begrenzungen der Augenkalibrierung:
- Phänomen: Virtuelle Objekte erscheinen mit Geisterbildern (Ghosting), unscharfen Rändern oder scheinen nicht korrekt im Raum positioniert zu sein.
- Ursache: OST-Geräte sind stark von einer präzisen Kalibrierung des Augenabstands (IPD) und der Augenposition abhängig. Wenn das Gerät nicht genau für Ihre Augen kalibriert ist oder sich die Position des Headsets auf Ihrem Kopf verschoben hat, trifft das von der Optik projizierte Licht nicht exakt auf Ihre Pupille. Selbst mit Kalibrierung basiert der Prozess jedoch auf begrenzten Abtastpunkten und kann die Augen-Geometrie, Hornhautkrümmung und visuellen Wahrnehmungsgewohnheiten jedes Benutzers nur schwer genau abbilden. Geringfügige Kalibrierungsabweichungen führen zu systematischen Verschiebungen virtueller Objekte in der Tiefe oder lateralen Position.
- Individuelle visuelle Unterschiede:
- Phänomen: Unterschiedliche Benutzer können die Position virtueller Inhalte subjektiv unterschiedlich beurteilen.
- Ursache: Die Sehstärke (z.B. Kurzsichtigkeit, Astigmatismus) und die dynamische Fokussierfähigkeit unterschiedlicher Benutzer beeinflussen die subjektive Beurteilung der Überlagerungswirkung virtueller Inhalte. OST-Geräten fehlt oft die Fähigkeit zur Echtzeit-Erfassung der Augenbewegungen (Eye-Tracking) und zur personalisierten optischen Korrektur, um diese Unterschiede dynamisch für jeden Benutzer auszugleichen.
- Störungen durch Umgebungsfaktoren:
- Phänomen: Virtuelle Inhalte werden in heller Umgebung blass, schwer sichtbar oder sogar unsichtbar; in dunkler Umgebung sind virtuelle Inhalte überbelichtet oder erzeugen Geisterbilder.
- Ursache: OST-Geräte überlagern das schwache virtuelle Licht der Mikroprojektion oder des Wellenleiters direkt mit dem Umgebungslicht der realen Welt. Ist die reale Umgebung zu hell, überstrahlt sie das virtuelle Licht; ist sie zu dunkel, tritt der umgekehrte Effekt auf. Solche optischen Artefakte sind inhärente Eigenschaften von OST-Geräten.
Anmerkung
Diese Art von Ungenauigkeiten sind inhärente Eigenschaften der OST-AR-Brillentechnologie und keine Funktionsstörungen. Bei der Fehlerbehebung sollten Sie zwischen "behebbaren Software-/Tracking-Problemen" und "durch Hardware und physiologische Grenzen bedingten Erfahrungsbeschränkungen" unterscheiden. Wenn sich das Benutzerfeedback auf leichte Fehlausrichtungen, Randverzerrungen oder inkonsistente Tiefenwahrnehmung bezieht, sollten Sie zunächst prüfen, ob die vom Hersteller spezifizierten Nutzungsbedingungen eingehalten werden (z.B. Arbeitsabstand, Lichtverhältnisse, Kalibrierungsstatus).
Wie geht man mit Feedback zu OST-Geräten um?
Wenn Sie bei der Nutzung eines OST-Geräts auf visuelle Probleme stoßen, können Sie nach Ausschluss der oben genannten gerätespezifischen Einschränkungen eine Bildschirmaufnahme für das Feedback erstellen. Das reine Einreichen der Aufnahme ist jedoch meist nicht ausreichend:
- Kombinieren Sie mit Fotos: Machen Sie mit Ihrem Smartphone ein Foto dessen, was Sie tatsächlich durch die Linsen sehen (sog. "Bild aus der Augenperspektive"). Dies zeigt die relative Position der virtuellen Objekte zur realen Umgebung.
- Beschreiben Sie die Umgebung: Beschreiben Sie Ihre Umgebung detailliert (Lichtverhältnisse, Hintergrundfarbe, Vorhandensein von Bewegung wie Fußgänger), da die Darstellung bei OST extrem vom Umgebungslicht abhängt.
Gängige Methoden zur Bildschirmaufnahme mit Headsets
Anmerkung
Während der Aufnahme kann das Gerät die Render-Framerate oder -Auflösung reduzieren, was die Beurteilung von Flüssigkeit und Tracking-Stabilität beeinträchtigt. Es wird empfohlen, die Aufnahme so bald wie möglich nach dem Reproduzieren des Problems zu starten, um Beeinträchtigungen durch längeren Betrieb zu vermeiden.
Apple Vision Pro
- Blick nach oben zum oberen Bildschirmrand, bis der Control Center-Punkt erscheint. Konzentrieren Sie sich darauf und klicken Sie.
- Blick auf und Antippen von Control Center > "Meine Ansicht aufnehmen"-Schaltfläche
, um die Aufnahme zu starten. - Um die Aufnahme zu stoppen, öffnen Sie Control Center und tippen Sie erneut auf "Meine Ansicht aufnehmen".
- Ihre Aufnahme wird in der Fotos-App
gespeichert.
PICO 4 Ultra Enterprise
- Öffnen Sie Control Center > Einstellungen > Allgemein > Casting, Bildschirmaufnahme und Screenshot. Wählen Sie unter "Bildschirmaufnahme und Screenshot" den Aufnahmemodus "Raum".
- Kurzes Drücken der Home-Taste am Controller. Wählen Sie im aufpoppenden Menü die Schaltfläche "Bildschirmaufnahme" und betätigen Sie den Abzug, um die Aufnahme zu starten.
- Das System zeigt einen Countdown zum Start an. Kehren Sie sofort zur Benutzeroberfläche der zu aufnehmenden App zurück. Die Aufnahme startet automatisch nach dem Countdown.
- Drücken Sie erneut kurz die Home-Taste am Controller und wählen Sie wieder die Schaltfläche "Bildschirmaufnahme", um die Aufnahme zu stoppen.
- Ihre Aufnahme wird standardmäßig im Geräteverzeichnis "Interner Speicher/DCIM/ScreenRecord" gespeichert.
Rokid AR Studio
- Gehen Sie zum Desktop. Klicken Sie im unteren Statusleistenbereich auf den Bereich "Schnelleinstellungen" neben dem Benutzeravatar.
- Klicken Sie im aufpoppenden Fenster auf die Schaltfläche "Aufnehmen". Kehren Sie sofort zur Benutzeroberfläche der zu aufnehmenden App zurück. Das System beginnt automatisch mit der Aufnahme.
- Drücken Sie die X-Taste auf dem Station Pro, um zum Desktop zurückzukehren. Klicken Sie erneut auf die Schaltfläche "Aufnehmen" im Bereich "Schnelleinstellungen", um die Aufnahme zu stoppen.
- Ihre Aufnahme wird standardmäßig im Geräteverzeichnis "Interner gemeinsam genutzter Speicherplatz/ScreenRecorder" gespeichert.
XREAL Air2 Ultra
- Wischen Sie auf dem Beam Pro-Bildschirm nach unten, um das Control Center der Brille aufzurufen. Tippen Sie auf die Schaltfläche "Bildschirmaufnahme" oben.
- Das System zeigt einen Countdown an. Kehren Sie sofort zur Benutzeroberfläche der zu aufnehmenden App zurück.
- Tippen Sie auf den schwebenden roten "Stopp"-Button oben auf dem Bildschirm, um die Aufnahme zu stoppen.
- Ihre Aufnahme wird standardmäßig im Geräteverzeichnis "Interner gemeinsam genutzter Speicherplatz/Filme/Record" gespeichert.
Empfohlene Vorgehensweise
Beim Melden von Problemen mit Headset-Bildschirmaufnahmen sollten Sie folgende Punkte beachten:
- Geben Sie beim Einreichen klar Gerätemodell, Aufnahmemethode und Umgebungsfaktoren an.
- Wenn das Problem Tiefe, Verdeckung oder Tracking-Zittern betrifft, ergänzen Sie die Beschreibung um die tatsächlich mit dem Auge beobachteten Phänomene, da die Aufnahme diese möglicherweise nicht genau wiedergeben kann.
- Für kritische Szenarien kann die Aufnahme mit einer externen Kamera, die den Benutzer mit Headset in Aktion zeigt, zusätzlichen Kontext liefern.
Bildschirmaufnahmen mit Headsets sind zwar praktisch, bleiben aber immer eine Annäherung an das tatsächliche Erlebnis. Die zuverlässigste Diagnose erfordert die Kombination aus Protokollen (Logs), Sensordaten und subjektivem Benutzerfeedback. Informationen zur Protokollaufnahme finden Sie unter: