Table of Contents

Grabación de pantalla de headset: registrar una experiencia AR/MR inmersiva

Al desarrollar, probar o dar soporte a usuarios con headsets AR o MR, la grabación de pantalla es una herramienta importante para reproducir y analizar problemas. Sin embargo, a diferencia de los dispositivos móviles, la grabación de pantalla de un headset involucra técnicas especiales como Passthrough y Foveated Rendering, por lo que la imagen grabada normalmente no coincide por completo con la vista estereoscópica completa que los dos ojos del usuario ven directamente. Por eso, al interpretar la grabación, hay que prestar especial atención a la diferencia con la experiencia visual real del usuario.

¿Por qué la grabación de pantalla del headset tiene diferencias visuales?

El usuario debe prestar mucha atención: la imagen grabada del headset no es exactamente la misma que la imagen real que ve detrás de las lentes. Si detecta una anomalía en la grabación, asegúrese de describirla junto con la experiencia real para no confundir al developer.

Estas son las principales diferencias:

  1. Diferencia de resolución y nitidez
  • Grabación: normalmente es un stream monocular, por ejemplo 1080p o menos.
  • Ojo humano: según la aplicación, la resolución monocular de los headsets modernos puede llegar a 2K o más.
  • Impacto: el texto o la imagen que se ven borrosos en la grabación quizá no estén borrosos en el headset; al revés, un pequeño serrado en bordes visible en el headset puede no verse en la grabación.
  1. Diferencia de campo de visión (FOV)
  • Grabación: la imagen grabada suele ser cuadrada. En dispositivos con FOV amplio, el contenido de los bordes a menudo se recorta.
  • Ojo humano: la imagen vista es binocular y el campo de visión es mayor.
  • Impacto: si el problema ocurre en el borde del campo de visión, la grabación quizá no lo muestre con precisión.
  1. Impacto de Foveated Rendering
  • Grabación: se incluye todo el contenido del campo de visión, incluidas las zonas de borde de baja resolución.
  • Ojo humano: el centro de la mirada tiene alta resolución, y las zonas fuera del centro tienen menor resolución.
  • Impacto: usted siente que la imagen es nítida, pero al revisar la grabación ve que parte de la zona está borrosa. Esto normalmente es normal y no es un bug. Por eso, al grabar, concéntrese en la parte que quiere mostrar para asegurar que quede nítida.
  1. Impacto de frame rate y refresh rate
  • Grabación: la tasa de fotogramas del video grabado suele ser 30FPS o 60FPS.
  • Ojo humano: la frecuencia de actualización real puede llegar a 90Hz o 120Hz.
  • Impacto: una caída muy pequeña de frame rate quizá no se perciba en la grabación, pero el ojo humano sí puede notar stutter o motion sickness. Si la grabación parece fluida pero la experiencia real no, normalmente es un problema de performance y debe describirse claramente.

Nota especial para headsets OST

Atención especial: si usa un headset OST (Optical See-Through), por ejemplo gafas AR como Rokid o XREAL, la función de grabación de pantalla no puede grabar la scene real que ve el ojo humano.

¿Qué es un dispositivo OST?

Un dispositivo OST proyecta la luz directamente a los ojos a través de lentes ópticas semitransparentes, y el contenido virtual se superpone en el campo de visión mediante mini proyectores o waveguides. La cámara que captura el mundo exterior solo se usa para positioning espacial, no para visualización. Debido a este mecanismo, el dispositivo no puede “grabar” la scene real que ve el ojo humano.

Limitaciones de la grabación en dispositivos OST

  • No puede grabar la scene real: la grabación OST solo registra la capa de contenido virtual (GUI, modelos 3D, pointers de UI, etc.).
  • El fondo es negro: al reproducir el video en una PC o móvil, verá objetos virtuales sobre fondo negro puro, perdiendo por completo el contexto del entorno real.
  • Se pierde la relación de occlusion: si un objeto virtual debería ser ocultado por un objeto real como su mano o una mesa, en la grabación aparecerá flotando sobre la pantalla negra y parecerá una relación de capa incorrecta.

Problema de error visual por superposición de contenido virtual

Incluso en un entorno ideal, la alignment entre el contenido virtual mostrado por un headset OST y el mundo real siempre presenta cierto grado de error visual. Este tipo de error no siempre proviene de un bug de software o de un fallo de tracking, sino que a menudo surge de diferencias fundamentales entre las características físicas del dispositivo y el sistema visual humano. Parte de estos errores no puede eliminarse por completo con la tecnología actual.

Al enviar feedback, distinga los siguientes casos:

  • Error de optical alignment:
    • Síntoma: al mover la cabeza, el objeto virtual parece “flotar” o tener un pequeño desplazamiento respecto al objeto real.
    • Causa: el usuario mira el mundo real directamente a través de lentes ópticas, mientras que el sistema de coordenadas de rendering del contenido virtual suele construirse sobre head tracking y sistemas de comprensión del entorno como SLAM. Debido al desplazamiento físico entre la ruta óptica de la pantalla y la cámara/IMU usadas para positioning espacial, y a la dificultad de realizar una calibración conjunta a nivel subpíxel, la alignment real-virtual es especialmente sensible en los bordes del campo de visión o en escenas cercanas.
  • Limitación de calibración ocular:
    • Síntoma: el objeto virtual parece duplicado, borroso en los bordes o como si no se proyectara correctamente en el espacio.
    • Causa: los dispositivos OST dependen enormemente de una calibración precisa de IPD y de la posición del ojo. Si el dispositivo no está calibrado con precisión para sus ojos, o si la posición del headset se desplaza, la luz proyectada por el optical engine no entra correctamente en la pupila. Incluso si existe calibración, el proceso se basa en puntos de muestreo limitados y difícilmente coincide con la geometría ocular, la curvatura corneal y los hábitos visuales de cada usuario. Un pequeño desvío de calibración puede provocar un desplazamiento sistemático del objeto virtual en profundidad o lateralmente.
  • Diferencias visuales individuales:
    • Síntoma: distintos usuarios pueden tener percepciones subjetivas diferentes sobre la posición del contenido virtual.
    • Causa: diferencias de visión como miopía, astigmatismo, capacidad de enfoque dinámico y otros factores influyen en la evaluación subjetiva del overlay. Un dispositivo OST puede no tener eye tracking en tiempo real ni corrección óptica personalizada, por lo que no puede compensar estas diferencias dinámicamente para cada usuario.
  • Interferencia de factores ambientales:
    • Síntoma: en un entorno brillante el contenido virtual se atenúa, se ve mal o incluso desaparece; en un entorno oscuro puede sobreexponerse o incluso mostrar ghosting.
    • Causa: el dispositivo OST superpone directamente la luz virtual del mini proyector o waveguide con la luz ambiental del mundo real. Si el entorno es demasiado brillante, la débil luz virtual queda tapada; y viceversa. Estos artefactos ópticos son una característica inherente del dispositivo OST.
Nota

Este tipo de error forma parte de las características inherentes de la tecnología OST AR glasses, no de un fallo de funcionalidad. Al investigar un problema, distinga entre “problemas de software/tracking corregibles” y “límites de experiencia impuestos por el hardware y la fisiología”. Si el feedback del usuario menciona ligeros desplazamientos, distorsión de bordes o inconsistencia en la percepción de profundidad, primero confirme si está dentro de las condiciones de uso declaradas por el dispositivo, como distancia de trabajo, rango de iluminación y estado de calibración.

¿Cómo tratar el feedback de dispositivos OST?

Si tiene un problema visual al usar un dispositivo OST, después de descartar las limitaciones del dispositivo, puede grabar la pantalla para enviar feedback. Pero normalmente no basta con enviar solo la grabación:

  1. Adjunte una foto: use el móvil para tomar una foto de la imagen real que ve a través de la lente. Esto muestra la relación entre el objeto virtual y el entorno real.
  2. Describa el entorno: explique con detalle el entorno en el que se encuentra (condiciones de luz, color de fondo, si hay elementos dinámicos como peatones, etc.), porque el rendimiento visual de OST depende enormemente de la luz ambiental.

Métodos de grabación de pantalla para los headsets más comunes

Nota

Durante la grabación, el dispositivo puede reducir el frame rate o la resolución, lo que afecta la evaluación de fluidez y estabilidad del tracking. Se recomienda grabar tan pronto como se reproduzca el problema para evitar que una ejecución larga afecte el resultado.

Apple Vision Pro

  1. Mire hacia la parte superior de la pantalla hasta ver el punto del Control Center. Fije la vista en ese punto y haga clic.
  2. Mire y pulse Control Center > botón “Record My View” para empezar a grabar.
  3. Para detener la grabación, abra el Control Center y vuelva a pulsar “Record My View”.
  4. La grabación de su view se guardará en la app “Photos” .

PICO 4 Ultra

  1. Abra Control Center > Settings > General > Casting, Recording, and Screenshot y, en “Recording and Screenshot”, seleccione el modo de grabación “Spatial”.
  2. Pulse brevemente el botón Home del controller, seleccione “Recording” en el menú emergente y presione el trigger para comenzar a grabar.
  3. El sistema mostrará una cuenta atrás; vuelva inmediatamente a la app que desea grabar y la grabación comenzará automáticamente cuando termine.
  4. Pulse otra vez brevemente el botón Home del controller y vuelva a seleccionar “Recording” para detener la grabación.
  5. El archivo de grabación suele guardarse en Internal Storage/DCIM/ScreenRecord.

Rokid Max Pro

  1. Entre en el desktop, localice la status bar inferior y pulse el área “Quick Settings” junto al avatar del usuario.
  2. En la ventana emergente, pulse “Record” y vuelva inmediatamente a la app que desea grabar. El sistema comenzará la grabación automáticamente.
  3. Pulse el botón X en Station Pro para volver al desktop. Pulse otra vez “Record” en “Quick Settings” para detener la grabación.
  4. El archivo de grabación suele guardarse en Internal Shared Storage/ScreenRecorder.

XREAL Air2 Ultra

  1. En la pantalla de Beam Pro, deslice hacia abajo para abrir el control center de las gafas y pulse “Screen Record” en la parte superior.
  2. El sistema mostrará una cuenta atrás; vuelva inmediatamente a la app que desea grabar.
  3. Pulse el botón rojo flotante “Stop” en la parte superior de la pantalla para detener la grabación.
  4. El archivo de grabación suele guardarse en Internal Shared Storage/Movies/Record.

Recomendaciones de best practice

Al usar la grabación de pantalla del headset para reportar un problema, tenga en cuenta lo siguiente:

  • Al enviar, indique claramente el model del dispositivo, el método de grabación y los factores ambientales.
  • Si el problema está relacionado con profundidad, occlusion o tracking jitter, añada una descripción de lo que realmente vio el ojo humano, porque la grabación quizá no lo represente con exactitud.
  • Para escenas importantes, puede complementar con una cámara externa que grabe la operación real del usuario con el headset puesto para dar más contexto.

La grabación de pantalla del headset es práctica, pero siempre es solo una aproximación de la experiencia. La diagnosis más fiable sigue necesitando combinar logs, sensor data y feedback subjetivo del usuario. Para métodos de recogida de logs, consulte: