Table of Contents

Gravação de tela de headset: registrar uma experiência AR/MR imersiva

Ao desenvolver, testar ou prestar suporte a usuários com headsets AR ou MR, a gravação de tela é uma forma importante de reproduzir e analisar problemas. No entanto, ao contrário de dispositivos mobile, a gravação de tela de um headset envolve técnicas especiais como Passthrough e Foveated Rendering, então a imagem gravada normalmente não corresponde totalmente à visão estereoscópica completa que o usuário vê diretamente com os dois olhos. Por isso, ao interpretar a gravação, é preciso prestar atenção especial à diferença em relação à experiência visual real do usuário.

Por que a gravação de tela de headset tem diferenças visuais?

Os usuários devem prestar muita atenção: a imagem gravada do headset não é exatamente a mesma que a imagem real vista atrás das lentes. Se encontrar uma anomalia na gravação, descreva-a sempre junto com a experiência real para não confundir o developer.

Estas são as principais diferenças:

  1. Diferença de resolução e nitidez
  • Gravação: geralmente é um stream monocular, por exemplo 1080p ou menos.
  • Olho humano: dependendo da aplicação, a resolução monocular de headsets modernos pode chegar a 2K ou mais.
  • Impacto: o texto ou a imagem que parecem borrados na gravação podem estar nítidos no headset; por outro lado, pequenos serrilhados visíveis no headset podem nem aparecer na gravação.
  1. Diferença de field of view (FOV)
  • Gravação: a imagem gravada costuma ser quadrada. Em dispositivos com FOV amplo, o conteúdo da borda muitas vezes é cortado.
  • Olho humano: a imagem vista é binocular e o campo de visão é maior.
  • Impacto: se o problema ocorre na borda do campo de visão, a gravação talvez não mostre isso com precisão.
  1. Impacto do Foveated Rendering
  • Gravação: todo o conteúdo do campo de visão é incluído, inclusive as áreas periféricas de baixa resolução.
  • Olho humano: o centro do olhar tem alta resolução, enquanto as áreas fora do centro têm resolução menor.
  • Impacto: você sente a imagem muito nítida, mas ao rever a gravação percebe que parte da área está borrada. Isso normalmente é normal e não é bug. Por isso, ao gravar, foque na parte que deseja mostrar para garantir que essa área fique nítida.
  1. Impacto de frame rate e refresh rate
  • Gravação: o frame rate do video gravado costuma ser 30FPS ou 60FPS.
  • Olho humano: o refresh rate real da tela pode chegar a 90Hz ou 120Hz.
  • Impacto: uma queda muito pequena de frame rate pode não ser perceptível na gravação, mas o olho humano pode sentir stutter ou motion sickness de forma clara. Se a gravação parece fluida mas a experiência real não, normalmente é um problema de performance e isso deve ser informado após a gravação.

Nota especial sobre headsets OST

Atenção especial: se você usa um headset OST (Optical See-Through), por exemplo AR glasses como Rokid ou XREAL, a função de gravação de tela não consegue registrar a scene real vista pelo olho humano.

O que é um OST device?

Um OST device projeta a luz diretamente nos olhos por meio de optical lens semitransparentes, enquanto o virtual content é sobreposto no campo de visão por mini projectors ou waveguides. A camera que filma o mundo externo é usada apenas para spatial positioning, não para exibição. Por isso, o dispositivo não consegue “gravar” a scene real vista pelo olho humano.

Limitações da gravação de tela em OST devices

  • Não consegue gravar a scene real: a gravação OST captura apenas a layer de conteúdo virtual (GUI, modelos 3D, pointer de UI etc.).
  • O fundo fica preto: ao reproduzir no PC ou celular, você verá apenas virtual object sobre fundo preto total, perdendo completamente o contexto do ambiente real.
  • A relação de occlusion se perde: se um virtual object deveria ser coberto por um objeto real como uma mão ou uma mesa, na gravação ele aparecerá flutuando sobre o fundo preto e parecerá uma hierarchy de layers incorreta.

Problema de erro visual ao sobrepor virtual content

Mesmo em ambientes ideais, o alignment entre o virtual content exibido por um headset OST e o mundo real sempre apresenta algum grau de erro visual. Esse tipo de erro nem sempre é causado por bug de software ou tracking failure, mas muitas vezes surge de diferenças fundamentais entre as características físicas do device e o sistema visual humano. Parte desses erros não pode ser totalmente eliminada com a tecnologia atual.

Ao enviar feedback, distinga os seguintes casos:

  • Erro de optical alignment:
    • Sintoma: ao mover a cabeça, o virtual object parece “flutuar” ou ter um pequeno deslocamento em relação ao objeto real.
    • Causa: o usuário vê o real world diretamente através de optical lens, enquanto o rendering coordinate system do virtual content normalmente é construído com base em head tracking e systems de compreensão do ambiente como SLAM. Como existe um physical offset entre o optical display path e a camera/IMU usadas para spatial positioning, e é difícil fazer calibration conjunta em nível subpixel, o alignment real-virtual é especialmente sensível nas bordas do FOV ou em cenas de perto.
  • Limite de calibração dos olhos:
    • Sintoma: o virtual object parece duplicado, borrado nas bordas ou como se não tivesse sido projetado corretamente no espaço.
    • Causa: OST devices dependem muito de uma calibração precisa de IPD e da posição dos olhos. Se o device não estiver calibrado com precisão para seus olhos, ou se a posição do headset tiver mudado, a luz projetada pelo optical engine não entrará corretamente na pupil. Mesmo quando existe calibração, o processo se baseia em poucos sample points e não corresponde perfeitamente à geometria ocular, à curvatura da córnea e aos hábitos visuais de cada usuário. Um pequeno desvio de calibração pode causar deslocamento sistemático do virtual object em profundidade ou lateralmente.
  • Diferenças visuais individuais:
    • Sintoma: usuários diferentes podem perceber subjetivamente posições diferentes para o virtual content.
    • Causa: diferenças de visão como miopia, astigmatismo, capacidade de foco dinâmico e outros fatores influenciam a avaliação subjetiva do overlay. Um OST device pode não ter eye tracking em tempo real nem correção óptica personalizada, então não consegue compensar essas diferenças de forma dinâmica para cada usuário.
  • Interferência de fatores ambientais:
    • Sintoma: em ambientes claros o virtual content fica mais fraco, difícil de ver ou até invisível; em ambientes escuros pode ficar superexposto ou gerar ghosting.
    • Causa: o OST device sobrepõe diretamente a luz virtual do mini projector ou waveguide à luz ambiente do real world. Se o ambiente for muito claro, a luz virtual fraca é encoberta; e vice-versa. Esses optical artifacts são uma característica inerente dos OST devices.
Nota

Esse tipo de erro é uma característica inerente da tecnologia OST AR glasses, não uma falha de funcionalidade. Ao analisar o problema, diferencie entre “software/tracking issues corrigíveis” e “limites de experiência impostos por hardware e fisiologia”. Se o feedback do usuário envolver pequeno deslocamento, distorção nas bordas ou inconsistência na percepção de profundidade, confirme primeiro se o device está sendo usado dentro das condições declaradas pelo fabricante, como distância de trabalho, faixa de iluminação e estado de calibração.

Como lidar com o feedback de OST devices?

Se houver um problema visual ao usar um OST device, depois de excluir as limitações acima, você pode fazer uma gravação de tela para feedback. Mas apenas enviar a gravação geralmente não é suficiente:

  1. Anexe uma foto: use o celular para fotografar a imagem real vista através da lente. Isso mostra a posição relativa do virtual object em relação ao ambiente real.
  2. Descreva o ambiente: explique detalhadamente o ambiente em que você está (condições de luz, cor de fundo, presença de elementos dinâmicos como pessoas, etc.), porque o efeito visual do OST depende muito da luz ambiente.

Métodos comuns de gravação de tela em headsets

Nota

Durante a gravação, o device pode reduzir o rendering frame rate ou a resolução, o que afeta a avaliação de fluidez e estabilidade do tracking. Recomenda-se gravar logo após reproduzir o problema, para evitar que uma execução longa altere o resultado.

Apple Vision Pro

  1. Olhe para a parte superior da tela até ver o ponto do Control Center. Foque nele e clique.
  2. Olhe e toque em Control Center > botão “Record My View” para começar a gravação.
  3. Para parar, abra o Control Center e toque novamente em “Record My View”.
  4. A gravação do seu view ficará salva no app “Photos” .

PICO 4 Ultra

  1. Abra Control Center > Settings > General > Casting, Recording, and Screenshot e, em “Recording and Screenshot”, escolha o modo de gravação “Spatial”.
  2. Pressione rapidamente o botão Home do controller, selecione o botão “Recording” no menu que aparecer e aperte o trigger para começar a gravação.
  3. O sistema mostrará uma contagem regressiva; volte imediatamente para o app que deseja gravar e a gravação começará automaticamente ao término da contagem.
  4. Pressione novamente o botão Home do controller e escolha “Recording” de novo para parar a gravação.
  5. O arquivo gravado geralmente fica salvo em Internal Storage/DCIM/ScreenRecord no device.

Rokid Max Pro

  1. Entre no desktop, encontre a status bar na parte inferior e toque na área “Quick Settings” ao lado do avatar do usuário.
  2. Na janela que aparecer, toque em “Record” e volte imediatamente para o app que deseja gravar. O sistema iniciará a gravação automaticamente.
  3. Pressione o botão X no Station Pro para voltar ao desktop. Toque novamente em “Record” na área “Quick Settings” para parar a gravação.
  4. O arquivo gravado geralmente fica salvo em Internal Shared Storage/ScreenRecorder no device.

XREAL Air2 Ultra

  1. Na tela do Beam Pro, deslize para baixo para abrir o control center dos óculos e toque no botão “Screen Record” na parte superior.
  2. O sistema mostrará uma contagem regressiva; volte imediatamente para o app que deseja gravar.
  3. Toque no botão vermelho flutuante “Stop” na parte superior da tela para parar a gravação.
  4. O arquivo gravado geralmente fica salvo em Internal Shared Storage/Movies/Record no device.

Sugestões de best practice

Ao usar a gravação de tela do headset para reportar um problema, observe o seguinte:

  • Ao enviar, informe claramente model do device, método de gravação e fatores ambientais.
  • Se o problema estiver relacionado a depth, occlusion ou tracking jitter, acrescente uma descrição do que o olho humano realmente observou, porque a gravação pode não representar isso com precisão.
  • Para scenes importantes, você também pode filmar com uma camera externa a operação real do usuário com o headset, oferecendo mais contexto.

A gravação de tela do headset é prática, mas continua sendo apenas uma aproximação da experiência. A diagnosis mais confiável ainda exige combinar log, sensor data e feedback subjetivo do usuário. Para métodos de coleta de log, consulte: