Table of Contents

Gravação de tela em headsets: documentando experiências imersivas de AR/MR

Ao desenvolver, testar ou fornecer suporte a usuários usando headsets de realidade aumentada (AR) ou realidade mista (MR), a gravação de tela é uma ferramenta crucial para reproduzir e analisar problemas. No entanto, diferente dos dispositivos móveis, a gravação em headsets envolve tecnologias especiais como transparência (Passthrough) e renderização foveada (Foveated Rendering). A imagem capturada geralmente não equivale completamente à visão estereoscópica integral vista diretamente pelos olhos do usuário. Portanto, ao interpretar o conteúdo gravado, é essencial atentar para as diferenças entre a gravação e a experiência visual real.

Por que a gravação de tela do headset apresenta diferenças visuais?

Os usuários devem estar especialmente atentos: a gravação de tela do headset não é idêntica à imagem real que você vê através das lentes. Se encontrar anomalias na gravação, descreva-as sempre considerando sua percepção real para evitar interpretações equivocadas pela equipe de desenvolvimento.

Aqui estão as principais diferenças:

  1. Diferenças de resolução e nitidez
  • Gravação: normalmente um fluxo de vídeo monocular (ex.: olho esquerdo) em 1080p ou resolução inferior.
  • Visão humana: dependendo do aplicativo, headsets modernos podem oferecer resolução monocular de 2K ou superior.
  • Impacto: texto ou imagens borradas na gravação podem não existir no headset; inversamente, pequenos serrilhados perceptíveis no headset podem ser invisíveis na gravação.
  1. Diferenças no campo de visão (FOV)
  • Gravação: a imagem capturada é geralmente quadrada. Em dispositivos com FOV amplo, o conteúdo periférico costuma ser cortado.
  • Visão humana: a imagem percebida é binocular, com campo visual mais amplo.
  • Impacto: se o problema ocorrer na periferia do campo visual, a gravação pode não capturá-lo com precisão.
  1. Impacto da renderização foveada (Foveated Rendering)
  • Gravação: inclui todo o conteúdo do campo visual, incluindo áreas periféricas de baixa resolução.
  • Visão humana: a região central do olhar tem alta resolução, enquanto a periferia não fixada apresenta resolução reduzida.
  • Impacto: você pode sentir a imagem como nítida, mas ao revisar a gravação percebe áreas borradas. Isso geralmente é normal, não um bug. Portanto, durante a gravação, foque na área que deseja demonstrar para garantir sua nitidez.
  1. Impacto da taxa de quadros e atualização
  • Gravação: normalmente gravada em 30FPS ou 60FPS.
  • Visão humana: a taxa de atualização real pode chegar a 90Hz ou 120Hz.
  • Impacto: quedas de taxa de quadros muito sutis podem passar despercebidas na gravação, mas são percebidas como "engasgos" ou "tontura". Se a gravação parece fluida, mas a experiência não, é provável um problema de desempenho - mencione isso após gravar.

Considerações especiais para headsets OST

Atenção especial: se você usa um headset OST (Optical See-Through, transparência óptica), como óculos AR da Rokid, Xreal, etc., a função de gravação de tela não captura o conteúdo do mundo real visto pelo olho humano.

O que são dispositivos OST?

Dispositivos OST projetam luz diretamente em seus olhos através de lentes ópticas semi-transparentes, enquanto o conteúdo virtual é sobreposto à visão por microprojeção ou guias de onda, permitindo que você veja simultaneamente o mundo real e imagens virtuais. A câmera que filma o ambiente externo serve apenas para rastreamento espacial, não para exibição. Devido a esse mecanismo, o dispositivo não pode "gravar" a cena real vista pelo olho humano.

Limitações da gravação em dispositivos OST

  • Impossível gravar o mundo real: a função de gravação OST captura apenas a camada de conteúdo virtual (GUI, modelos 3D, ponteiros de UI, etc.).
  • Fundo preto: ao reproduzir o vídeo no computador ou celular, você verá objetos virtuais sobre um fundo preto sólido, perdendo completamente o contexto do ambiente real.
  • Relações de oclusão perdidas: se um objeto virtual deveria ser ocluído por um objeto real (como sua mão ou uma mesa), na gravação ele parecerá flutuar sobre o fundo preto, sugerindo relações de camada incorretas.

Problemas de erro visual na sobreposição de conteúdo virtual

Mesmo em condições ideais, o alinhamento entre o conteúdo virtual apresentado por headsets OST e o mundo real apresenta inevitavelmente algum grau de erro visual. Esses erros nem sempre são causados por bugs de software ou falhas de rastreamento; frequentemente originam-se de diferenças fundamentais entre as propriedades físicas do dispositivo e o sistema visual humano, sendo alguns irredutíveis com a tecnologia atual.

Ao enviar feedback, distinga estas situações:

  • Erro de alinhamento óptico:
    • Fenômeno: ao mover a cabeça, objetos virtuais parecem "flutuar" ou ter pequenos desvios em relação a objetos reais.
    • Causa: o usuário vê o mundo real diretamente através das lentes ópticas, enquanto o sistema de coordenadas para renderizar conteúdo virtual é construído com base em rastreamento de cabeça e compreensão ambiental (ex.: SLAM). Existe um deslocamento físico entre o caminho óptico de exibição e as câmeras/IMU usadas para rastreamento espacial. Além disso, a calibração conjunta em nível subpixel é desafiadora, tornando o alinhamento especialmente sensível na visão periférica ou em cenas próximas.
  • Limitações da calibração ocular:
    • Fenômeno: objetos virtuais parecem ter fantasmas (ghosting), bordas borradas ou parecem projetados incorretamente no espaço.
    • Causa: dispositivos OST dependem criticamente de uma calibração precisa da distância interpupilar (IPD) e da posição do olho. Se o dispositivo não estiver calibrado precisamente para seus olhos, ou se o headset se mover, a luz projetada pelo motor óptico não entra corretamente em suas pupilas. Mesmo com calibração, o processo baseia-se em pontos de amostragem limitados, dificultando o ajuste perfeito à geometria ocular, curvatura da córnea e hábitos perceptivos de cada usuário. Pequenos desvios de calibração causam deslocamentos sistemáticos na profundidade ou posição lateral do objeto virtual.
  • Diferenças visuais individuais:
    • Fenômeno: usuários diferentes podem julgar subjetivamente a posição do conteúdo virtual de forma distinta.
    • Causa: acuidade visual (ex.: miopia, astigmatismo), capacidade de foco dinâmico, entre outros fatores, afetam o julgamento subjetivo do efeito de sobreposição. Dispositivos OST geralmente carecem de rastreamento ocular em tempo real e capacidade de correção óptica personalizada, impossibilitando a compensação dinâmica dessas diferenças por usuário.
  • Interferência de fatores ambientais:
    • Fenômeno: em ambientes claros, conteúdo virtual fica desbotado, ilegível ou invisível; em ambientes escuros, o conteúdo virtual pode ficar superexposto ou gerar fantasmas.
    • Causa: dispositivos OST sobrepõem a luz virtual (de microprojeção ou guias de onda) à luz ambiental do mundo real. Ambientes muito claros ofuscam a luz virtual fraca; o inverso também ocorre. Esses artefatos são características intrínsecas da óptica OST.
Nota

Esses erros são características inerentes da tecnologia de óculos AR OST, não falhas funcionais. Ao solucionar problemas, diferencie "problemas de software/rastreamento corrigíveis" dos "limites de experiência impostos por hardware e fisiologia". Se o feedback do usuário envolve desalinhamento leve, distorção periférica ou inconsistência na percepção de profundidade, verifique primeiro se as condições de uso especificadas pelo fabricante foram atendidas (ex.: distância de trabalho, faixa de iluminação, estado de calibração).

Como lidar com feedback de dispositivos OST?

Se você encontrar problemas visuais com um dispositivo OST, após excluir os fatores limitantes mencionados, pode fazer uma gravação de tela para feedback. Porém, apenas enviar a gravação geralmente não basta:

  1. Combine com fotos: tire uma foto com seu celular da imagem real vista através das lentes (chamada de "foto da perspectiva do olho"). Isso mostra a posição relativa do objeto virtual em relação ao ambiente real.
  2. Descreva o ambiente: detalhe as condições do ambiente (iluminação, cor de fundo, presença de elementos dinâmicos como pessoas), pois a exibição OST depende criticamente da luz ambiental.

Métodos comuns de gravação de tela em headsets

Nota

Durante a gravação, o dispositivo pode reduzir a taxa de quadros ou resolução de renderização, afetando o julgamento de fluidez e estabilidade de rastreamento. Recomenda-se gravar logo após reproduzir o problema, evitando operações prolongadas que comprometam o resultado.

Apple Vision Pro

  1. Olhe para cima em direção ao topo da tela até ver o ponto do Centro de Controle. Concentre-se nesse ponto e clique.
  2. Olhe e toque em Centro de Controle > botão "Gravar minha visão" para iniciar a gravação.
  3. Para parar a gravação, abra o Centro de Controle e toque em "Gravar minha visão" novamente.
  4. Sua gravação será salva no App Fotos .

PICO 4 Ultra Enterprise

  1. Abra Centro de Controle > Configurações > Geral > Transmissão, gravação de tela e captura de tela. Em "Gravação de tela e captura de tela", selecione o modo de gravação como "Espaço".
  2. Pressione brevemente o botão Home do controlador. No menu que aparece na tela, selecione o botão "Gravar tela" e puxe o gatilho para iniciar.
  3. O sistema mostrará uma contagem regressiva. Retorne imediatamente à interface do aplicativo a ser gravado. A gravação começará automaticamente após a contagem regressiva.
  4. Pressione brevemente o botão Home do controlador novamente e repita a seleção do botão "Gravar tela" para parar a gravação.
  5. Seu arquivo é salvo por padrão no diretório "Armazenamento interno/DCIM/ScreenRecord" do dispositivo.

Rokid AR Studio

  1. Acesse a área de trabalho, encontre a barra de status inferior e clique na área "Configurações rápidas" ao lado do avatar do usuário.
  2. Na janela que aparecer, clique no botão "Gravar". Retorne imediatamente à interface do aplicativo a ser gravado. O sistema inicia automaticamente a gravação.
  3. Pressione o botão X no Station Pro para voltar à área de trabalho. Clique novamente no botão "Gravar" na área "Configurações rápidas" para parar a gravação.
  4. Seu arquivo é salvo por padrão no diretório "Armazenamento compartilhado interno/ScreenRecorder" do dispositivo.

XREAL Air2 Ultra

  1. Deslize para baixo na tela do Beam Pro para abrir o Centro de Controle dos óculos. Toque no botão "Gravar tela" na parte superior.
  2. O sistema mostrará uma contagem regressiva. Retorne imediatamente à interface do aplicativo a ser gravado.
  3. Toque no botão flutuante vermelho "Parar" na parte superior da tela para encerrar a gravação.
  4. Seu arquivo é salvo por padrão no diretório "Armazenamento compartilhado interno/Filmes/Gravação" do dispositivo.

Melhores práticas recomendadas

Ao usar gravações de tela de headset para relatar problemas, atente para:

  • Identifique claramente o modelo do dispositivo, o método de gravação e fatores ambientais ao enviar.
  • Se o problema envolve profundidade, oclusão ou tremores de rastreamento, complemente com uma descrição textual do fenômeno observado visualmente, pois a gravação pode não reproduzi-lo com precisão.
  • Para cenários críticos, complemente com gravações de câmera externa mostrando o usuário operando com o headset, fornecendo contexto mais completo.

Embora conveniente, a gravação de tela do headset é sempre uma aproximação da experiência real. O diagnóstico mais confiável ainda requer a combinação de logs, dados de sensores e feedback subjetivo do usuário. Para métodos de coleta de logs, consulte: