Combinação de rastreamento de objetos e rastreamento de movimento
Este artigo explica como integrar o rastreamento 3D de objetos com o rastreamento de movimento do dispositivo para melhorar a estabilidade do rastreamento e a experiência do usuário em cenários complexos. Abrange princípios fundamentais, efeitos esperados e análise de problemas potenciais.
Princípios básicos
Fusão de movimento (Motion Fusion) combina dados de pose do rastreamento 3D de objetos com dados de pose do rastreamento de movimento do dispositivo, alcançando uma estimativa de pose mais robusta. Abaixo está o fluxo principal:
Sincronização e complementaridade de dados
- Rastreamento visual: calcula a pose do frame atual (posição + rotação) através do casamento de pontos característicos da imagem, mas é vulnerável a oclusão, desfoque ou movimento rápido.
- Rastreamento de movimento: utiliza dados de sensores IMU de alta frequência combinados com saída visual para obter dados de movimento do dispositivo, porém acumula erros de deriva.
- Mecanismo de fusão:
- Alinha as poses de rastreamento visual e de movimento no mesmo sistema de coordenadas.
- Quando o objeto alvo está claramente visível e com movimento estável: prioriza o rastreamento visual. Envia poses visuais constantemente ao módulo de fusão para correção, reduzindo deriva acumulada.
- Quando o objeto alvo é perdido, ocupa área muito pequena na imagem ou move-se rapidamente: rastreamento visual falha, prioriza rastreamento de movimento. Prediz a pose de fusão baseado na pose atual de rastreamento de movimento.
Pontos técnicos-chave
- Sincronização de timestamp: alinha timestamps de frames visuais com dados de rastreamento de movimento, evitando tremores por latência.
- Alinhamento de sistema de coordenadas: realiza alinhamento baseado em trajetórias de rastreamento visual e de movimento.
- Relocalização: quando o objeto alvo reaparece, o rastreamento visual retoma rapidamente para corrigir possíveis erros acumulados, "puxando" o objeto virtual para a posição correta.
Cenários aplicáveis e limitações
A fusão de movimento não é adequada para todos os cenários. Será inapplicável se ocorrer qualquer uma das situações:
- O dispositivo alvo não suporta rastreamento de movimento (ex: ARCore/ARKit). Lista detalhada de suporte: Suporte a dispositivos de rastreamento de movimento.
- O objeto alvo é dinâmico no cenário, como brinquedos ou action figures manuseados.
Em outros cenários, a fusão de movimento melhorará significativamente a experiência do usuário no rastreamento 3D de objetos, incluindo mas não limitado a:
- Movimento rápido: usuário move o dispositivo rapidamente, causando desfoque de movimento e falha no rastreamento visual.
- Oclusão do alvo: quando o objeto sai do campo de visão ou é bloqueado (ex: por pessoas), mantém conteúdo virtual estável.
- Afastamento do alvo: usuário distancia-se do objeto reduzindo sua área na imagem, mantendo rastreamento contínuo.
- Baixa iluminação: desempenho do rastreamento visual degradado, exigindo manutenção da experiência.
Efeitos e resultados esperados
Em cenários compatíveis, a fusão de movimento proporcionará experiência mais estável e suave que o rastreamento 3D puro.
Efeitos ideais
- Rastreamento mais estável: objetos virtuais sem tremores ou saltos.
- Transição suave: quando o rastreamento visual falha, a transição de pose é contínua e natural.
- Resistência a interferências: objeto virtual mantém-se estável mesmo com perda do alvo, oclusão ou movimento brusco do dispositivo.
Casos não ideais e soluções
| Fenómeno | Causa | Perceção do usuário | Solução |
|---|---|---|---|
| Não ativação inicial | Rastreamento de movimento requer tempo de inicialização | Conteúdo desaparece inicialmente | Adicionar dicas de UI até inicialização completar |
| Deriva significativa | Acúmulo de erros do sistema sem correção visual prolongada | Objeto virtual desvia da posição original | Orientar usuário a reduzir tempo de oclusão ou adicionar dicas de relocalização visual |
| Queda de desempenho | Execução prolongada de ambas as funcionalidades | Queda de FPS ou engasgos | Fenómeno normal; oferecer API para desativar fusão de movimento |
Método de validação de resultados
Testar em cenário real com dispositivo compatível:
- Apontar para o objeto alvo, confirmar estabilidade do objeto virtual.
- Ocluir objeto com a mão por 2 segundos movendo o dispositivo; observar se objeto virtual move-se suavemente.
- Remover a mão; confirmar reposicionamento rápido do objeto virtual sem saltos.
Conclusão e melhores práticas
A fusão de movimento melhora significativamente a robustez do rastreamento 3D de objetos em diversos cenários, mas requer suporte de hardware e desempenho adequado. Desenvolvedores devem ativar seletivamente conforme dispositivos dos usuários-alvo e oferecer fallback para dispositivos limitados.
APIs para ativar/desativar fusão de movimento em tempo real:
- Nativo: setResultPostProcessing
- Unity: EnableMotionFusion