Detecção de plano easyAR
A detecção de plano EasyAR é a detecção automática de planos horizontais no ambiente durante a execução do rastreamento de movimento EasyAR, fornecendo funcionalidades como colocação de objetos virtuais.
Princípio de detecção de plano easyAR
A detecção de plano EasyAR é uma capacidade de compreensão ambiental simples que é concluída automaticamente de forma síncrona durante a execução do rastreamento de movimento EasyAR. O sistema modela continuamente o ambiente real com base nas informações espaço-temporais obtidas pela câmera do dispositivo e pelos sensores inerciais, identificando e rastreando planos horizontais no ambiente, fornecendo suporte básico para colocação de objetos virtuais, alinhamento de interação e compreensão espacial.
O fluxo específico é:
Rastreamento de movimento
Durante a operação do rastreamento de movimento, o EasyAR obtém continuamente os seguintes dois tipos de dados principais: quadros de imagem contínuos da câmera RGB e dados do acelerômetro e giroscópio. O sistema estima a posição e orientação contínua de seis graus de liberdade do dispositivo no sistema de coordenadas mundial através de algoritmos de fusão visual-inercial, fornecendo uma trajetória de câmera estável e de baixa deriva para a modelagem espacial subsequente e análise de plano.
Detecção de pontos característicos e triangulação
Com base na estimativa de pose, o EasyAR extrai e rastreia pontos característicos visuais estáveis (como cantos ou regiões de textura proeminentes) da sequência de imagens e triangula esses pontos característicos através de métodos de geometria multivisão, restaurando suas posições no espaço tridimensional, formando uma representação de nuvem de pontos 3D local.
Geração de regiões candidatas a plano
Após obter a nuvem de pontos 3D, o sistema realiza análise geométrica na nuvem de pontos para descobrir conjuntos de pontos que podem pertencer ao mesmo plano. Através da relação com a direção da gravidade, o sistema pode distinguir candidatos a planos horizontais, ou seja, planos cujos vetores normais são aproximadamente paralelos à direção da gravidade (como chão, mesa).
Rastreamento e detecção de plano
O EasyAR valida e atualiza os planos detectados em quadros contínuos:
- Determina se os novos pontos 3D observados suportam o modelo de plano existente;
- Ajusta dinamicamente a extensão, limites e confiança do plano com base na consistência das observações;
- Elimina candidatos a plano que aparecem brevemente ou são instáveis. Somente quando a consistência geométrica e a estabilidade temporal atendem aos requisitos, o resultado é considerado um "plano utilizável".
Sistema de coordenadas do plano e alinhamento de conteúdo virtual
Uma vez que o plano é confirmado, você pode implementar efeitos AR mais realistas com base nos resultados da detecção de plano:
- Colocar objetos virtuais no plano, realizando alinhamento de escala e orientação real;
- Realizar teste de colisão (Hit Test), mapeando toques na tela para posições reais no plano;
- Implementar lógica de interação baseada em plano, como fixação, movimento e julgamento de oclusão de objetos.
Como o plano compartilha o mesmo sistema de coordenadas mundial com o sistema de rastreamento de movimento, os objetos virtuais podem manter consistência espacial estável e contínua quando o usuário move o dispositivo.
A detecção de plano depende da pose estável e da estrutura espacial fornecidas pelo rastreamento de movimento, e os resultados da detecção de plano, por sua vez, podem ser usados para melhorar a capacidade de compreensão ambiental, como auxiliar na colocação de conteúdo e no design de interação. Juntos, eles constituem a base central da capacidade de percepção espacial do EasyAR, mas são desacoplados na arquitetura do sistema; a detecção de plano não altera os resultados da estimativa de pose do próprio rastreamento de movimento.
Melhores práticas
Para garantir o efeito do uso da detecção de plano pelo usuário, seguir as práticas abaixo pode melhorar a experiência do usuário.
- Guiar o usuário a se mover lentamente, evitando ficar parado, movimentos rápidos ou rotação no mesmo lugar.
- Evitar planos difíceis de reconhecer visualmente, como sem textura, de cor sólida, espelhados, etc.
Nota
A detecção de plano é a funcionalidade do EasyAR para reconhecer planos horizontais no ambiente. O rastreamento de superfície não detecta ou reconhece a estrutura plana da cena e deve ser diferenciado.