Guia de resolução de anomalias de malha real em Mega

No desenvolvimento da aplicação Mega, a colocação de conteúdo virtual é realizada através de Malha (Mesh). A precisão visual, a exatidão, entre outros aspectos do modelo Mesh, influenciam a precisão do posicionamento do conteúdo virtual e podem até afetar o resultado final do posicionamento Mega. Este documento abordará alguns problemas visuais e de precisão que podem ocorrer com o modelo de Malha, ajudando-o a identificar corretamente defeitos no modelo e a reportar problemas graves.

O que é o modelo de malha (Mesh)

A Mega Mesh é um modelo geométrico tridimensional reconstruído a partir de dados recolhidos do ambiente. A sua função principal é fornecer uma referência física real para o conteúdo virtual, permitindo que objetos virtuais sejam corretamente ocluídos por paredes, pisos, móveis e outros elementos do mundo real, proporcionando uma experiência de fusão real-virtual mais autêntica.

A Mega Mesh é reconstruída automaticamente a partir de vídeos capturados, através de algoritmos na nuvem, não sendo um modelo manualmente refinado. Portanto, é natural que apresente algum nível de imperfeição.

Expectativas corretas:

A cor geral é consistente com o ambiente real, com grandes superfícies como paredes e pisos apresentando cores corretas.
Texturas de estruturas principais são reconhecíveis (padrões de azulejos, estampas de papel de parede, aparência de expositores).
O modelo proporciona boa integração de iluminação e cor em AR.

Imperfeições menores são normais e comuns:

Em áreas com iluminação complexa, as texturas podem apresentar anomalias como escurecimento, clareamento excessivo ou desvio de cor.
Objetos distantes ou áreas periféricas podem apresentar texturas ligeiramente desfocadas ou esticadas.
A Mega fornece um modelo LOD, podendo ocorrer inconsistências de cor entre blocos LOD adjacentes.
Em junções de diferentes ângulos de visão, podem ocorrer pequenos desalinhamentos de textura ou costuras visíveis.
Detalhes finos como texto ou placas podem não ser nítidos.
Objetos dinâmicos como pessoas ou veículos podem deixar leves fantasmas ou manchas de cor.
Estruturas transparentes ou reflexivas (vidros, água) podem apresentar falhas ou reentrâncias.
Paredes ou pisos podem não ser perfeitamente planos, apresentando pequenas saliências, reentrâncias ou "franjas".
Pequenos orifícios podem estar presentes no modelo.

Estas imperfeições geralmente não comprometem significativamente a experiência, sendo limitações aceitáveis dos algoritmos de reconstrução automática, não requerendo ação específica.

Quais anomalias no modelo requerem intervenção

As situações abaixo são defeitos graves que impactam diretamente o resultado da aplicação, necessitando de atenção e correção.

Tipo de problema	Manifestação típica	Impacto possível
Falha ou orifício de grande escala	Parede inteira não refletiva/transparente sem Mesh, impossibilitando oclusão correta de objetos virtuais	Impossibilidade de oclusão adequada nessa área
Erro estrutural de grande escala	Parede reconstruída incorretamente como inclinada, ou dimensões da sala drasticamente diferentes da realidade	Desalinhamento entre objetos virtuais e ambiente real, prejudicando gravemente a oclusão
Deformação ou inclinação severa	Piso visivelmente inclinado, parede distorcida, posição de objetos significativamente deslocada	Posicionamento caótico de conteúdo virtual, oclusão anormal
Ruído ou fragmentos excessivos	Fragmentos flutuantes no ar	Cintilação durante oclusão, degradação de desempenho
Área crítica completamente errada	Mesh totalmente incorreta em zonas de interação importantes (escadas, expositores, etc.)	Falha na interação do utilizador, experiência comprometida
Modelo estratificado	Visualização de camadas sobrepostas no mesmo local (piso/parede)	Oclusão incorreta, posicionamento impreciso
Cor completamente errada em grande escala	Texturas de paredes/pisos com cores estranhas ou totalmente incorretas	Ambiente visualmente artificial, dissonância perceptiva

Processamento de problemas e feedback

Ao detetar os defeitos graves acima mencionados, recolha as seguintes informações e reporte-as para nos ajudar a identificar e resolver rapidamente o problema.

Recolha de informações necessárias

Captura de ecrã ou vídeo
- Captura de ecrã: Mínimo de 3 imagens de ângulos distintos, com a área problemática assinalada.
- Vídeo: Grave 10 a 30 segundos na área da anomalia Mesh, usando software de captura de ecrã (telemóvel ou computador).
Descrição do problema

Ao reportar, inclua:
- Âmbito do problema: Se afeta todo o mapa ou apenas uma área localizada.
- Tipo de mapa: Especifique o método de criação do mapa afetado (a Mega oferece vários).
- Localização, área do problema: Indique o local exato, ex: "expositor central do hall principal do museu" (mapa único), ou em mapas de grande escala, identifique submapas com estratificação/fusão problemática.
- Descrição do problema: Utilize as capturas/vídeo para detalhar a área e o fenómeno anómalo. Para múltiplos submapas, mencione os nomes. Ex: "Parede oeste do corredor no 3º piso do edifício de escritórios no mapa XX está inclinada ~15º" ou "Fusão entre submapa A (oeste) e submapa B (leste) apresenta estratificação".
Evite descrições vagas como "modelo com problemas" ou "Mesh feio". A falta de imagens e detalhes atrasa significativamente a resolução.
Informações do mapa
- Relatório de criação do mapa: Obtenha o relatório do mapa problemático através do Mega Block.
- Informações do serviço de posicionamento: Pode exportar estas informações no Unity.

Submeter o feedback

Envie as capturas/gravação, a descrição do problema e as informações do mapa à equipa da EasyAR. Após análise, será fornecido feedback sobre a solução.

Fluxo de processamento: Analisaremos os materiais fornecidos, verificando os dados originais capturados e o resultado da reconstrução na nuvem.
Possíveis causas: Alterações ambientais durante a captura, problema no dispositivo, ou limitações do algoritmo de criação do mapa nesse cenário específico.
Caso a captura não siga as normas: Avaliaremos a necessidade de recolha adicional ou nova captura da área, seguida de recriação do mapa.
Caso os dados capturados estejam válidos: O método de reconstrução na nuvem pode ter limitações. A optimização será priorizada em futuras versões, sendo apresentada uma solução viável.