Rilevamento piani EasyAR
Il rilevamento piani EasyAR rileva automaticamente i piani orizzontali nell'ambiente durante l'esecuzione del tracciamento del movimento EasyAR, fornendo funzionalità come il posizionamento di oggetti virtuali.
Principio del rilevamento piani EasyAR
Il rilevamento piani EasyAR (Plane Detection) è una semplice capacità di comprensione dell'ambiente che viene completata automaticamente in modo sincrono durante l'esecuzione del tracciamento del movimento EasyAR (Motion Tracker). Basandosi sulle informazioni spaziotemporali acquisite dalla fotocamera del dispositivo e dai sensori inerziali, il sistema modella continuamente l'ambiente reale, identificando e tracciando i piani orizzontali nell'ambiente, fornendo così supporto di base per il posizionamento di oggetti virtuali, l'allineamento interattivo e la comprensione spaziale.
Il flusso specifico è il seguente:
Tracciamento del movimento
Durante l'esecuzione del tracciamento del movimento, EasyAR acquisisce continuamente due tipi di dati fondamentali: fotogrammi di immagine continui dalla fotocamera RGB e dati dall'accelerometro e dal giroscopio. Attraverso un algoritmo di fusione visivo-inerziale, il sistema stima la posizione e l'orientamento a sei gradi di libertà continui del dispositivo nel sistema di coordinate mondiale, fornendo una traiettoria della fotocamera stabile e a bassa deriva per la successiva modellazione spaziale e analisi dei piani.
Rilevamento e triangolazione dei punti caratteristici
Sulla base della stima della posa, EasyAR estrae e traccia punti caratteristici visivi stabili (come angoli o aree con texture prominenti) dalla sequenza di immagini, e tramite metodi di geometria multi-vista triangola questi punti caratteristici, ricostruendo la loro posizione nello spazio tridimensionale, formando così una rappresentazione di nuvola di punti 3D locale.
Generazione di regioni candidate per piani
Dopo aver ottenuto la nuvola di punti 3D, il sistema esegue un'analisi geometrica sulla nuvola di punti per scoprire insiemi di punti che potrebbero appartenere allo stesso piano. Valutando la relazione con la direzione della gravità, il sistema può distinguere i candidati per piani orizzontali, cioè piani il cui vettore normale è approssimativamente parallelo alla direzione della gravità (come pavimenti, superfici di tavoli).
Tracciamento e rilevamento dei piani
EasyAR convalida e aggiorna i piani rilevati in fotogrammi consecutivi:
- Determina se i nuovi punti 3D osservati supportano i modelli di piano esistenti;
- Regola dinamicamente l'estensione, i confini e il livello di confidenza del piano in base alla coerenza delle osservazioni;
- Elimina i candidati piani temporanei o instabili. Solo quando sia la coerenza geometrica che la stabilità temporale soddisfano i requisiti, il risultato viene considerato un "piano utilizzabile".
Allineamento del sistema di coordinate del piano con il contenuto virtuale
Una volta che un piano viene confermato, è possibile realizzare effetti AR più realistici basandosi sui risultati del rilevamento piani:
- Posizionare oggetti virtuali sul piano, ottenendo un allineamento di scala e orientamento realistici;
- Eseguire test di intersezione (Hit Test), mappando i tocchi sullo schermo a posizioni reali sul piano;
- Implementare logiche di interazione basate sul piano, come lo snap, lo spostamento e la determinazione dell'occlusione degli oggetti.
Poiché il piano e il sistema di tracciamento del movimento condividono lo stesso sistema di coordinate mondiale, gli oggetti virtuali possono mantenere una coerenza spaziale stabile e continua mentre l'utente sposta il dispositivo.
Il rilevamento piani dipende dalla posa stabile e dalla struttura spaziale fornite dal tracciamento del movimento, mentre i risultati del rilevamento piani possono a loro volta essere utilizzati per migliorare la capacità di comprensione dell'ambiente, ad esempio per assistere nel posizionamento dei contenuti e nel design dell'interazione. Insieme, costituiscono la base fondamentale della capacità di percezione spaziale di EasyAR, ma sono disaccoppiati a livello architetturale del sistema; il rilevamento piani non altera i risultati della stima della posa del tracciamento del movimento stesso.
Best practice
Per garantire l'efficacia dell'utilizzo del rilevamento piani da parte degli utenti, seguire le seguenti pratiche può migliorare l'esperienza utente.
- Guidare l'utente a muoversi lentamente, evitando di rimanere fermi, di muoversi rapidamente o di ruotare sul posto.
- Evitare piani privi di texture, monocromatici, specchiati o comunque visivamente difficili da identificare.
Nota
Il rilevamento piani è la funzione di EasyAR per identificare i piani orizzontali nell'ambiente. Il surface tracking non rileva né identifica le strutture piane nella scena; è necessario fare una distinzione.