Table of Contents

Einführung in die Planare Bildverfolgung

Planare Bildverfolgung (Planar Image Tracking) dient der Erkennung und Verfolgung von texturierten, flachen Objekten im Alltag. Als "planar" bezeichnete Objekte können kleine Gegenstände wie ein Buch, eine Visitenkarte oder ein Poster sein, aber auch große Ziele wie eine bemalte Wand. Solche Objekte oder Strukturen weisen eine ebene Oberfläche mit reichhaltiger, sich nicht wiederholender Textur auf.

Dieser Artikel gibt einen Überblick über die Grundprinzipien, die erwarteten Ergebnisse und die Plattformkompatibilität der planaren Bilderfassung und -verfolgung, um Ihnen zu helfen, die Funktionsgrenzen und Entwicklungspunkte schnell zu verstehen.

Grundprinzipien

Das Verständnis dieser Prinzipien hilft Entwicklern, die Erkennungsleistung zu optimieren und häufige Probleme zu vermeiden.

Kernprozess

  1. Lade- und Vorverarbeitungsphase:

    • Das System lädt das Zielbild, extrahiert daraus eine große Anzahl visueller Merkmalspunkte, generiert eine Merkmalsbeschreibung dieses Bildes und fügt sie in die Merkmalsdatenbank ein.
    • Bilder mit reichhaltigeren Texturen sind leichter zu erkennen und zu verfolgen. Sie können die Erkennbarkeit Ihres Zielbildes im Voraus mit dem Zielbild-Prüftool überprüfen.

    Referenz links: Texturreich, leicht erkennbar (5 Sterne); Referenz rechts: Einfache Elemente, Texturmangel, schwer erkennbar (1 Stern). Wir empfehlen Bilder mit einer Qualität von 4~5 Sternen als Zielbild.

  2. Echtzeit-Erkennungs- und Verfolgungsphase:

    • Nachdem die Kamera Bilder aufnimmt, analysiert das System die Merkmalspunkte des aktuellen Bildes und führt einen Merkmalsabgleich mit der Merkmalsdatenbank des Zielbildes durch.
    • Die Position und Ausrichtung (Position + Rotation) des Bildes im 3D-Raum wird mittels des PnP-Algorithmus (Perspective-n-Point) berechnet.
    • Sobald das Ziel erfolgreich erkannt ist, wechselt das System in den Verfolgungsmodus. Dabei vergleicht es aufeinanderfolgende Bildframes und analysiert die Bewegung zwischen den Frames, um einen Echtzeit-Verfolgungsprozess zu ermöglichen.

  3. Optimierungsmechanismen:

    • Verfolgungsverlust-Wiederherstellung: Nach kurzer Verdeckung oder schneller Bewegungsunschärfe erkennt das System das Ziel automatisch neu.
    • Gleichzeitige Verfolgung mehrerer Ziele: Durch den Parameter Simultaneous Number wird die Anzahl gleichzeitig verfolgbarer Ziele pro Tracker gesteuert, sodass ein einzelner Tracker-Aufruf mehrere Ziele gleichzeitig verfolgen kann.

Technische Einschränkungen

  • Unterstützt nur planare Bilder (keine 3D-Objekte oder dynamische Inhalte).
  • Abhängig von der Umgebungsbeleuchtung; zu dunkle oder überbelichtete Bedingungen erschweren die Erkennung oder führen leicht zum Verfolgungsverlust.
  • Bei der Erkennung darf die Kamera nicht zu weit vom Ziel entfernt sein; das Zielbild sollte mindestens 30% des Bildausschnitts einnehmen.
  • Die Mehrfachzielverfolgung ist durch die Geräteleistung begrenzt. Typischerweise können auf PCs über 10 Ziele gleichzeitig verfolgt werden, auf mobilen Geräten 4~6 planare Ziele.

Effekte und erwartete Ergebnisse

Nachdem Sie den Arbeitsmechanismus und die technischen Grenzen der Bilderfassung und -verfolgung verstanden haben, sollten Sie auch die erreichbaren Effekte dieser Funktion kennen. Ein klares Verständnis dieser Effekte hilft Ihnen, realistische Teststandards während der Entwicklung festzulegen.

Idealer effekt

  • Präzise Überlagerung: Virtuelle Objekte sind exakt am Bildrand ausgerichtet.
  • Schnelle Erkennung: Geringe Latenz vom Laden der Anwendung bis zur erfolgreichen Erkennung.
  • Stabile Verfolgung: Die Verfolgung bleibt auch bei Drehung, Bewegung oder teilweiser Verdeckung des Bildes erhalten.

Nicht-ideale Situationen und Gegenmaßnahmen

Phänomen Ursache Nutzerwahrnehmung Lösungsansatz (Details in späteren Kapiteln)
Keine Erkennung Unzureichende Textur, Bild zu klein Virtuelles Objekt erscheint nicht Zielbild optimieren, Erkennbarkeit mit Tool prüfen
Verfolgungsruckeln Zielbild zu klein im Ausschnitt, zu wenige verfolgbare Punkte Deutliches Wackeln des virtuellen Objekts Zu große Distanz zum Zielbild vermeiden, Verfolgungsmodus auf PreferQuality setzen
Häufiges Verlieren Schnelle Bewegung des Bildes oder vollständige Verdeckung Flackern/Verschwinden des virtuellen Objekts Gerät/Bild stabilisieren oder Zielgröße erhöhen
Fehlende Mehrfachziele Begrenzung durch Hardwareleistung Einige Zielbilder werden nicht verfolgt Simultaneous Number-Parameter leistungsgerecht setzen

Verifizierung der erwarteten Ergebnisse

  • Entwicklungsphase: Nutzung der PC-Kamera im Unity-Editor-Play-Modus zur Vorschau.
  • Testphase: Nutzung offizieller Sample-Szenen oder eigener Testbilder, abdeckung verschiedener Licht-, Winkel- und Distanzbedingungen.

Bildziele best practices

Die Effektivität der planaren Bildverfolgung hängt stark von der Qualität des Zielbildes ab. Um eine hohe Erkennungsrate zu gewährleisten, wird empfohlen, bei der Vorbereitung des Zielbildes die folgenden Richtlinien zu beachten.

Abhängig vom Anwendungsfall können Sie das Zielbild auf verschiedene Arten vorbereiten: Direktes Fotografieren des Zielobjekts aus frontaler Perspektive oder zunächst Entwurf eines Designs und anschließender Druck. Sowohl Fotos als auch Entwürfe können als Vorlagenbilder dienen.

Grundanforderungen

  • Bildformat: Empfohlen werden JPG oder PNG.
  • Transparenzbehandlung: Hat das Bild einen Alphakanal (Transparenz), wird es vom System auf weißem Hintergrund verarbeitet. Um unerwünschte Effekte zu vermeiden, sollte Transparenz nicht genutzt werden, falls nicht beabsichtigt.

Kernoptimierungspunkte

  1. Reichhaltige Texturdetails sicherstellen
    Das Vorlagenbild sollte ausreichend Details und Kantenvariationen aufweisen, einfarbige Flächen oder einfache Grafiken sind zu vermeiden.

    Referenz links: Texturreiches Bild kann erkannt werden; Referenz rechts: Einfarbiges Bild kann nicht erkannt werden

  2. Wiederholende Muster vermeiden
    Regelmäßig sich wiederholende Muster (wie Schachbrettmuster, Streifen) reduzieren die Eindeutigkeit der Merkmalspunkte.

    Referenz: Bild mit repetitivem Muster kann nicht verfolgt werden

  3. Bildinhalt ausfüllen
    Das Hauptmotiv sollte möglichst das gesamte Bild einnehmen, Leerräume sind zu minimieren.

    Referenz: Das linke Bild mit ausfüllendem Motiv ist leichter zu erkennen und zu verfolgen als das rechte Bild mit viel Freiraum

  4. Seitenverhältnis kontrollieren
    Das Bild sollte nicht zu schmal sein; die kürzere Seite sollte mindestens 20% der längeren Seite betragen.

    Referenz: Sehr schmales Bild ist schwer zu verfolgen

  5. Passende Auflösung wählen
    Empfohlener Bereich: Zwischen SQCIF(128×96) und QVGA(1280×960).
    Zu klein: Unzureichende Merkmalspunkte, Erkennungsrate sinkt.
    Zu groß: Führt bei der Generierung der Target-Daten zu unnötigem Speichermehraufwand und längeren Berechnungszeiten.