Kameratracking

Jonas Göbel, Omar Schure
VR/AR
03.05.2025

Ziel:

relative Position von Objekten zur Kamera
(extrinsische Parameter) bestimmen

Kernentscheidungen:

🏘️ Inside-Out oder Outside-In?

📍 Marker oder keine Marker?

Inside-Out

 / 

Outside-In

inside-out

Inside-Out

  • Kamera(s) an Personen
    • zusätzliches Gewicht
    • schränkt Bewegung ein

Outside-In

  • Kameras im Raum
    • Freie Bewegung
    • viele Kameras benötigt 💸
inside-out

Markenbasierte Verfahren

  • 📍 klar definierte Marker
  • 📍 Schwellwertfilter
  • 📍 aktive / passive Marken
motion-capture
ps move nintendo wii

Schwarzweißmarken

  • 📍 passive Marken
  • 📍 vordefinierte Muster + Größe
  • 📍 Positionsbestimmung durch Größe + Aufnahmewinkel
ar-marks found-mark

Intrinsische und Extrinsische Kameraparameter

Kameraparameter
  • Berechnung der Pose der Marke im Verhältnis zur Kamera
  • Intrinsische Kameraparameter:
    • Entstehen mithilfe von Kamerakalibrierung
    • Mit Intrinsischen Kameraparameter entsteht Kalibrierungsmatrix
  • Extrinsische Kameraparameter:
    • Rotationsmatrix und Translationsvektor
    • Entstehen mithilfe von Kalibrierungsmatrix, Abstand zwischen Eckpunkte und Orientierung der Marke

Merkmalbasierte Tracking-Verfahren

SIFT
  • Geometriebasiertes Tracking:
    • Aus Kamerabild werden Merkmale extrahiert (Kanten und/oder Eckpunkte)
    • Vorangegangene Bilder werden aus vorherigen erreichneten Transformation erstellt
  • Weitere merkmalbasierte Tracking-Verfahren:
    • Visuelle Merkmale (Features) mithilfe von Merkmalsdetektoren erkennen
    • Vergleich mit 2D- oder 3D-Geometrie
    • Ausreißer mithilfe von RANSAC-Verfahren aussortiert
  • Merkmalsdetekoren:
    • SIFT (Scale Invariant Feature Transform)
    • SURF (Speeded Up Robust Features)

Visual SLAM-Verfahren

  • Hauptsächlich Kameras verwendet
  • Tiefeninformation von 3D Kameras genutzt (Kinect, Intel RealSense)
  • Anfangs alles Unbekannt
  • Karte wird erzeugt und mit Bewegung der Kamera verbessert
  • Dynamische Objekte müssen herausgefiltert werden

Hybride Tracking-Techniken

  • Kombinierte und unterschiedliche Tracking-Verfahren werden verwendet
  • Markenbasiertes Verfahren nur dann gut wenn Marken im Sichtfeld sind
  • Lagesensoren von Smartphone/Tablets verwendet
  • Kalman-Filter

Tracking der Microsoft Hololens

Hololens
  • Verwendet SLAM-Ansatz
  • Vier Kameras (30 HZ) in Kombination mit einer IMU (1000 HZ)
  • Hochauflösende Frontkamera
  • Tiefenkamera (Gestensteuerung)
  • Graph zur Lageschätzung (kein globales Koordinatensystem)

Das wars!

Gibt es noch fragen?