Kameratracking
Jonas Göbel, Omar Schure
VR/AR
03.05.2025
Ziel:
relative Position von Objekten zur Kamera
(extrinsische Parameter) bestimmen
Kernentscheidungen:
🏘️ Inside-Out oder Outside-In?
📍 Marker oder keine Marker?
Inside-Out
- Kamera(s) an Personen
- zusätzliches Gewicht
- schränkt Bewegung ein
Outside-In
- Kameras im Raum
- Freie Bewegung
- viele Kameras benötigt 💸
- 📍 klar definierte Marker
- 📍 Schwellwertfilter
- 📍 aktive / passive Marken
- 📍 passive Marken
- 📍 vordefinierte Muster + Größe
- 📍 Positionsbestimmung durch Größe + Aufnahmewinkel
- Berechnung der Pose der Marke im Verhältnis zur Kamera
- Intrinsische Kameraparameter:
- Entstehen mithilfe von Kamerakalibrierung
- Mit Intrinsischen Kameraparameter entsteht Kalibrierungsmatrix
- Extrinsische Kameraparameter:
- Rotationsmatrix und Translationsvektor
- Entstehen mithilfe von Kalibrierungsmatrix, Abstand zwischen Eckpunkte und Orientierung der Marke
- Geometriebasiertes Tracking:
- Aus Kamerabild werden Merkmale extrahiert (Kanten und/oder Eckpunkte)
- Vorangegangene Bilder werden aus vorherigen erreichneten Transformation erstellt
- Weitere merkmalbasierte Tracking-Verfahren:
- Visuelle Merkmale (Features) mithilfe von Merkmalsdetektoren erkennen
- Vergleich mit 2D- oder 3D-Geometrie
- Ausreißer mithilfe von RANSAC-Verfahren aussortiert
- Merkmalsdetekoren:
- SIFT (Scale Invariant Feature Transform)
- SURF (Speeded Up Robust Features)
- Hauptsächlich Kameras verwendet
- Tiefeninformation von 3D Kameras genutzt (Kinect, Intel RealSense)
- Anfangs alles Unbekannt
- Karte wird erzeugt und mit Bewegung der Kamera verbessert
- Dynamische Objekte müssen herausgefiltert werden
- Kombinierte und unterschiedliche Tracking-Verfahren werden verwendet
- Markenbasiertes Verfahren nur dann gut wenn Marken im Sichtfeld sind
- Lagesensoren von Smartphone/Tablets verwendet
- Kalman-Filter
- Verwendet SLAM-Ansatz
- Vier Kameras (30 HZ) in Kombination mit einer IMU (1000 HZ)
- Hochauflösende Frontkamera
- Tiefenkamera (Gestensteuerung)
- Graph zur Lageschätzung (kein globales Koordinatensystem)
Das wars!
Gibt es noch fragen?