Fusion von Stereo-Sehen und Inertialsensoren

Tracking wird in vielen wichtigen Anwendungen, etwa Navigation, 3D Mensch-Maschine-Kommunikation, und für Überwachungsaufgaben benötigt. Viele verschiedene Sensoren wurden für diese Aufgabe eingesetzt: Sonar, Radar, Laser Range Finder, GPS, elektronischer Kompass, sog. "magnetisches Tracking", Bildverarbeitung, Transponder, etc. Dieses Projekt untersucht einen neuen, allgemeinen Ansatz für Echtzeit-Tracking, wo ein System an einem mobilen Objekt befestigt wird und Position und Orientierung des Objektes in 3D bestimmt werdfen sollen ("inside- out" tracking). Dabei soll eine Kombination von "Smart Sensors" bestehend aus einem Stereo-Bildverarbeitungs- System mit CMOS Kameras und mehreren Beschleunigungssensoren, sowie Gyroskopen zum Einsatz kommen. Diese beiden komplementären Sensoren werden sowohl bei langsamen Bewegungen hochgenau messen (Bildverarbeitung), als auch in der Lage sein, sehr rasche Bewegungen zu verfolgen (Inertialsensoren). Dieses "inside-out" Trackingsystem soll in beliebige Bewegung versetzt werden und in komplexen Szenen mit mehreren bewegten Objekten funktionieren. Das Hauptziel ist eine zuverlässige Rekonstruktion der Trajektorie des Systems selbst, sowie die Erfassung von 3D Struktur ("landmarks") in der Szene, welche für das Tracking benötigt wird. Eine weitere Aufgabe stellt die Verfolgung aller anderen bewegten Objekte dar, die das System in der Szene erkannt hat. Ähnlich zur menschlichen Wahrnehmung soll das System autonom funktionieren, ohne die Notwendigkeit zusätzlicher externer Informationen über seine Position und Orientierung (wie etwa GPS oder künstliche Markierungen). CMOS Kamera Technologie soll benutzt werden, um die Verarbeitungsgeschwindigkeit drastisch zu erhöhen, und die Fusion von Bildverarbeitung mit Inertialsensoren erhöht die Stabilität des Gesamtsystems. Die neue Tracking-Technologie wird an der TU Graz in Virtual und Augmented Reality, und an der TU Wien für mobile Roboternavigation angewendet werden.

Das Projekt hat sich mit "online structure and motion analysis" befasst. Das ist die Aufgabe, die Bewegung eines Sensorkopfes in einer Szene, und die räumliche Struktur der Szene gleichzeitig und in Echtzeit zu erfassen. Unser Sensorkopf besteht aus 2 Kameras, welche auffällige Punkte ("landmarks") in der Szene erfassen und in 3D rekonstruieren, und einem Inertialsensor, der die bildgestützte Messtechnik wegen seiner komplementären Charakteristik gut unterstützt. Um ein derartiges System "online" einsetzen zu können, müssen die verwendeten Sensoren und Algorithmen ausreichend rasch sein, und die Berechnungen müssen inkrementell möglich sein, d.h. es entsteht Schritt für Schritt ein immer genaueres 3-dimensionales Modell der Szene. Die Hauptergebnisse des Projektes gliedern sich in zwei Teile: Die Entwicklung einer neuen schnellen Kamera, und die Entwicklung neuer inkrementeller Algorithmen. Sobald eine "landmark" in einem Bild erkannt ist, führt jede Kamerabewegung in 3D zu einer Verschiebung der Position der landmark im 2D Bild. Unsere schnelle CMOS Kamera basiert auf der Idee, dass anstelle von ganzen Bildern nur jeweils kleine Fenster in der lokalen Umgebung von landmarks ausgelesen werden müssen. Diese Funktion erlaubt es, solche Fenster wesentlich öfter zu lesen, sodass auch rasche Kamerabewegungen nur zu kleinen Verschiebungen einer landmark in zwei aufeinanderfolgenden Fenstern führen. Wir haben die dazu nötige hard- und firmware entwickelt. Das neue Kamerasystem funktioniert sowohl monokular, als auch in einer Stereokonfiguration und erlaubt das Auslesen kleiner Fenster mit bis zu 2.5 kHz. Unsere neuen Algorithmen für Struktur- und Bewegungsschätzung kombinieren die Informationen der Kameras mit jenen der Inertialsensoren. Ausgehend von einer bekannten Startposition kann der Sensorkopf in eine unbekannte Umgebung bewegt werden. Die Bewegung der Sensoren, und die unbekannte Struktur der Szene werden rekonstruiert. Das System kann mit unterschiedlichen Datenraten umgehen und ist robust bei einer Vielzahl von äußeren Einflüssen wie Bewegung im Vordergrund (teilweise Verdeckung von landmarks), oder schnellen Kamera- Rotationen (Bewegungsunschärfe). Derartige neuartige Sensorkombinationen haben ein großes Potenzial für viele zukünftige Anwendungen, wie mobile computing, mobile Kommunikation (wenn Position und Orientierung im Raum wichtig sind), Fahrerunterstützung und autonome Fahrzeuge.