V-MAV: Kooperative Micro Aerial Vehicles mit onboard visueller Sensorik

Ziel des Projektes ist es, die Fähigkeiten von kameragesteuerten Mikroflugrobotern (Micro Aerial Vehicles MAVs) in den Bereichen Flugverhalten, Autonomie, kooperativer Betrieb, kognitive Fähigkeiten zu erweitern und zusätzlich die Größe von MAVs zu verringern. Fortschritte in diesen Bereichen würden neue Anwendungsgebiete ermöglichen und den Weg zu weiterer Forschung in der mobilen Robotik ebnen. Das vorgeschlagene Forschungsprojekt gliedert sich dabei in drei Hauptarbeitspakete wie folgt: 1. Visuelle-Inertiale Posititionsbestimmung und Lokalisierung von MAVs mittels Multi-Kamerasystemen 2. Bildverarbeitungsalgorithmen auf eingebetteten Prozessoren für den dynamischen Flug von kleinen MAVs 3. Methoden zur kooperativen visuellen Lokalisierung und semantischer Umgebungskartierung Arbeitspaket 1 untersucht die Tauglichkeit von Multi-Kamerasystemen für die Positionsbestimmung und Lokalisierung mit 6 Freiheitsgraden von MAVs, die dynamische Manöver durchführen. Diese Untersuchung beinhaltet die Entwicklung von visuell-inertialen Positionsbestimmungsalgorithmen unter Ausnutzung der speziellen Geometrie eines Multi-Kamerasystems. Arbeitspaket 2 untersucht die Entwicklung von Bildverarbeitungsalgorithmen für eingebettete Prozessoren zur Ermöglichung von dynamischer Kontrolle und dynamischem Flugverhalten von MAVs und zusätzlich die Möglichkeit einer weiteren Miniaturisierung von MAVs. Um dieses Ziel zu erreichen, werden bestimmte Komponenten des visuellen Flugkontrollsystems auf spezialisierte eingebettete Prozessoren ausgelagert, um die für dynamischen Flug notwendigen hohen Berechnungsraten zu erzielen. Arbeitspaket 3 wird den kooperativen Betrieb von MAVs untersuchen, speziell in den Bereichen kooperative visuelle Lokalisierung, Kartierung und kognitive Szeneninterpretation. MAVs im kooperativen Betrieb sollen die Fähigkeiten haben, das individuelle Wissen um die Umgebung mit anderen MAVs zu teilen und auch das Wissen anderer MAVs einzubinden, mit dem Effekt den Kartierungsprozess und die Selbstlokalisierung zu verbessern. Wichtiger Teil dieses Forschungspaketes ist die kognitive Szeneninterpretation. Die MAVs sollen Objekterkennungsalgorithmen und Klassifikationsalgorithmen verwenden, um eine semantische Beschreibung der Umgebung zu generieren.

Das Ziel des DACH-Projektes V-MAV war es, bildbasierte Algorithmen zu verbessern, die zur Steuerung von Micro Aerial Vehicles (MAVs) verwendet werden. Die drei Partner, TU Graz, TU München und ETH Zürich, arbeiteten an Lokalisierungsmethoden für MAVs unter Verwendung von Multi-Kamera Systemen und einer Kombination aus Kameras und Trägheits-Sensoren (d.h. Beschleunigungssensoren, Gyroskop und Kompass), an Bildverarbeitungsalgorithmen entwickelt für Spezialhardware (führt zu schnellerer Verarbeitung) und am Kartographieren mithilfe von Bildern. Die Methoden zum Kartographieren verwendeten auch zusätzliche semantische Information (d.h. welcher Teil der Szene ist ein Baum, welcher ein Haus usw.), um die Ergebnisse zu verbessern. In unserem Projektteil haben wir uns hauptsächlich mit der Lokalisierung und Kartographierung mithilfe von Bildern beschäftigt. Durch unsere Forschung im Gebiet der visuellen Lokalisierung haben wir eine bildbasierte Lokalisierungsmethode entwickelt, welche in Echtzeit funktioniert und somit für die Navigation eines MAVs verwendet werden kann. Um das Lokalisierungsergebnis zu verbessern, verwendet unser System hauptsächlich vertikale Linien, welche oft bei Gebäuden (z.B. bei Fenstern, Türen, Gebäude-Umrissen) vorkommen und deshalb in urbanen Umgebungen genutzt werden können. Um vertikale Linien schnell zu detektieren verwenden wir Trägheitssensoren, auch Inertial Measurement Units (IMUs) genannt. Mithilfe der darin enthaltenen Beschleunigungssensoren und Gyroskope wird die Richtung der Schwerkraft detektiert und darauffolgend Linien, die parallel zur Schwerkraft- Richtung verlaufen erkannt. Als nächsten Schritt haben wir die Messungen einer IMU direkt in unseren Lokalisierungsalgorithmus integriert, um die Lokalisierungsqualität zu verbessern. Im Bereich 3D-Kartografierung fokussierten wir uns auf Rekonstruktionstechniken zur Erstellung von kompakten Modellen, welche schnell über eine Netzwerkverbindung übertragen werden können, und visuell ansprechende 3D-Modelle von urbanen Szenen. Unser erster Algorithmus lieferte sehr kompakte und visuell ansprechende Rekonstruktionen von Gebäuden. Um ähnliche Ergebnisse für beliebige Szene-Strukturen zu erhalten, entwickelten wir einen weiteren Ansatz, welcher Ebenen in der Szene detektiert und diese Ebenen im finalen Rekonstruktionsprozess miteinbezieht. In dieser Methode kann man mithilfe eines Parameters bestimmen, wie sehr die finale Rekonstruktion den Ebenen folgt. Zusätzlich verwendeten wir semantische Information (d.h. welche Teile im Bild sind Bäume, Gebäude, Straßen usw.) um das Rekonstruktionsergebnis zu verbessern, welche mithilfe Methoden der Künstlichen Intelligenz berechnet wurden. Wir nutzten diese Information, um 3D Rekonstruktionsparameter abhängig von der semantischen Klasse anzupassen (d.h. eine Fassade soll planar sein, ein Baum nicht usw.) und zeigten schlussendlich, dass dies das Rekonstruktionsergebnis verbessert.