Live Fliegen Lernen

Im Rahmen dieses Forschungsprojekts soll eine Drohne selbst verschiedene Flugmanöver von Grund auf erlernen. Ausgehend von einfachsten Aufgaben wie dem Schweben, soll die Drohne allmählich ihre motorischen Fähigkeiten erforschen, Ursache und Wirkung ihrer Motorsteuerung verstehen lernen, und durch ständiges Üben mehr Erfahrung und Fähigkeiten erlangen, bis schließlich auch herausfordernde Bewegungsabläufe möglich sind. Im Wesentlichen ahmen wir den Entwicklungsprozess der menschlichen Motorik und Propriozeption nach, der kontinuierlich mit steigender Komplexität erfolgt und dabei auf bereits Erlerntem aufbaut. Dazu werden wir Elemente des kontinuierlichen Lernens mit neuartigen, KI-basierten Algorithmen kombinieren. Das wesentlich innovative Element dabei ist, dass das Erlernen der Bewegungen und der daraus resultierende Aufbau des Erfahrungsschatzes allein auf der Drohne durch echte Bewegungsversuche (live) erfolgt. Dieser Ansatz birgt erhebliche Risiken. Drohnen erfordern kontinuierliche Steuereingaben zur Stabilisierung in der Luft. Abstürze sind fast immer katastrophal für die Hardware des Systems. Gleichzeitig sind die an Bord verfügbaren Rechenressourcen begrenzt, da Gewicht und Stromverbrauch die Flugzeit direkt reduzieren. Dies macht den Einsatz modernster KI-Algorithmen bereits zu einer Herausforderung und macht das Erlernen fortgeschrittener KI -Algorithmen auf dem Gerät scheinbar unmöglich. Dennoch glauben wir, dass es mit unserem Ansatz möglich sein wird, einer Drohne beizubringen, komplexe und schnelle Manöver mit besserer Präzision und höherer Beweglichkeit als bisher möglich zu fliegen, und dass sie in der Lage sein wird, erlerntes Wissen auf neue, noch unbekannte Flugbewegungen erfolgreich anzuwenden. Das Projekt hat das Potenzial, einen Paradigmenwechsel in der autonomen Systemnavigation und - steuerung einzuleiten weg vom aktuellen Trend der Big-Data getriebenen, offline trainierten Algorithmen mit Black-Box Charakter, hin zu einem mehr hardware-bezogenen und aufgabenorientierten Entwurf von KI-Algorithmen. Die Fähigkeit selbst erlerntes Wissen über sich selbst zur Bewältigung von neuen Aufgaben heranzuziehen, wird weit über den Anwendungsbereich von Drohnen hinaus den Weg für die nächste Generation intelligenter mechatronischer Systeme ebnen.

Ziel des Projekts ist es, eine Drohne in die Lage zu versetzen, sich mit Hilfe von künstlicher Intelligenz (KI) selbst das Fliegen beizubringen. Das wesentliche innovative Element ist dabei, dass alles live und direkt auf der Drohne geschieht und die Berechnungen nicht an eine leistungsstarke Workstation ausgelagert werden. Im Wesentlichen soll die Drohne Bewegungsmuster erlernen, ähnlich wie ein Mensch motorische Fähigkeiten entwickelt - durch Versuch und Scheitern und unter Einbezug von bereits Erlerntem. Dieser Ansatz ist von Natur aus anspruchsvoll, da moderne KI-Algorithmen in der Regel auf der Grundlage einer großen Anzahl von zuvor aufgezeichneten Erfahrungen auf leistungsstarken GPU-Workstations trainiert werden, wie auch riskant, da falsche Vorhersagen des KI-Modells zu katastrophalen Abstürzen der Drohne führen können. Im Laufe des Projekts haben wir zwei verschiedene Ansätze für das Erlernen von Motorsteuerung zur Erreichung von gewünschten Zielpositionen untersucht. Der eine basiert auf der etablierten Methode des Reinforcement Learning, der andere auf einem sogenannten Fuzzy-Controller Ansatz. Die Ergebnisse haben gezeigt, dass beide Arten von Reglern im Vergleich zu den Standardreglern heutiger Drohnen bessere Ergebnisse erzielen, insbesondere im Hinblick auf allfällige Störungen in der Umgebung wie z.B. Windböen. Die Algorithmen wurden zunächst in einer Simulationsumgebung entwickelt und getestet, um eine ordnungsgemäße und sichere Performance sicherzustellen, bevor sie live auf der Drohne implementiert werden. Letzteres ist Gegenstand von laufenden Arbeiten. In einem anderen, aber verwandten Arbeitsbereich haben wir Methoden zur Verbesserung der Lokalisierung von Drohnen mit KI-Methoden untersucht. Eine genaue Lokalisierung ist eine wichtige Voraussetzung für die Navigation von Drohnen und ist eng mit der Steuerung verknüpft. Zu diesem Zweck haben wir ein KI-Modell trainiert, das verrauschte Inertialdaten vorverarbeitet und bereinigt und so die Lokalisierung der Drohnen erheblich verbessert. Signifikante Ressourcen wurden aufgewendet, um diesen Algorithmus online und echtzeitfähig zu machen. Erste Ergebnisse mit dem Training dieser Modelle direkt auf der Drohne während des Fluges zeigen eine vielversprechende Performance und eine deutliche Verbesserung gegenüber konventionellen Ansätzen. Durch die Kombination von Lokalisierung und Steuerung haben wir außerdem einen auf Reinforcement Learning basierenden Ansatz entwickelt, der eine potenziell fehlerhafte Lokalisierung der Drohne explizit berücksichtigt und so die Gesamtleistung in realistischen, realen Anwendungsfällen verbessert, in denen eine genaue Lokalisierung nicht garantiert werden kann. Zukünftige Arbeiten werden auf diesen grundlegenden Ergebnissen aufbauen, um die Grenzen der Drohnenlokalisierung und -steuerung mit KI-Modellen, die von Grund auf und auf der Drohne während des Fluges trainiert werden, weiter zu verschieben.