Deep Learning mit persistenter Homologie

Topologische Datenanalyse (TDA), umgesetzt mit Hilfe von persistenter Homologie, hat sich in den letzten Jahren zu einem populären Ansatz entwickelt, Daten aus topologischer Sicht zu analysieren. Persistente Homologie erlaubt es charakteristische Merkmale von Daten zu erfassen, die mit Hilfe herkömmlicher Verfahren nicht unmittelbar zugänglich sind. Trotz dieser interessanten Eigenschaften und der breiten Einsetzbarkeit topologischer Datenanalyse, beschäftigt sich die Wissenschaftsgemeinschaft erst seit kurzem mit der Verbindung zu Methoden des maschinellen Lernens. Erstes Ziel dieses Projektes ist es, ein solides theoretisches Fundament zu schaffen, welches es erlaubt die Ergebnisse einer Datenanalyse mittels persistenter Homologie, d.h., sogenannte Persistenz-Diagramme/Barcodes, als Datenquelle zum Lernen mit Hilfe künstlicher neuronaler Netze nutzen zu können. Ähnlich wie bei konventionellen Lernverfahren (wie beispielsweise Support Vektor Maschinen), stellt die zu Grunde liegende Datenstruktur von Persistenz-Diagrammen, sogenannte Multimengen, hier eine besondere Herausforderung dar. Obwohl Vorarbeiten zu diesem Problem bereits vielversprechende Ergebnisse in diversen Lernszenarien lieferten, konnten zum Teil fundamentale Fragestellungen und Probleme identifiziert werden, welche nun Teil dieses Forschungsprojektes sind. Überdies hinausgehend, erscheint persistente Homologie als geeignetes Werkzeug, künstliche neuronale Netze, deren Kapazität, als auch deren Lernverhalten, genauer zu untersuchen. Dies ist vor Allem dahingehend motiviert, als das die topologischen Eigenschaften der Trainingsdaten in engem Zusammenhang mit den durch neuronale Netze realisierbaren Entscheidungsgrenzen zu stehen scheinen. Weiterentwicklungen in dieser Forschungsrichtung bergen überaus großes Potential (1) informierte Richtlinien zum Design neuronaler Netze entwickeln zu können als auch (2) deren Optimierungsverhalten besser zu verstehen. Zusammengefasst, stellt die Analyse neuronaler Netze mit Hilfe von Methoden der topologischen Datenanalyse, oder allgemeiner, mit Methoden der algebraischen Topologie, das zweite Hauptziel dieses Forschungsprojektes dar.

Das übergeordnete Ziel des Projekts bestand darin, eine solide, theoretisch fundierte Brücke zwischen Methoden des maschinellen Lernens (insbesondere neuronale Netzwerke) und dem relativ neuen Forschungsgebiet der Topologischen Datenanalyse, vornehmlich fokussiert auf persistente Homologie, zu etablieren. Während der Projektdauer realisierten wir mehrere solcher Brücken; speziell hervorzuheben sind beispielsweise (1) neuartige Konstruktionsschemata für sogenannte "Barcode-Vektorisierungen", d. h., Vektorisierungen der vorherrschenden Zusammenfassungsdarstellung topologischer Merkmale in Daten (Barcodes), die als neue Eingangsschichten für neuronale Netzwerke verwendet werden können, bzw. (2) Arbeiten die erfolgreich demonstrieren, dass persistente Homologie während des Trainings von neuronalen Netzwerken genutzt werden kann um beispielsweise bestimmte topologische Eigenschaften einer internen Datenrepräsentation des Netzwerks zu fördern. Der letztgenannte Punkt hat tatsächlich den Weg zu neuartigen Regularisierern geöffnet und eine Richtung etabliert, um in Zukunft die Generalisierung in neuronalen Netzwerken aus einer topologischen Perspektive zu studieren.