Tiefe und Unterscheidbarkeit in tiefen neuronalen Netzen

Die Entwicklung von Computersystemen, die in der Lage sind, komplexe kognitive Aufgabenstellungen in menschenähnlicher Weise zu bewältigen, ist das wesentliche Ziel von Forschung im Bereich der künstlichen Intelligenz. In den vergangenen Jahren wurden auf diesem Gebiet überraschend große Fortschritte erzielt. So ist es 2016 erstmals einem Computersystem gelungen, einen der der weltbesten Go-Spieler in einem Wettkampf zu besiegen. Auch konnten verbesserte Algorithmen zur Erkennung von Sprache oder Objekten in den letzten Jahren bisherige Erwartungen weit übertreffen. Die hier erzielten Fortschritte haben bereits spürbare Auswirkungen auf unseren Alltag und tragen zur Anwendbarkeit von Technologien wie Sprachsteuerungen und selbstfahrenden Autos bei. Die Grundlage für diese rasante Entwicklung bildet in vielen Fällen die Methode des sogenannten tiefen Lernens (engl. deep learning). Dabei handelt es sich um eine spezielle Art, Computersystemen Fertigkeiten, wie etwa das Erkennen von Ziffern, beizubringen. Die Grundidee ist dabei, stark vereinfachte Modelle von Netzwerkstrukturen im menschlichen Nervensystem in hierarchisch organisierten Schichten zu verknüpfen, und schließlich so zu adaptieren, dass sie in der Lage sind, spezifische Aufgaben zu lösen. Die ungemeine Leistungsfähigkeit solcherart konstruierter tiefer neuronaler Netzwerke ist unbestritten. Allerdings sind die dahinterliegenden Prinzipien, welche die aufregende Entwicklung der letzten Jahre erst ermöglicht haben, nach wie vor weitgehend unbekannt. Um diese Mechanismen zu entschlüsseln, arbeiten seit geraumer Zeit auch vermehrt Mathematiker*innen daran, tiefe neuronale Netzwerke mit mathematischen Methoden zu analysieren. Im Projekt Tiefe und Unterscheidbarkeit in tiefen neuronalen Netzwerken werden wir eine bestimmte, äußerst wichtige, Eigenschaft tiefer neuronaler Netze, nämlich deren Fähigkeit, auch in schwierigen Fällen gut zwischen verschiedenen Kategorien unterscheiden zu können, einer detaillierten mathematischen Analyse unterziehen. Wie schwierig es sein kann, verschiedene Objekte gut zu unterscheiden, lässt sich gut am Beispiel eines neuronalen Netzes veranschaulichen, dessen Ziel es ist, handgeschrieben Buchstaben korrekt zu erknnen. Um dies zu Bewerkstelligen ist es unter anderem notwendig, die Buchstaben u und v richtig voneinander unterscheiden zu können, obwohl diese in vielen Handschriften äußerst ähnlich aussehen. Ziel unseres Projektes ist es, besser zu verstehen, wie Tiefe, also die Anzahl hierarchisch angeordneter Schichten, und andere Eigenschaften eines neuronalen Netzwerkes dazu beitragen, dass auch äußerst ähnliche Elemente verschiedener Klassen korrekt voneinander unterschieden werden können. Dabei hoffen wir, dass unsere Arbeit dazu beitragen kann, zumindest einige der Mysterien hinter der erstaunlichen Leistungsfähigkeit tiefer neuronaler Netze zu entschlüsseln. Letztlich ist es aber auch Ziel unseres Projektes, Richtlinien und Kritierien zu definieren, die dabei helfen können, neuronale Netzwerkarchitekturen optimal für bestimmte Aufgabenstellungen in der Praxis anzupassen.