Information Planes and Decompositions

Neuronale Netzwerke, oft als die sprichwörtlichen Black Boxes der künstlichen Intelligenz bezeichnet, durchdringen zunehmend unseren Alltag insbesondere durch Fortschritte in der Sprachmodellierung, Spracherkennung und Computer Vision. Trotz ihrer beeindruckenden, teils übermenschlichen Leistungsfähigkeit, die sowohl private als auch berufliche Abläufe erleichtert, weisen sie zwei wesentliche Schwachstellen auf. Zum einen sind die grundlegenden Rechenoperationen neuronaler Netzwerke zwar mathematisch gut nachvollziehbar, doch ihr komplexes Verhalten in großem Maßstab sowohl während als auch nach dem Training ist bislang nicht vollständig verstanden. Die wissenschaftliche Gemeinschaft entwickelt kontinuierlich neue Hypothesen und Erklärungsansätze, doch ein umfassendes Verständnis formt sich nur allmählich. Aufgrund dieser Unklarheiten und vereinzelt aufgetretener gravierender Fehler gelten neuronale Netzwerke als wenig transparent und vertrauenswürdig. Zum anderen verursachen insbesondere moderne große Sprachmodelle (z. B. GPT, Claude und vergleichbare Systeme) einen enormen Energieverbrauch sowohl während des Trainings als auch im laufenden Betrieb. Dies führt nicht nur zu erheblichen CO2-Emissionen, sondern auch zu einem hohen Wasserverbrauch für Kühlung. Mit der zunehmenden Verbreitung solcher Modelle wächst folglich auch der ökologische Fußabdruck der künstlichen Intelligenz. Dieses Projekt setzt an beiden Problembereichen an. Im Kern geht es darum, das Verhalten neuronaler Netzwerke während und nach dem Training mit Methoden der Informationstheorie einer mathematischen Disziplin zur Analyse der Verarbeitung, Übertragung und Speicherung von Informationen zu untersuchen. Konkret soll geklärt werden, ob neuronale Netzwerke, die irrelevante Informationen gezielt entfernen, tatsächlich eine bessere Leistung erzielen. Zudem wird erforscht, wie Information innerhalb der zahlreichen Komponenten eines Netzwerks dupliziert vorliegt und inwieweit neue Trainingsstrategien diese Redundanzen beeinflussen können. Darüber hinaus wird am Projektende analysiert, wie die gewonnenen Erkenntnisse genutzt werden können, um den ökologischen Fußabdruck künftiger neuronaler Netzwerke zu reduzieren beispielsweise durch das Entfernen überflüssiger Komponenten oder eine effizientere Informationskompression. Das Projekt verfolgt somit zwei zentrale Ziele: Zum einen soll es ein besseres Verständnis der inneren Funktionsweise neuronaler Netzwerke ermöglichen und damit ihre Vertrauenswürdigkeit erhöhen. Zum anderen sollen diese Erkenntnisse dazu beitragen, künstliche Intelligenz nachhaltiger und ressourcenschonender zu gestalten.