Interpretable and Reliable Evolving Fuzzy Systems

Heutzutage werden Vorhersagemodelle in verschiedenen industriellen Prozessen verwendet, üblicherweise in Regelungsaufgaben, Entscheidungsfindungssysteme, Anwendungen in mobilen Bauteilen, technische Systeme und industrielle Automatisierung. Da die Komplexität von solchen Systemen permanent steigt, wird eine daten-basierte Generierung von Modellen unter Verwendung von Machine Learning Methoden immer populärer, anstatt menschliche Experten ein Model manuell erstellen zu lassen (was einen hohen Aufwand an Zeit und Geld nach sich zieht). In dynamischen Umgebungen, wo das Input-Output Verhalten eines Systems sich permanent über die Zeit verändern kann, wird ein daten-basierter Ansatz noch dringender benötigt als in statischen Systemen. Unter diesen Umständen muss nämlich ein Model kontinuierlich mitadaptiert werden, um den Qualitätsanforderungen gerecht zu werden. Dies ist unmöglich manuell zu bewerkstelligen. Vom Standpunkt des Lernverfahrens erfordert dieses Szenario wichtige Mechanismen wie inkrementelles Lernen, weil ein neuerliches Trainieren der Modelle mit allen bisher aufgenommenen Daten zu aufwendig wird, um gewissen Zeitanforderungen zu genügen, z.b. in Echtzeit zu terminieren. In der jüngsten Literatur wurde der Term "Evolvierendes System" geprägt, um ein derartiges System wie oben dargestellt zu charakterisieren. Weiters wurden in jüngster Vergangenheit Lernmethoden, die Modelle auf Basis neuer Daten inkrementell adaptieren und gegebenenfalls deren Struktur evolvieren, Aufmerksamkeit geschenkt. Das Lernen von evolvierenden Fuzzy Systemen wurde in den letzten Jahren intensiv studiert, vorwiegend motiviert durch die Flexibilität von regel-basierten Systemen and ihre Vorteile, die sie vom Modellierstandpunkt aus gesehen offenbaren. Bisher hat sich das Forschungsgebiet "Evolving Fuzzy Systems" sich hauptsächlich darauf konzentriert, Modelle zu lernen, die eine sehr hohe Vorhersagegenauigkeit. Obwohl dieser Aspekt natürlich sehr wichtig ist (um z.b. hohe Qualität bei diversen Produkten zu erreichen), ist er von der praktischen Sichtweise her nicht ausreichend, vor allem dann nicht, wenn es darum geht, die Modelle, die aus einem komplexen System herausgelernt werden auch wirklich verstehen zu wollen. Derartige Modelle (die rein auf Genauigkeit abzielen) werden kaum besser als reine "black-box" Modelle wie z.b. Neuronal Netze eingestuft werden. Ohne Zweifel besitzen Fuzzy Systeme zwar das Potential sowohl hohe Genauigkeit als auch solide Transparenz anzubieten. Das Ziel dieses Projekts ist es, dieses Potential auch bei evolvierenden Fuzzy Systemen voll auszuschöpfen. Dadurch erwarten wir uns, dass es möglich ist, die Konzeption dieser Systeme von ihrem derzeitigen Forschungsstand (als neue Forschungrichtung im Bereich des daten-basierten Modelldesigns) zu einer neu entstehenden Technologie zu entwickeln, die auch in realen Anwendungen mit angereicherter User-Interaktion eingesetzt werden kann. Dieses Projekt wird Konzepte, Methoden und Algorithmen hervorbringen, wodurch evolvierende Fuzzy Systeme benutzerfreundlicher gemacht werden können. Das wird vor allem dadurch erreicht, indem man Methoden entwickelt, welche die Komplexität and darüber hinaus die Transparenz und Interpretierbarkeit der Fuzzy Modelle während der inkrementellen (on-line) Lernphase verbessern. Ein anderer wichtiger Aspekt und ist die Zuverlässigkeit der Vorhersagen und der Modelle selbst. Hier ist das Ziel, das Modell so aufzubereiten, dass es sich selbst seiner eigenen Zuverlässigkeit bewusst wird und dies dem Anwender mitteilen kann. Weiters werden auch neue Visualisierungstechniken und -methoden entwickelt werden, welche einem Menschen erlauben, mit dem lernenden System komfortable interagieren zu können. All diese neuen Errungenschaften werden die praktische Anwendbarkeit, Akzeptanz, Attraktion und Motivation für Anwender, um mit dem System zu kommunizieren, deutlich steigern.

Das zentrale Ziel des Projektes war, neue Konzepte und Algorithmen zur Gewährleistung einer besseren Interpretierbarkeit und Zuverlässigkeit von evolvierenden Fuzzy Systemen (EFS) zu entwickeln. EFS können als ein wichtiger Teil der Evolving Intelligent Systems Community angesehen werden, welche seit 2010 mit einer eigenen Zeitschrift (Evolving Systems) beim Springer Verlag (Heidelberg) ausgestattet ist und jedes Jahr eine von IEEE gesponserte Konferenz organisiert (EAIS). Zu der Zeit, als der Projektantrag schließlich zu Beginn des Jahres 2010 von FWF und DFG genehmigt wurde, gab es bereits mehrere Ansätze im Bereich der EFS, die jedoch ausschließlich auf präzise Modellierung konzentriert waren. Das heißt, das ultimative Ziel all dieser Ansätze war, möglichst viel Genauigkeit bei der Vorhersage bzw. Klassifikation von neuen Samples zu erreichen, ohne dabei die Interpretierbarkeit der Modelle und damit ein Systemverständnis zu berücksichtigen. In diesem Projekt konnten wir neue Konzepte entwickeln, um EFS während adaptiver, on-line Lernprozesse transparenter und interpretierbarer aufzubereiten. Dies kann ein wesentlicher Vorteil für die Experten in Sachen Erkenntnisgewinnung werden, als auch erhebliche positive Konsequenzen in Anwendungsszenarien, wo eine Interaktion zwischen Mensch und Maschine ein Rolle spielt, im speziellen dort wo es angebracht ist, dass der Benutzer und die Maschine auf einer höheren Ebene kommunizieren. Dieses hybride Lernkonzept wird zurzeit in der Evolving Intelligent Systems Community unter dem Begriff Human-Inspired Evolving Machines (HIEM) motiviert und diskutiert [N1], http://en.wikipedia.org/wiki/Evolving_intelligent_system. Zuverlässigkeit von EFS ist motiviert durch zwei Aspekte: 1) um die Stabilität und Robustheit der Modelle beim Online- Lernen zu gewährleisten und 2) um eine verbesserte Auslegung der Modellvorhersagen zu unterstützen. Um die Interpretierbarkeit von EFS zu verbessern, wurden verschiedene Entwicklungen durchgeführt, die von on-line Komplexitätsreduktion über die Zusicherung von mehreren sprachlichen Interpretierbarkeitskriterien (Unterscheidbarkeit, Einfachheit, Vollständigkeit, konsistente Regelbasis etc.) bis hin zur visuellen Interpretierbarkeit reichen. Zuverlässigkeit wurde behandelt 1.) durch Entwicklung von Algorithmen, die Vorkommen von Drifts in online Datenströmen durch die Einführung von mehr Flexibilität in die Modell-Updates behandeln; und 2) in Form von neuartigen Konzepten bzgl. Modellunsicherheit (conflict and ignorance). Letztere konnten auch in aktive Lernverfahren integriert werden, um den Feedback-Aufwand für die Benutzer zu reduzieren. Dies kann einen erheblichen Einfluss in der Industrie haben, da so Kosten in Monitoring-Systemen reduziert werden (wird in einem Folgeprojekt untersucht werden, Sektion 7.2). Die Integration des österreichischen Teilprojekts beinhaltet die Entwicklung von Komplexitätsreduktion und Konzepte hinsichtlich sprachlicher Interpretierbarkeit und Zuverlässigkeit, visuelle Interpretierbarkeit und Themen im Bereich Benutzerinteraktion wurden vor allem durch den bilateralen deutschen Partner mit Unterstützung des österreichischen Partners durchgeführt. Gemeinsame Publikationen konnten in den Bereichen Komplexitätsreduktion, Drift-Bewältigung und Aspekte im Bereich der hybriden Modellierung (als Teil der Interaktion mit dem Benutzer) erreicht werden (mit Anwendung auf ein konkretes Problem aus der Textilindustrie).