Mensch-zentrierte Evaluierung von Ontologien (HOnEst)

In den letzten Jahren wurden im Bereich intelligenter Systeme bedeutende Fortschritte erzielt, beispielsweise kann IBMs Watson konkrete Fragestellungen beantworten oder Chatbots können Konversationen führen. Die Erwartungshaltung der Anwender an solche Systeme ist, dass diese wahrheitsgetreu und unverfälscht agieren, korrekte Aussagen treffen und unterschiedliche Sichtweisen berücksichtigen. Das Verhalten solcher Systeme ist allerdings stark abhängig von der Qualität der zugrundeliegenden Wissensbasis ab, die oft in Datenstrukturen, wie beispielsweise Ontologien, abgelegt wird. Derartige Ontologien werden oft automatisch aus großen Textsammlungen extrahiert und können entsprechend umfangreich und sehr komplex werden. Automatische Extraktionsmechanismen sind jedoch anfällig für die Erzeugung fehlerhafter oder verfälschter Ontologien. Die Erkennung derartiger Mängel ist derzeit oft nicht automatisierbar und muss typischerweise von Menschen durchgeführt werden. Ziel des Projekts HOnEst ist die Unterstützung der Verifikation von Ontologien und die Verbesserung von Ontologien durch skalierbare und Mensch-zentrierte Bewertungen, um anhand dieser Ontologien faktisch korrektes und unverfälschtes Systemverhalten zu ermöglichen. Der erste Schritt im Rahmen des Projekts HOnEst ist eine Literaturrecherche, um den aktuellen Stand der Technik von Ansätzen für nicht automatisch auffindbare Mängel in Ontologien zu identifizieren, die eine menschliche Bewertungen erfordern. Darauf aufbauend, werden Methoden aus dem Fachbereich Human Computation untersucht, die eine effektive und effiziente Organisation Mensch-zentrierter Auswertungen ermöglichen. Die Kernidee ist die Aufteilung der Bewertungsaufgaben in zahlreiche kleine Teilaufgaben, die parallel von Nutzern bearbeitet und gelöst werden können. Die Ergebnisse dieser Teilaufgaben werden zur Lösung der ursprünglichen Aufgabe bzw. des ursprünglichen Problems aggregiert. Das Projekt folgt einem Design Science Ansatz, um Mensch-zentrierte Lösungen zu Bewertungsproblemen zu entwerfen und deren Nutzen für die Bewertung von Ontologien zu evaluieren. Zur Evaluierung der Skalierbarkeit des Ansatzes werden im Rahmen von HOnEst menschliche und algorithmische Komponenten im Kontext zweier großer und praktisch relevanter Ontologien kombiniert: (1) CSO Ontologie, die 15K Forschungsthemen der Informatik enthält und (2) WebIsALOD, die die Diversität von Wissen über Informationssysteme mit 400M automatisch extrahierten taxonomischen Relationen (tail entities) erweitern soll. Tail entities werden derzeit nicht durch Ontologien, wie sie beispielsweise in Wikipedia verwendet werden, unterstützt. In beiden Fällen werden algorithmische Komponenten, wie Klassifikatoren für maschinelles Lernen verwendet, um abzuleiten, welche Teile von Ontologien durch Menschen oder durch Mensch-zentrierte Methoden evaluiert werden sollen. Die Ergebnisse werden zur Verbesserung der eigenen Klassifikationsmethode verwendet.Neben diesen neuenForschungsbeiträgenzu den wissenschaftlichen Bereichen der Ontologieevaluierung und Human Computation, wirdHOnEstwichtige Rückschlüsse aufdas wahrheitsgetreue und unverfälschte Verhalten ontologiebasierter Systeme liefern. Vom Nutzen werden bereits jene Systeme profitieren, die eine der beiden im Rahmen des Projekts verbesserten Ontologien verwenden.

In den letzten Jahren hat die Künstliche Intelligenz (KI) enorme technologische Entwicklungen durchlaufen, die erhebliche Auswirkungen auf alle Aspekte der Gesellschaft haben, von wirtschaftlichen Veränderungen bis hin zu Fragen der Nachhaltigkeit. Insbesondere haben wir den großen Einfluss von KI-Techniken erlebt, die Intelligenz aus großen Datenmengen ableiten (auch bekannt als neuronale KI). Ein wichtiger Vertreter dieses Trends sind Basismodelle (die häufig von Sprachsystemen wie ChatGPT genutzt werden), die die Leistungsfähigkeit dieser Technologien demonstrieren, gleichzeitig aber auch ihre Grenzen aufzeigen, die in der mangelnden Transparenz ihrer internen Funktionsweise und der schwachen sachlichen Korrektheit liegen. Daher stellt sich die zentrale Frage: Wie können wir die enorme Leistungsfähigkeit solcher neuronalen KI-Techniken nutzen und gleichzeitig sicherstellen, dass KI-Systeme transparent bleiben und sich wahrheitsgemäß verhalten, indem sie sachlich korrekte Informationen liefern? Ein Lösungsansatz sind "neurosymbolische" Architekturen, die neuronale Systeme (z. B. Basismodelle) mit faktisch korrektem Wissen ergänzen, das mit symbolischen KI-Techniken erfasst wurde. Insbesondere fortgeschrittene Datenstrukturen, sogenannte Ontologien, eignen sich zur Erfassung von verifiziertem und faktisch korrektem Wissen. Ontologien werden in der Regel automatisch aus umfangreichen Textsammlungen extrahiert und einer Qualitätsprüfung unterzogen, die häufig unter menschlicher Beteiligung erfolgt. Ziel des HOnEst-Projekts ist es, die Qualität von Ontologien durch eine skalierbare, menschenzentrierte Evaluierung (MZE) zu verbessern, so dass sie ein sachlich korrektes und unvoreingenommenes ("honest") Verhalten von KI-Systemen ermöglichen, die auf ihnen aufbauen. Um dieses Ziel zu erreichen, hat das Projekt die folgenden Ergebnisse erzielt. Erstens haben wir zum besseren Verständnis dieses Themas eine systematische Übersicht über 15 Jahre Arbeit im Bereich der menschenzentrierten Ontologieevaluierung erstellt. Zweitens haben wir experimentell Lösungen für die Ontologieevaluierung untersucht, indem wir die Evaluierungsaufgabe in mehrere kleinere Aufgaben, die von einer großen und verteilten Belegschaft parallel gelöst werden können, aufgeteilt haben. Wir haben wiederverwendbare Prozessmodelle und technische Architekturen vorgestellt, die andere für ihre eigenen MZE-Kampagnen nutzen können. Drittens haben wir uns darauf konzentriert, MZE durch die Kombination von menschlichen und algorithmischen Komponenten skalierbar zu machen. Zu diesem Zweck haben wir geeignete neurosymbolische Architekturen untersucht, die Ontologien und neuronale Systeme kombinieren, was zur Identifizierung von über 40 solcher Architekturtypen geführt hat. Außerdem haben wir hybride Mensch-KI-Workflows vorgeschlagen, bei denen Menschen und algorithmische Elemente (insbesondere Basismodelle) zusammenarbeiten, um Ontologien zu verifizieren. Wir haben diese Arbeitsabläufe experimentell für die Überprüfung des Computer Science Knowledge Graph (CS-KG) evaluiert. Der CS-KG ist eine ontologiebasierte, groß angelegte Ressource, die 41 Millionen Fakten über den Bereich der Informatik enthält. Damit hat HOnEst ein wesentliches Teil des übergreifenden Puzzles zur Sicherstellung leistungsfähiger und wahrheitsgetreuer KI-Systeme geliefert und so zur sicheren und effektiven Einführung dieser leistungsstarken Technologien, selbst in kritischen Anwendungsbereichen, in denen faktische Korrektheit entscheidend ist, beigetragen.