Knowledge Delta-basierte kontinuierliche Bewertung

Bei Branchenkonferenzen für Informationssysteme (z.B. Medizin, Nachrichten, intellektuelles Eigentum) ist es leicht zu beobachten, dass in den letzten 2-3 Jahren eine Zunahme der "semantischen Suchsysteme" zu beobachten ist, die mit Hilfe der "künstlichen Intelligenz" die besten Ergebnisse für eine Vielzahl von Arbeitsaufgaben erzielen, denen eine Suchanwendung zugrunde liegt. Die Endanwender solcher Systeme haben keine Möglichkeit, den Wert dieser Systeme zu schätzen, sondern müssen den Unternehmen die sie anbieten vertrauen. Gleichzeitig haben Unternehmen, die diese suchbasierten Anwendungen entwickeln, keine zuverlässigen Werkzeuge, um die Wirksamkeitsbewertung in ihre Testverfahren zu integrieren. Die Herausforderung besteht darin, dass es in der akademischen Gemeinschaft zwar zahlreiche Benchmarks gibt, aber keine Quantifizierung der Unterschiede zwischen ihnen. Ein solcher Benchmark besteht typischerweise aus einer Reihe von Dokumenten, die von der Suchmaschine zu indexieren sind (die Dokumentsammlung), einer Reihe von Abfragen, die den Bedarf an Benutzerinformationen simulieren (die Abfragesammlung), und einer Reihe von Relevanzurteilen (die "qrel"-Sammlung). Änderungen in einem dieser Bereiche, damit ein Suchsystem eine optimale Leistung erbringen kann, müssen sich in Änderungen der Systemparameter widerspiegeln. Während Veränderungen in der Effektivität und in den Systemparametern in der Regel leicht zu beobachten oder zu messen sind, sind Veränderungen in der Benchmark derzeit schwierig, wenn nicht gar unmöglich zu messen. Aufbauend auf dem neuesten Stand der Technik im Repräsentationslernen untersucht KoDicare Methoden, um Veränderungen in den Benchmarks über die einfache Begriffsstatistik hinaus zu verstehen. Signifikante Änderungen in der Dokumentenerfassung oder im Abfragesatz müssen auf semantischer Ebene quantifiziert werden. Mit einer solchen Quantifizierung, die wir als Wissensdelta bezeichnen, werden wir Ablationsstudien durchführen können - Tests, bei denen wir in einer kontrollierten Umgebung Wissenseinheiten ändern und Unterschiede in der Leistung des Suchsystems beobachten. Die Möglichkeit, dies zu tun, hat erhebliche Auswirkungen sowohl auf die akademische Forschung (die Mittel für kontrolliertere Experimente bei der Informationsbeschaffung bereitstellt) als auch auf die Industrie (die Mittel zur Aktualisierung der Suchmaschine bereitstellt, wenn sich die Umgebung erheblich verändert hat). KoDicare bringt die Research Studios Austria Forschungsgesellschaft, das Laboratoire d`Informatique de Grenoble und Qwant SAS zusammen, um die Grundlagen für die Integration der Wirksamkeitsbewertung in zukünftige (semantische) Suchsysteme zu entwickeln.

Die Bewertung von Suchsystemen erfordert die Einrichtung einer Umgebung: Auswahl eines Paradigmas, von Metriken, eines Datensatzes usw. Die Wahl einer Umgebung ist selten objektiv begründet, und die Auswirkungen ihrer Variationen (Auswahl eines Datensatzes gegenüber einem anderen, Änderung eines Datensatzes) werden selten gemessen. Eine solche Objektivität ergibt sich aus einem quantifizierbaren Verständnis der Unterschiede zwischen Datensätzen, Dokumenten oder Testabfragen. Bei Kodicare bezeichnen wir solche Unterschiede allgemein als "Wissensdelta". Die Bewertung mehrerer Umgebungen unter Berücksichtigung ihrer Wissensdeltas führt zur Messung und Qualifizierung von "Ergebnisdeltas". Online-Systeme erfordern eine kontinuierliche Bewertung in einer stabilen und aussagekräftigen Umgebung, die die Reproduzierbarkeit und Erklärbarkeit der Systemergebnisse gewährleistet. Die Umgebung und die Ergebnisdeltas können eine solche kontinuierliche Bewertung unterstützen und Erklärungen liefern. Die theoretischen Ergebnisse werden mit realen Fällen konfrontiert, die von einem französischen Unternehmen definiert wurden, das eine Web-Suchmaschine (Qwant) einsetzt. Wissenschaftliche und technische Herausforderungen: Nach unserem Kenntnisstand gibt es aufgrund der zahlreichen zu berücksichtigenden Parameter keinen solchen Rahmen, der sich speziell mit der kontinuierlichen Bewertung von Informationsabrufsystemen befasst. Die von Kodicare vorgeschlagenen Deltas sind daher ein sinnvoller Ansatz, um dieses Problem anzugehen. Eine kontinuierliche Bewertung ist nur mit realen Fällen möglich, die ohne die Hilfe von Websuchmaschinen oft schwer zu definieren sind. Die große Beteiligung von Qwant half dem Projekt, nutzbare Szenarien zu definieren und diese zu testen.