Integrierte Human Computation für Wissensextraktion und -evaluierung

Etablierte Wissensextraktionsverfahren sind dem schnellen Wachstum und dem fragmentierten Charakter sozialer Medien und strukturierter Online-Quellen vielfach nicht gewachsen. Verrauschte, multilinguale oder widersprüchliche Input-Daten sind besonders problematisch. Ohne entsprechende Trainingsdaten und Gold Standards können Reliabilität und Skalierbarkeit dieser Algorithmen nicht gesteigert werden. Menschliche Benutzer hingegen sind in der Interpretation widersprüchlicher und kontextabhängiger Informationen unerreicht. Das uComp Projekt wird diese Fähigkeit nutzbar machen und kollektive Intelligenz mit automatisierten Methoden kombinieren. Basierend auf dem Human Computation Ansatz wird ein skalierbares und generisches Framework zur Extraktion und Evaluierung von Wissen auf Basis von "Games with a Purpose" und Crowdsourcing Plattformen entwickelt. Dieses Framework wird es erlauben, besonders herausfordernde Fragestellungen einer grossen Zahl von Benutzern zu präsentieren und mit Hilfe deren Feedbacks automatisierte Methoden iterativ zu verbessern. Dies ist ein zentraler Beitrag des Projekts, welcher die Forschungsgebiete der menschlichen und automatisierten Informationsverarbeitung verknüpft und vorantreibt. Der gewählte Ansatz geht weit über die reine Datenakquisition hinaus und erlaubt es, adaptive Wissensextraktionsprozesse zu optimieren. Eine offene Kampagne zur Evaluierung der entwickelten Algorithmen wird deren Präzision und Skalierbarkeit messen - nicht nur im Hinblick auf Fakten, sondern auch um emotionales Wissen effektiv zu extrahieren. Neben innovativen Verfahren zur Evaluierung wird das uComp Projekt auch eine gemeinsame Datenbasis zur Verfügung stellen und den gewählten Ansatz mit traditionellen Verfahren zur Wissensextraktion vergleichen. Die von uComp entwickelten Methoden sind generisch konzipiert und daher auf beliebige Themenbereiche anwendbar. Aufgrund der Relevanz und inhaltlichen Komplexität wurde Klimawandel als primäres Anwendungsbeispiel gewählt. Das Thema ist durch wechselhafte und vielfach widersprüchliche Interpretationen geprägt. Führende internationale Organisationen (European Environment Agency, British Library, NASA Ames Research Center und NOAA Climate Program Office) werden umfangreiche Datenarchive zur Verfügung stellen und Klimawandel-Experten im Rahmen der Evaluierung vermitteln. Darüber hinaus werden diese Kooperationen den Impact und die internationale Sichtbarkeit des Projekts erhöhen.

In unserem Alltagsleben halten immer mehr Systeme Einzug, welche auf Methoden der Künstlichen Intelligenz und des Semantic Web basieren. Für diese Werkzeuge gibt es eine große Zahl praktischer Einsatzgebiete. Allerdings sind derartige Systeme vielfach auf Trainingsdaten angewiesen, um ihre Algorithmen zu trainieren und auf die Anwendung vorzubereiten. Zudem müssen die automatisch generierten Resultate auf Korrektheit überprüft werden somit ist der menschliche Beitrag in vielen Fällen noch immer nötig. Experten sind in der Regel jedoch teuer und knapp, deshalb werden Crowdsourcing-Verfahren eingesetzt um die kollektive Intelligenz großer Benutzer-Gruppen in diese Prozesse zu integrieren.Im uComp Projekt hat ein Forschungsteam der WU Wien spezifisch am Zusammenspiel menschlicher Benutzer und maschinellen Algorithmen gearbeitet. Dafür wurde zum Beispiel ein Plugin für den Ontologie-Editor Protégé entwickelt, implementiert und evaluiert. Mit diesem Plugin wurde die Machbarkeit und Skalierbarkeit von Crowdsourcing im Bereich der Generierung und Überprüfung von (strukturiertem) Wissen erforscht. Das Team hat verschiedene Einstellung untersucht, um Crowdsourcing-Arbeit möglichst effektiv zu nutzen, und um die Resultate der menschlichen Experten mit Crowdsourcing zu vergleichen. Um generalisierbare Ergebnisse zu erhalten, wurde in verschiedenen Wissensbereichen und Sprachen gearbeitet. Weiters hat die WU das zugrundeliegende System zur automatisierten Bildung von Wissensmodellen verbessert. Das Wissen aus der Analyse unstrukturierter Text-Daten (beispielweise von Nachrichten Websites oder aus sozialen Medien) wird gemeinsam mit strukturierten Daten in einer Semantic Kowledge Base gespeichert. Zusätzlich wurde erforscht, wie solche Systeme optimiert und ausbalanciert werden können, beispielsweise im Hinblick auf eine automatisierte Qualitätskontrolle und die Verarbeitung redundanter Daten.