Integrierte Human Computation für Wissensextraktion und -evaluierung

Etablierte Wissensextraktionsverfahren sind dem schnellen Wachstum und dem fragmentierten Charakter sozialer Medien und strukturierter Online-Quellen vielfach nicht gewachsen. Verrauschte, multilinguale oder widersprüchliche Input-Daten sind besonders problematisch. Ohne entsprechende Trainingsdaten und Gold Standards können Reliabilität und Skalierbarkeit dieser Algorithmen nicht gesteigert werden. Menschliche Benutzer hingegen sind in der Interpretation widersprüchlicher und kontextabhängiger Informationen unerreicht. Das uComp Projekt wird diese Fähigkeit nutzbar machen und kollektive Intelligenz mit automatisierten Methoden kombinieren. Basierend auf dem Human Computation Ansatz wird ein skalierbares und generisches Framework zur Extraktion und Evaluierung von Wissen auf Basis von "Games with a Purpose" und Crowdsourcing Plattformen entwickelt. Dieses Framework wird es erlauben, besonders herausfordernde Fragestellungen einer grossen Zahl von Benutzern zu präsentieren und mit Hilfe deren Feedbacks automatisierte Methoden iterativ zu verbessern. Dies ist ein zentraler Beitrag des Projekts, welcher die Forschungsgebiete der menschlichen und automatisierten Informationsverarbeitung verknüpft und vorantreibt. Der gewählte Ansatz geht weit über die reine Datenakquisition hinaus und erlaubt es, adaptive Wissensextraktionsprozesse zu optimieren. Eine offene Kampagne zur Evaluierung der entwickelten Algorithmen wird deren Präzision und Skalierbarkeit messen - nicht nur im Hinblick auf Fakten, sondern auch um emotionales Wissen effektiv zu extrahieren. Neben innovativen Verfahren zur Evaluierung wird das uComp Projekt auch eine gemeinsame Datenbasis zur Verfügung stellen und den gewählten Ansatz mit traditionellen Verfahren zur Wissensextraktion vergleichen. Die von uComp entwickelten Methoden sind generisch konzipiert und daher auf beliebige Themenbereiche anwendbar. Aufgrund der Relevanz und inhaltlichen Komplexität wurde Klimawandel als primäres Anwendungsbeispiel gewählt. Das Thema ist durch wechselhafte und vielfach widersprüchliche Interpretationen geprägt. Führende internationale Organisationen (European Environment Agency, British Library, NASA Ames Research Center und NOAA Climate Program Office) werden umfangreiche Datenarchive zur Verfügung stellen und Klimawandel-Experten im Rahmen der Evaluierung vermitteln. Darüber hinaus werden diese Kooperationen den Impact und die internationale Sichtbarkeit des Projekts erhöhen.

Das schnelle Wachstum und der fragmentierte Charakter sozialer Medien stellen etablierte Wissensextraktionsverfahren vor hohe Herausforderungen. Verrauschte, multilinguale oder widersprüchliche Input-Daten sind besonders problematisch. Ohne Trainingsdaten und Gold Standards können Reliabilität und Skalierbarkeit dieser Algorithmen nicht beurteilt und weiter gesteigert werden. Menschliche Benutzer hingegen sind in der Interpretation widersprüchlicher und kontextabhängiger Informationen unerreicht. Das uComp Projekt widmete sich diesem Problem und zielte darauf ab, diese Fähigkeit nutzbar zu machen und kollektive Intelligenz mit automatisierten Methoden ergänzend zu kombinieren. Dafür hat uComp ein generisches Human Computing (HC) Framework zur Wissensextraktion und -bewertung entwickelt, basierend auf einer Kombination von "Games with a Purpose" und Crowdsourcing Marktplätzen wie CrowdFlower. Dieses Framework erlaubt es, die schwierigsten Aufgaben zur Bearbeitung an Online-Benutzer zu delegieren und von deren Feedback zu lernen, um automatische Methoden zur Wissensextraktion iterativ zu verbessern. Die von uComp entwickelten Methoden sind generischer Natur und vielfältig anwendbar. Das Thema Klimawandel wurde als konkrete Anwendung gewählt, da es aufgrund seiner Dynamik und vielfach widersprüchlichen Interpretationen besonders anspruchsvoll ist.Die aktive Zusammenarbeit zwischen dem Institut für Neue Medientechnologie der MODUL University Vienna und internationalen Partnerorganisationen hatte einen positiven Einfluss auf den wissenschaftlichen Fortschritt und half, die internationale Sichtbarkeit des Projekts zu stärken. Die Liste der Partnerorganisationen beinhaltet neben den uComp-Projektpartnern auch das Konsortium von DecarboNet.eu (ein im 7. EU Rahmenprogramm gefördertes Forschungsprojekt), die US-Klimabehörde NOAA (National Oceanic and Atmospheric Administration) sowie das Umweltprogramm der Vereinten Nationen (UNEP).Drei öffentliche Web-Anwendungen haben die Ergebnisse der Zusammenarbeit einem größeren Publikum frei zugänglich gemacht: (1) das Language Quiz zur Erstellung und Validierung lexikalischer Ressourcen, (2) die Climate Challenge zum Verständnis vorherrschender Meinungen und zur Bewusstseinsbildung im Bereich Umwelt- und Klimaschutz, sowie (3) die Media Watch on Climate Change, eine umfangreiches Wissensarchiv mit einem leistungsfähigen visuellen Dashboard zur interaktiven Analyse von Trends und Zusammenhängen. Diese Anwendungen garantieren eine kritische Masse an Input-Daten, motivieren Benutzer zur Auseinandersetzung mit dem Thema, und fördern die Verbreitung des Embedded Human Computation (EHC) Ansatzes bei unterschiedlichen Zielgruppen.