Anfragemechanismen für archivierte dynamisch verlinkte Daten

Das Linked Data hat in den vergangenen Jahren dazu geführt, dass mehr und mehr strukturierte Daten am Web im RDF Format verfügbar sind und neben dem klassischen Web von Dokumenten ein neues Web von untereinander verlinkten, maschinenlesbaren Daten bilden. In der Wissenschaft führte dies zu einer Reihe von Forschungsarbeiten zu Themen wie Indexierung, effizientes Abfragen und Speichern von RDF Daten und Abfragesprachen und Inferenzmechanismen für RDF am Web, sowie Visualisierung von großen Graph-basierten Datenmengen, die in RDF repräsentiert sind. RDF Daten am Web sind allerdings, wie alle Web-Inhalte dynamisch, was die Untersuchung von Veränderungen und Trends von solchen Web-Daten und zur Archivierung von sich verändernden Daten nahelegt. Das vorliegende Projekt plant die Untersuchung von Infrastrukturen um Web daten zu archivieren und solcherart archivierte Daten mittels strukturierter, temporaler Abfragen zugreifbar zu machen. Traditionelle Methoden der Archivierung von Web-Inhalten mittels Web-Crawlern haben zur Verfügbarkeit riesiger Archive von historischen Web-Dokumenten geführt. Allerdings sind diese Archive mit zunehmendem Wachstum und Geschwindigkeit von Veränderungen der Inhalte im Web nicht für ein Web von sich verändernden Daten geeignet, das längst nicht mehr auf statischen Dokumenten basiert: zum einen sind Web-Archive (a) nach wie vor relativ zentralisiert, (b) stellen sie nur sehr rudimentäre Suchanfragemoeglichkeiten zur Verfügung, wohingegen man für ein Web von Daten die Möglichkeit erwarten würde, Daten und deren Veränderungen über die Zeit mittels strukturierter Anfragen abfragen zu können. Im vorliegenden Projekt wollen wir in Bezug auf (a) eine dezentrale Infrastruktur zur Archivierung von verlinkten Datensets semantischer Daten entwickeln, welche gleichzeitig das Abfragen solcher Daten über die Zeit erlaubt. Zu diesem Zweck planen wir die Untersuchung geeigneter Datenstrukturen und Datenkomprimierugnsmethoden fuer historische, verlinkte Daten in modularer Art und Weise. Bezüglich (b) planen wir die Untersuchung und Erweiterung geeigneter Abragesprachen fuer solcherart archivierte Daten. Unsere Architektur soll die Abfrage von Veränderungsmustern sowie temporale Abfragen über die Zeit als auch die Berücksichtigung von ontologischen Inferenzen, die ein fixer Bestandteil von semantischen Daten sind, erlauben. Schlussendlich werden wir unsere Methoden aufgrund echter Daten im Web verifizieren. Wir planen dazu den aufbau eines Archivs fuer Open Government Data (OGD), von verschiedenen OGD-Anbietern, da in diesem Bereich mehr und mehr Daten verfügbar sind und zunehmend als Linked Data repraesentiert werden. Wir planen signifikante Forschungsergebnisse in verschiedenen Aspekten: kompakte Datenrepräsentation von großen Mengen historischer, sich verändernder RDF Daten, effiziente Anfragemechanismen für temporale Daten auf dieser Repräsentation und Erweiterungen von Abfragesprachen um temporale Aspekte, um speziell Veränderungsmuster abfragen zu können. Die vorgeschlagene Arbeit fügt sich außerdem nahtlos in die bestehenden Forschungsaktivitäten an der Host-Institution ein, wo bereits komplementäre Expertise in den Gebieten Semantic Web Crawling, Web-Daten-Extraktion, Live-Abfragen und föderierte Anfragen von Web Daten, Grundlagen von Abfragesprachen und Inferenz über Web Daten vorhanden sind. Auch internationale Kollaborationen werden durch das Projekt gestärkt.

Das Semantische Web kann als ein offenes System verstanden werden, um die Publikation von Daten zu organisieren und diese in einer wiederverwendbaren, maschinenlesbaren Form verfügbar zu machen, sodass sie automatisch integrierbar und auffindbar sind, und die Formulierung und Ausführung von strukturierten Anfragen über solche am Web verteilte Daten möglich wird. Allerdings ist die Idee einer solchen globalen Daten- und Wissensbasis ohne einen zentralen Kotrollinstanz schwer zu verwirklichen: ständig werden neue Datensätze dezentral neu hinzugefügt, verschwinden wieder oder verändern sich. Das vorliegende Projekt hatte es zum Ziel Webdaten möglichst effizient und skalierbar zu archivieren und damit Abfragen über so ein "Archiv des Semantischen Web zu ermöglichen. In unserem Projekt haben wir erstmals (i) ein System entwickelt um große Mengen von Semantischen Daten aus dem Web in RDF in einem komprimierten Format (v-RDFCSA) zu archivieren und strukturiert abzufragen, (ii) eine Benchmark (BEAR) entwickelt, die verschiedene Datenstrukturen und Archivierungsmethoden anhand ihrer Speicherplatz-Effizienz, sowie anhand verschiedener typischer Abfrageaufgaben an so ein Archiv vergleicht, (iii) als praktischen use case ein on-demant Archiv für die DBpedia Datenbank, eine Semantische Version der Infobox-Daten in Wikipedia, aufgebaut (die DBpedia Wayback Machine). In Erforschung der Grundlagen solcher Archive haben wir uns außerdem (iv) mit theoretischen Aspekten der Komplexität von Anfragen über solche Archive im Zusammenspiel mit den verwendeten Datenstrukturen und Archivierungsmethoden beschäftigt. Hier wurden (v) verschiedene Anfrage-Muster identifiziert die in konkrete Abfragesprachen übersetzt wurden um solche Anfragen praktisch auszuwerten. Desweiteren wurden (vi) Komprimierungsverfahren und Indizierungsmethoden untersucht, um die Anfragen zu optimieren. Zu guter Letzt wurden Charakteristika, von Archiven für praktische use cases und Datensätze untersucht (wie etwa die unterschiedlichen Veränderungsraten und -Muster) und wie sich diese auf die Abfrage-Performance auswirkt, sowie (viii) ein pragmatischer Mechanismus entworfen um Updates in DBpedia zu automatisieren. Zusammenfassend konnte das Projekt signifikante Fortschritte im Bereich des Management, der Preservation und der Archivierung von sich über die Zeit verändernden Big Data Beständen erzielen: Neben zahlreichen wissenschaftlichen Puplikationen in wichtigen internationalen Konferenzen in den Bereich Semantic Web und Data Compression, wurden vom Projekt zwei internationale Workshops (MEPDaW) organisiert und ein Journal Special Issue zum Thema Semantic Data Archiving ausgeschrieben. Das Projekt wurde hauptsächlich an der WU Wien durchgeführt, im Zuge der Arbeiten wurden aber auch internationale Kollaboration mit der U. Valladolid (Spanien), U. de Chile (Chile), Fraunhofer IAIS (Deutschland), VU Amsterdam (die Niederlande), und dem Italian National Research Council erfolgreich weitergeführt.