VisOnFire

Eine Vielzahl von Wissenschaftsdisziplinen, wie beispielsweise die Biomedizin oder Klimaforschung, sehen sich mit einer stetig wachsenden Datenmenge konfrontiert. Die Herausforderung liegt allerdings nicht mehr in der Datenaquisition, sondern vielmehr deren Analyse. Sowohl die Menge der Daten, als auch ihre Komplexität bringt Probleme mit sich. Die Anwendung lokaler Lösungen stellt kein praktikables Mittel mehr dar. Groß angelegte Analyseexperimente werden als Workflows, bestehend aus Datentransformationen und Analyseoperationen, auf performanter Serverinfrastruktur ausgeführt. Die Ausführung solcher Workflows kann Stunden, Tage oder sogar Wochen dauern. Falsche Konfiguration, fehlerhafte Skripte oder nicht-endende Operationen sind hoch problematisch, da das erneute Ausführen der Workflows Zeit und Geld kostet. Des Weiteren werden die Workflows von potentiell großen und örtlich verteilten Forscherteams erzeugt, administriert und laufend geändert. Durch die Komplexität dieses Prozesses wird es zunehmend schwieriger einen Überblick über die Prozess-Schritte zu bekommen und auch nachvollziehen zu können, wer welche Information an welcher Stelle ändert und welche Auswirkungen diese Änderungen auf die (Zwischen-)Resultate haben. Reproduzierbarkeit und Nachvollziehbarkeit sind in diesem Kontext äußerst kritische Faktoren. Eine aktuelle Studie hat gezeigt, dass es in 90% der Fälle nicht möglich war die Ergebnisse von 50 Krebsstudien zu reproduzieren. Der Schlüssel zu Nachvollziehbarkeit und Reproduzierbarkeit liegt in der Sammlung von Informationen über die verarbeiteten Daten, die angewandten Werkzeuge und Algorithmen sowie die Parameter über die Zeit. Moderne Workflow-Werkzeuge realisieren diese sogenannte analytische Provenanz, welche in den meisten Fällen allerdings auf Szenarien in denen ein statischer Eingangsdatensatz in einen Ausgangsdatensatz übergeführt wird beschränkt sind. Mit Änderungen auf dem Level der Eingangsdatensätze, dem Workflow selbst sowie der Parametrisierung ist es, wenn überhaupt möglich, sehr zeitaufwändig herauszufinden, welche konkreten Änderungen zu einer Variationen im Resultat geführt haben. Das primäre Ziel des Forschungsprojektes liegt in der Realisierung von Provenanz auf allen Ebenen. Dies ermöglicht Analysten ein besseres Verständnis des Workflows und auf den Workflow angewandte Änderungen zu bekommen, und deren Auswirkungen auf die Resultate zu erfassen. Wir planen dies durch die Entwicklung eines forensischen visuellen Werkzeuges für die Analyse von Workflow Provenance Graphen zu ermöglichen. Neuartige visuelle Analysemethoden für skalierbare Workflow-Visualisierung, Möglichkeiten zum Vergleich von komplexen Datenstrukturen sowie Metriken zum quantifizieren von Änderungen werden dafür entwickelt. Die Methoden werden dazu beitragen die Reproduzierbarkeit in veröffentlichten Studien zu heben. Analysten wird es dadurch möglich sein eine detaillierte Beschreibung der Arbeitsschritte zu geben, die zu veröffentlichen Studienresultaten geführt haben.

VisOnFire: Dem Workflow auf der Spur Projekt der FH St. Pölten und JKU Linz macht Studien reproduzierbar Die Wiederholbarkeit von Studienergebnissen gilt als Fundament der Wissenschaft. Repräsentative Studien sollten bei gleicher Durchführung natürlich immer die gleichen Ergebnisse liefern. Doch was, wenn die einzelnen Forschungsschritte nicht mehr nachvollziehbar sind? Im Rahmen des Forschungsprojekts VisOnFire arbeitete das Institut für Creative\Media/Technologies der FH St. Pölten gemeinsam mit dem Institut für Computergrafik der Johannes Kepler Universität Linz an einer Lösung dieses Problems: Mithilfe eines forensisch visuellen Werkzeugs ist es Analystinnen und Analysten nun möglich, eine detaillierte Beschreibung der einzelnen Arbeitsschritte zu bekommen, die zu veröffentlichten Studienresultaten geführt haben. Fehlende Transparenz bei Studienergebnissen Studien sind aus der Wissenschaft nicht mehr wegzudenken und liefern wertvolle Einblicke in die unterschiedlichen Disziplinen. Doch Studien erzeugen auch eine enorme Menge komplexer Daten, die es zu analysieren gilt. Das ist vor allem dann ein Problem, wenn es um die Reproduktion von Studienergebnissen geht. Eine Studie im Journal Nature zeigt, dass es in über 90 Prozent der Fälle nicht möglich war, die Ergebnisse von 53 Krebsstudien zu reproduzieren. Die FH St. Pölten arbeitete gemeinsam mit der JKU Linz im Rahmen des dreijährigen Projekts "VisOnFire" an einer neuartigen Visualisierungswerkzeugen, die unter anderem Studienergebnisse leichter nachvollziehbar machen soll. Der Schlüssel zur Reproduzierbarkeit liegt in der Sammlung von Informationen über die verarbeiteten Daten, die angewandten Werkzeuge und Algorithmen sowie über die Parameter über die Zeit. "Bisher war es sehr aufwändig herauszufinden, welche konkreten Änderungen zu einer Variation im Resultat geführt haben", so Wolfgang Aigner, Wissenschaftlicher Leiter des Instituts für Creative\Media/Technologies an der FH St. Pölten. "Groß angelegte Workflow-Analysen dauern oft Tage oder sogar Wochen. Falsche Konfigurationen oder fehlerhafte Skripte führen dazu, dass ganze Analysen sogar wiederholt werden müssen - das ist sehr problematisch und kostet viel Zeit und Geld. Ziel von 'VisOnFire' war es, die Nachvollziehbarkeit möglichst einfach und zeitsparend zu gestalten." Besseres Verständnis des Workflows "Das primäre Ziel des Projekts 'VisOnFire' lag in der Realisierung von Provenanz auf allen Ebenen, d.h. dass die Herkunft der Daten zu jeder Zeit klar und sichtbar ist. Das ermöglicht den Analystinnen und Analysten ein besseres Verständnis des Workflows und somit auch einen Einblick darin, wie sich Änderungen im Workflow auf die Resultate auswirken. Das ist wesentlich, wenn es darum geht, Studienergebnisse zu reproduzieren", erklärt Marc Streit, Projektleiter und Professor am Institut für Computergrafik der JKU. Möglich macht das nun forensisch visuelles Werkzeug für die Analyse von Workflow Provenanz-Graphen. Das Projekt VisOnFire wurde vom FWF (Projekt P 27975-NBL) abgewickelt und vom Land Oberösterreich sowie der Österr. Nationalstiftung finanziert. Das Projektkonsortium bestand aus der Johannes Kepler Universität Linz und der FH St. Pölten, sowie internationalen Kooperationspartnern der Harvard University und der Universität Rostock.