SoniVis: Data Analytics durch Sonifikation & Visualisierung

Das Auswerten von Daten wie zum Beispiel in der Analyse von Produktionsprozessen erfordert viele Schritte, die sich nicht vollständig automatisieren lassen. Meist ist die Arbeit von Analyst*innen, also Menschen, erforderlich. Derartige Analyseansätze zwischen automatisierter Auswertung und menschlicher Interpretation und Steuerung wurden sowohl im Forschungsfeld der Informationsvisualisierung als auch der Sonifikation, der Verklanglichung, also der Darstellung von Daten in Klängen, entwickelt. Während Informationsvisualisierungsansätze die computerbasierte, interaktive visuelle Darstellung von Daten erforschen, veranschaulicht Sonifikation Information auditiv durch nicht-sprachliche Klänge. Im Angesicht steigender Datenmengen und -komplexität stoßen aber beide Ansätze an ihre Grenzen, zumal die Wahrnehmungskapazitäten von Menschen als Grundlage der Interpretation der Bilder und Klänge limitiert sind. Obwohl bereits zahlreiche Studien die auditive oder die visuelle Repräsentation von Daten untersuchten, gab es nur wenige Versuche diese beiden Kanäle zu kombinieren. Es fehlen Datenanalyseansätze, die beides auf systematische und komplementäre Weise kombinieren; also die gegenseitige Beeinflussung der Kanäle berücksichtigen. Bestehende Versuche waren oft auf einen Kanal fokussiert und vernachlässigten den anderen. Deshalb gibt es noch keinen etablierten methodischen Ansatz Informationsvisualisierung und Sonifi kation in Form einer komplementären Designtheorie zu kombinieren. Unser Forschungsprojekt SoniVis und zielt darauf ab, diese Lücke zwischen Informationsvisualisierung und Sonifikation zu schließen. Dabei soll die Basis für eine vereinheitlichte Designtheorie einer audio-visuellen Analytics gelegt werden, die den visuellen und den auditiven Kanal miteinander ergänzt. Dafür vereinigt das Projekt Kompetenzen aus den Feldern der Informationsvisualisierung und Sonifikation. Im Rahmen des Projekts werden wir (1) die Bandbreite der Designmöglichkeiten für komplementäre audio-visuelle Datenanalyseansätze abstecken; (2) in Form einer Designstudie die praktische Umsatzbarkeit anhand der Analyse von Produktionsprozessen untersuchen; und (3) ein kontrolliertes Experiment durchführen, um verschiedene komplementäre audio-visuelle Analytics-Ansätze empirisch zu vergleichen. Insgesamt folgen wir einem mensch-zentrierten und problem-getriebenen Forschungsprozess. Dabei verknüpfen wir Design und Evaluierungsphasen eng, sodass wir unsere Ansätze zeitnah überprüfen können und so das Risiko nicht aussagekräftiger Ergebnisse reduzieren.

Das Auswerten von Daten wie zum Beispiel in der Analyse von Produktionsprozessen erfordert viele Schritte, die sich nicht vollständig automatisieren lassen. Meist ist die Arbeit von Analyst*innen, also Menschen, erforderlich. Derartige Analyseansätze zwischen automatisierter Auswertung und menschlicher Interpretation und Steuerung wurden sowohl im Forschungsfeld der Informationsvisualisierung als auch der Sonifikation, der Verklanglichung, also der Darstellung von Daten in Klängen, entwickelt. Während Informationsvisualisierungsansätze die computerbasierte, interaktive visuelle Darstellung von Daten erforschen, veranschaulicht Sonifikation Information auditiv durch nicht-sprachliche Klänge. Im Angesicht steigender Datenmengen und -komplexität stoßen aber beide Ansätze an ihre Grenzen, zumal die Wahrnehmungskapazitäten von Menschen als Grundlage der Interpretation der Bilder und Klänge limitiert sind. Obwohl bereits zahlreiche Studien die auditive oder die visuelle Repräsentation von Daten untersuchten, gab es nur wenige Versuche diese beiden Kanäle zu kombinieren. Es fehlen Datenanalyseansätze, die beides auf systematische und komplementäre Weise kombinieren; also die gegenseitige Beeinflussung der Kanäle berücksichtigen. Bestehende Versuche waren oft auf einen Kanal fokussiert und vernachlässigten den anderen. Deshalb gibt es noch keinen etablierten methodischen Ansatz Informationsvisualisierung und Sonifikation in Form einer komplementären Designtheorie zu kombinieren. Das Projekt SoniVis untersuchte die Möglichkeiten von Analysewerkzeugen, die Visualisierung und Sonifikation integrieren, um eine Anzeige zu schaffen, die "mehr als die Summe der Einzelteile" sein kann. Für die Etablierung einer Designtheorie der audiovisuellen Datenanalyse konnte das Projekt Forschungsbeiträge auf mehreren Ebenen liefern: - Theorie: ein neuartiges theoretisches Modell zur formalen Beschreibung der audiovisuellen Datenanalyse. - Design und Implementierung: Zwei Entwürfe für audiovisuelle Analyse-Idiome, genannt SoniScope und Parallel Chords, die beide bei der audiovisuellen Exploration von multivariaten Daten unterstützen sollen. - State-of-the-Art: ein umfassender Bericht zum Stand der Technik, der eine breite Perspektive auf das Feld und die Forschungsgemeinschaft der audiovisuellen Datenanalyse bietet. - Evaluierung: Die empirische Evaluierung des Parallel Chords-Designs führte eine methodische Strategie für die Evaluierung audiovisueller Analysemethoden ein. - Community-Arbeit: Zwischen 2021 und 2025 wurden brückenbauende Veranstaltungen auf hochkarätigen internationalen Konferenzen wie IEEE VIS, EG EuroVis, ACM Audio Mostly, ACM AVI und ICAD sowie ein Dagstuhl-Seminar organisiert. Diese Workshops und Podiumsdiskussionen boten Forschenden aus der Visualisierung, Sonifikation und darüber hinaus die Möglichkeit, sich zu treffen und auszutauschen, und führten bereits zu mehreren Veröffentlichungen und Kooperationen.