Computerbasierte Interpretationsstilanalyse aus Audiodaten

Ziel des Projekt ist es, das faszinierende, aber schwer fassbare Phänomen des individuellen künstlerischen Musik- Interpretationsstils mit quantitativen Computermethoden zu erforschen. Konkret sollen die Interpretationen berühmter Interpreten (Konzertpianisten) auf musikalisch signifikante Muster und Regelhaftigkeiten in Bezug auf expressives Timing, Dynamik, Artikulation etc. untersucht werden, mit denen die Künstler ihren individuellen Stil und ihr künstlerisches Verständnis der Musik ausdrücken. Ausgangspunkt ist eine weltweit beispiellose Sammlung von empirischen Messdaten: Interpretationen der nahezu kompletten Werke für Soloklavier von Frederic Chopin, aufgenommen von einem Weltklassepianisten (Nikita Magaloff) auf dem Bösendorfer-Computerflügel SE290. Diese riesige Datenmenge, die Hunderttausende gespielte Noten umfasst, enthält präzise Information darüber, wie jede einzelne Note gespielt wurde, einschließlich der genauen Anschlagszeit, Dauer, und Anschlagstärke. Neueste Methoden der intelligenten Datenanalyse und der automatischen Mustererkennung werden auf diese Daten angewandt, um quantitative und prädiktive Modelle verschiedener Aspekte der Musikinterpretation - z.B. expressive Tempogestaltung, Dynamik, Artikulation usw. - zu gewinnen. Dies wird ganz neue Einblicke in die Interpretationsstrategien ermöglichen, die ein Weltklassepianist über eine großen Korpus von Musik hinweg einsetzt. Zusätzlich werden diese präzise vermessenen Aufnahmen mittels neuer Audio-Matching-Methoden mit Tonaufnahmen vieler anderer berühmter Klaviervirtuosen Punkt für Punkt abgeglichen; dadurch wird es zum ersten Mal möglich sein, tatsächlich quantitative Aussagen über individuellen künstlerischen Interpretationsstil zu machen. All dies erfordert intensive Grundlagenforschung zur Entwicklung neuer, effektiver und effizienter Computermethoden für die intelligente Audioanalyse (z.B. das Extrahieren expressiver Parameter aus Audioaufnahmen, oder die automatische und präzise paarweise Ausrichtung verschiedener Tonaufnahmen) und für die intelligente Datenanalyse und Modellierung (z.B. Entdeckung sequenzieller Muster, hierarchische probabilistische Modelle, etc.). Die resultierenden Methoden werden sehr allgemein und universell anwendbar sein, auch über das konkrete Projekt hinaus. Das Projekt will also neue Beiträge liefern sowohl zur modernen empirischen Musikwissenschaft - durch die Entdeckung und präzise Charakterisierung detaillierter Aspekte ausdrucksvollen Interpretationsstils - als auch zur Forschung im Bereich Künstliche Intelligenz und intelligente Datenanalyse - durch neue Methoden und Algorithmen für automatische Musterendeckung und maschinelles Lernen. Darüberhinaus wird es auch zur internationalen Forschung beitragen, indem Daten und Methoden anderen Forschern zur Verfügung gestellt werden. Das Projekt ist die logische Weiterführung und Erweiterung von Forschungen, die im Vorgängerprojekt "Artificial Intelligence Models of Musical Expression" (START-Preis 1998) begonnen wurden, und die aufzeigten, dass ausdrucksvolle Musikinterpretation tatsächlich für Computermodelle und Computeranalyse zugänglich ist. Das neue Forschungsprojekt geht über diese Vorarbeiten hinaus, indem es sich auf eine besonders schwer fassbare Frage konzentriert, die nicht nur für die Musikwissenschaft und die Kunstwelt, sondern auch für ein breites Publikum von großem Interesse ist, nämlich die Kunst großer Interpreten, und was diese großen Künstler einzigartig macht.

Ziel des Projekts war es, das faszinierende, aber schwer fassbare Phänomen der ausdrucksvollen Musikinterpretation mittels Computermethoden zu untersuchen. Es sollte quantitativ beschrieben werden, wie große InterpretInnen (klassische PianistInnen) Musikstücke mittels ausdrucksvoller Dynamik, Timing, Artikulation etc. formen und ihren persönlichen Stil damit ausdrücken. Ausgangspunkt war eine weltweit einzigartige Sammlung von empirischen Messdaten: Aufnahmen des kompletten Werks für Solopiano von Frederic Chopin, eingespielt von einem Weltklassepianisten (Nikita Magaloff) auf dem Computerflügel SE290 von Bösendorfer. Diese riesige Datenmenge - präzise Messungen von hunderttausenden gespielten Noten - dokumentiert genauestens, wie jede einzelne Note gespielt wurde (Anschlagszeit, Dauer, Anschlagsintensität etc.). In langwieriger Arbeit wurden diese Daten für die Computeranalyse aufbereitet: die Notentexte von Chopins gesamtem Klavierwerk wurden in computer-lesbarer Form codiert, jede einzelne gespielte Note zur entsprechenden notierten Note in Beziehung gesetzt, sämtliche Fehler des Pianisten (an die 30.000!) identifiziert und klassifiziert, etc. Neue Computermethoden mussten für diese Aufgabe entwickelt werden. Für die Analyse einer derartigen Menge von Messdaten wurden neue animierte Daten-Visualisierungsmethoden entwickelt (in Anlehnung an sogenannte Phasenraum-Diagramme aus der Physik). Verschiedenste Aspekte von Magaloffs Interpretationsstil und Technik wurden studiert und quantifiziert - z.B. Art und Kontext seiner Spielfehler, seine spezifische Art, Asynchronizitäten zwischen den beiden Händen für bestimmte musikalische Effekte zu nutzen usw. Hypothesen aus der neueren Musikwissenschaft wurden empirisch anhand der Daten überprüft - z.B. Theorien, die expressives Timing mit Modellen der menschlichen Bewegung in Bezug setzen, sowie Theorien, wie Pianisten mit technischen Altersproblemen umgehen (Magaloff war zum Zeitpunkt der Aufnahmen 77 Jahre alt). Algorithmen des maschinellen Lernens wurden eingesetzt, um vorhersagbare Muster in Magaloffs Spiel zu entdecken und zu lernen - allgemeine Strategien, wie er seine Chopin-Interpretationen musikalisch und expressiv klingen lässt. Ein Resultat daraus ist ein Computermodell des ausdrucksvollen Klavierspiels (namens YQX), das vorhersagt, wie ein/e PianistIn eine musikalische Passage am wahrscheinlichsten spielen wird (bzgl. Tempo, Timing, Dynamik). Wir ließen dieses Computermodell an einem internationalen wissenschaftlichen "Computer- Klavierinterpretationswettbewerb" teilnehmen (RENCON 2008, Sapporo, Japan), wo es zwei vollkommen neue, unbekannte Klavierstücke auf einem Computerflügel spielen musste; YQX gewann alle drei Hauptpreise mit seinen Interpretationen. Die wichtigsten Projektergebnisse lassen sich also wie folgt zusammenfassen: (1) der "Magaloff- Korpus", eine hinsichtlich Größe, Komplexität und künstlerischem Niveau weltweit einzigartige Ressource von Interpretations-Messdaten; (2) ein Computermodell (YQX) der Klavierinterpretation, das musikalisch relevante Prinzipien zu beschreiben scheint; (3) neue Einsichten für die Musikwissenschaft (in internationalen musikwissenschaftlichen Journals publiziert); (4) neue Computermethoden für Interpretations-Visualisierung, - Analyse und -Vorhersage; (5) (oben nicht erwähnt) Computeralgorithmen, die ausdrucksvolle Musikdarbietungen in Echtzeit mitverfolgen und mit anderen Ereignissen synchronisieren können. Und nicht zuletzt kann auch der Wittgenstein-Preis, der dem Projektleiter Gerhard Widmer 2009 verliehen wurde, als ein Resultat der langjährigen Förderung dieser Art von Forschung durch den FWF gesehen werden.