Informatik, Künstliche Intelligenz, Musik

Gerhard Widmer ist ein ausgeprägt interdisziplinär forschender Wissenschafter und ein internationaler Pionier der Forschung im Schnittbereich zwischen Informatik, Artificial Intelligence (AI) und Musik, einem Gebiet, das er maßgeblich mitbegründet, geprägt und zu einem anerkannten Forschungsgebiet gemacht hat. Mit seinen Gruppen in Linz und Wien arbeitet Widmer an neuen Computermethoden für den intelligenten Umgang mit Musik. Furore machten insbesondere seine Forschungen zur quantitativen Analyse und Modellierung der künstlerischen Feinheiten der ausdrucksvollen Musikinterpretation mittels neuartiger Computermethoden, die er im Rahmen seines START-Preis-Projekts in großem Stil begann. Dabei gelang es unter anderem, subtile Details des Stils großer Pianisten zu quantifizieren und zu klassifizieren, und den intelligenten Computern glückte es sogar, einige fundamentale Prinzipien der ausdrucksvollen Tempo- und Dynamikgestaltung in riesigen Mengen von Messdaten zu entdecken und zu beschreiben. Es ist dies wahrscheinlich das erste Mal, dass ein Computer selbstständig einen genuin neuen Beitrag zur Musikforschung geleistet hat. Es handelt sich dabei um rein erkenntnisorientierte Grundlagenforschung. Diese Arbeiten haben weltweit für Aufsehen gesorgt (auch in populären Medien wie etwa New York Times oder Wired Magazine). Das aktuellste Highlight in diesem Bereich ist der Gewinn aller drei Hauptpreise bei einem wissenschaftlichen "Computer Performance Rendering"- Wettbewerb in Sapporo, Japan (Sept. 2008) mit einem Computerprogramm, das autonom versucht, vorgegebene Musikstücke mit "Ausdruck" zu spielen. Parallel dazu entwickelt Widmer mit seinen Gruppen aber auch praktisch nutzbare Musik-analysemethoden für die neue Welt der digitalen Musik zum Beispiel Algorithmen zum Wahrnehmen musikalisch relevanter Muster in Audiosignalen oder zur Simulation der menschlichen Wahrnehmung musikalischer Ähnlichkeit. Auch hier gelang vor kurzem eine wissenschaftliche Premiere: ein namhafter Audioequipment-Produzent bietet seit März 2009 die weltweit erste digitale HiFi-Anlage auf dem Markt an, die die gespeicherte Musik selbst nach musikalischen Kriterien analysiert und selbstständig Musikprogramme zusammenstellt. Die von Widmers MitarbeiterInnen entwickelten Technologien für musikalische Ähnlichkeitserkennung sind weltweit führend; vor kurzem wurden dazu auch zwei Patente in den USA angemeldet. Gerhard Widmers Forschungsthemen spannen also einen großen Bogen, von reiner Grundlagenforschung bis zu verwertungsrelevanten Technologien. Widmer wird international als Pionier im Bereich Artifical Intelligence und Musik wahrgenommen und seine Forschungsteams werden in diesem Gebiet zu den leistungsfähigsten Gruppen weltweit gezählt. Mit den Mitteln des Wittgenstein-Preises plant Widmer nun diese Forschungen auf eine neue qualitative Ebene zu heben und dabei einen schwierigen und wissenschaftlich riskanten Themenkomplex anzugehen. Die Vision ist die Realisierung eines substanziellen Musikverständnisses im Computer, das heißt die Entwicklung von Methoden, die einen Rechner in die Lage versetzen, Musik auf ähnlich abstraktem und semantisch sinnvollem Niveau zu beschreiben und zu "verstehen" wie menschliche Zuhörer und damit jene Kluft zwischen rohem Audiosignal und musikalischer Bedeutungsebene zu verringern, die in der Forschung als "Semantic Gap" bekannt ist. Auf der Basis sollen dann z.B. Maschinen entstehen, die abstrakte Charakterisierungen von Musikstücken verstehen bzw. selbst erzeugen können, die Musikaufführungen in Echtzeit nachvollziehen und darauf reagieren können, oder die expressive Elemente in Musikaufnahmen identifizieren und richtig zuordnen können. Damit soll schlussendlich auch die Basis für neuartige Anwendungen in Musiksuche, -produktion, -darbietung und auch Musikpädagogik gelegt werden.

Projekt Z159 ist ein Resultat des Wittgensteinpreises 2009, der an Gerhard Widmer verliehen und mit der großzügigen Summe von 1.4 Mio. EU gefördert wurde. Der Preis sollte es uns erlauben, unsere Forschung im Schnittbereich von Informatik, Künstlicher Intelligenz (AI) und Musik in großem Stil weiter voranzutreiben.Unsere Forschung zielt darauf ab, Computern musikalisches `Hören' und grundlegendes musikalisches `Verständnis' beizubringen, um einerseits selbst mehr über Musik und Musikwahrnehmung zu lernen, und andererseits mittelfristig neue Anwendungen mit Mehrwert für die digitale Musikwelt zu ermöglichen.Das konkrete Wittgenstein-Projekt Z159 hatte sich zwei große Ziele gesetzt: Erstens, Computern beizubringen, musikalisch relevante Muster und Strukturen in Musikaufnahmen zu erkennen, so ähnlich wie auch Menschen es intuitiv tun, wenn sie Musik hören: also Töne, Beat, Rhythmus, Takt, Tempo, Harmonien, Instrumente, Stimmen zu erkennen, Stücke in wenigen Sekunden zu identifizieren und diese dann z.B. auch im Notentext mitverfolgen zu können - und all dies live, in Echtzeit. Das Resultat dieser Forschungen sind zahlreiche neue Algorithmen für Computerhören, die zu den besten in der Welt gehören (oder überhaupt die besten sind - dokumentiert u.a. in zahlreichen ersten Plätzen bei internationalen wissenschaftlichen Wettbewerben; siehe www.cp.jku.at/awards). Manche dieser Algorithmen haben inzwischen auch Eingang in kommerzielle Anwendungen in der Welt der digitalen Medien gefunden (z.B. für automatisches Medien-Monitoring und Musiksuch- und Empfehlungssysteme).Das zweite große Forschungsziel war es, eine Schicht `tiefer' in die Bedeutung von Musik einzudringen, indem wir intelligente Computer als Werkzeuge verwenden, um ein besseres Verständnis für Musik als expressive Kunstform zu erlangen. Spezieller Fokus ist die Kunst der ausdrucksvollen Musikinterpretation, der Akt des Interpretierens und Spielens und Formens eines Musikstücks durch menschliche InterpretInnen, der Musik erst `musikalisch' oder `natürlich' klingen lässt. Hier wurden große Fortschritte in der Entwicklung von Computerprogrammen erzielt, die Interpretationen großer InterpretInnen analysieren und zu beschreiben und vorherzusagen lernen, die Musik gespielt werden muss (bzgl. solcher Aspekte wie Tempo, Timing, Dynamik etc.), damit wir sie wirklich als lebendige Musik wahrnehmen. Damit wurden interessante Analysen der Kunst berühmter Interpreten möglich (die auch in der internationalen Welt der Musikwissenschaft veröffentlicht wurden), aber auch Computerprogramme, die lernen, Musik selbst mit Ausdruck' zu spielen und die nebenbei auch einen internationalen Klavier-Interpretationswettbewerb für Computer' gewannen (RENCON 2011). Das neueste Resultat (Frühjahr 2017) ist die Nachricht, dass eine Klavierinterpretation unseres Computerprogramms in einer Blind-Hörstudie von menschlichen ZuhörerInnen als menschlicher eingestuft wurde als die Aufnahme eines tatsächlichen Konzertpianisten ...Die im Wittgenstein-Projekt Z159 begonnenen Arbeiten werden in einem neuen langfristigen Forschungsprojekt, das vom Europäischen Forschungsrat (European Research Council, ERC) bis 2020 finanziert wird, weitergeführt und zu einer großen Synthese gebracht werden (siehe www.cp.jku.at/research/projects/ConEspressione) - ein Projekt, das ohne die Unterstützung durch den Wittgensteinpreis und den FWF undenkbar gewesen wäre.