Automatische Annotierung elektro-akustischer Musik

Das Projekt beschäftigt sich mit der Automatisierung der Annotierung elektro-akustischer Musik durch die Anwendung von Methoden des "Machine Learning". Elektro-akustische Musik wird mit Hilfe elektronischer Technologie hergestellt. Die dabei verwendeten Klänge sind entweder vollständig synthetisch oder im Studio oder in der Natur aufgezeichnete Klänge, welche oft stark verändert und verarbeitet werden. Verglichen mit der Analyse von Intrumental- oder Vokalmusik, ist die Annotierung elektro-akustischer Musik ungleich schwieriger und weniger entwickelt. Es gibt keine hervorstechenden diskreten Einheiten wie Noten, keine Partitur und auch kein allgemein anerkanntes System der Analyse. Obwohl innerhalb der Musikwissenschaft eine Reihe von Werkzeugen für die Analyse elektro-akustischer Musik entwickelt wurde, hat die Mühsamkeit manueller Annotation bisher die Anwendung auf eine größere Anzahl von Werken verhindert. Andererseits wurde im Gebiet des "Music Information Retrieval" ein reichhaltiges Repertoire an "Machine Learning"-Algorithmen für die Analyse von Musik entwickelt. Darunter finden sich auch Methoden zur automatischen Annotation. In diesem Projekt geht es um das Zusammenführen der musikwissenschaftlichen Theorien elektro-akustischer Musik mit den Methoden des "Machine Learning" um einen großen Schritt vorwärts in Bezug auf die automatische Annotation zu machen. Automatische oder semi-automatische Annotation wird den Prozess des Annotierens bedeutend beschleunigen, objektivieren und dadurch auch die Resultate der Analyse stabilisieren. Dadurch werden reproduzierbare Annotationen möglich, die einem etablierten, stabilen und quantifizierbaren Standard folgen. Als Folge wird die theoretische Behandlung und Entwicklung elektro-akustischer Musik voranschreiten und die Lücke zwischen existierenden musikwissenschaftlichen Theorien elektro-akustischer Musik und der wissenschaftlichen Praxis geschlossen werden. Wir werden auf ein bestehendes System der Analyse elektro-akustischer Musik aufbauen: der Theorie der Spektromorphologie des britischen Komponisten Denis Smalley. Diese Theorie beschäftigt sich mit der Identifikation von "Bedeutungsträgern", also von strukturellen und akustischen Einheiten in elektro-akustischer Musik. Dabei werden Aspekte beginnend bei Klangeigenschaften auf sehr niedriger Stufe bis hin zu sehr abstrakten Konzepten der Abhängigkeiten musikalischer Einheiten behandelt. Unser Projekt wird die folgenden Forschungsfragen beantworten: - Wie kann "Machine Learning" verwendet werden, um Bedeutungsträger in Werken elektro-akustischer Musik zu erkennen? - Ausgehend von der Theorie der Spektromorphologie, welche Stafe der Abstraktion/Komplexität kann dabei erreicht werden? - Welche Teile der Analyse müssen manuell gemacht werden, welche Teile können voll automatisiert werden?

Das Projekt beschäftigte sich mit der Automatisierung der Annotierung elektroakustischer Musik durch die Anwendung von Methoden des "Machine Learning". Elektroakustische Musik ist eine sich seit den 1940-er Jahren entwickelnde Form elektronischer Musikproduktion und Komposition. Alles Hörbare (ob aufgenommen, verändert oder synthetisch generiert) wird als potentielles musikalisches Material verwendet und dieses nicht notwendigerweise unter Verwendung vorgegebener, stabiler musikalischer Systeme. Diese totale Offenheit stellt ganz andere Ansprüche an musikalische Analyse als traditionelle Musikformen. Analyse kann keine Gesetze in der zu analysierenden Musik annehmen (z.Bsp.: Tonhöhensystem) sondern muß sich auf die Funktionsweisen menschlicher Wahrnehmung konzentrieren. Die Mühsamkeit manueller Annotation hat bisher die Anwendung auf eine größere Anzahl von Werken verhindert. Andererseits wurde im Gebiet des "Music Information Retrieval" ein reichhaltiges Repertoire an "Machine Learning"-Algorithmen für die Analyse von Musik und für die automatische Annotation entwickelt. "Machine Learning" ist die Fähigkeit von Computern selbstständig Muster und Regelmäßigkeiten in Daten zu finden. Dabei werden statistische Algorithmen und Modelle benutzt, um anhand von Beispielen Charakteristika von Datensätzen zu lernen. Solchermassen trainiert, können Computer dann auch neues Material erfolgreich analysieren und annotieren. Das wesentliche Ergebnis unseres Projektes ist die Feststellung der prinzipiellen Eignung von "Machine Learning", jedoch lediglich in einem interaktiven Vorgehen. Nur die Integration eines menschlichen Analysten in den Arbeitsablauf erlaubt es, den Mangel einer außer Zweifel stehenden "Grundwahrheit" zu überbrücken. Bereits Annotierungen traditioneller Musik sind kulturelle Konstrukte in einem sozialen Zusammenhang und nicht völlig objektive Wahrheiten. Das trifft noch viel mehr auf elektro-akustische Musik zu, deren wesentlicher Aspekt das Hinterfragen und Dekonstruieren konventioneller Hörgewohnheiten darstellt. Daher bedarf es eines menschlichen Analysten der alle analytischen Entscheidungen trifft und die Resultate eines Repertoires an "Machine Learning"- Algorithmen interpretiert. In unserem Projekt haben wir zwei Ansätze zu einem solchen interaktiven Vorgehen erarbeitet und beispielhaft an zwei bedeutenden elektroakustischen Stücken erprobt (John Chownings "Turenas" and Denis Smalleys "Wind Chimes"). Einerseits handelt es sich dabei um die Erstellung eines eher strukturellen Überblicks über die verschiedenen Klangmaterialien in einem gesamten Musikstück. Andererseits haben wir Methoden zur Identifizierung und Sammlung repräsentativer Klänge innerhalb eines Musikstücks entwickelt. Dieses in unserem Projekt erarbeitete Zusammenführen musikwissenschaftlicher Theorien elektro-akustischer Musik mit den Methoden des "Machine Learning" soll in Zukunft helfen, reproduzierbarere und stabilere Annotationen zu ermöglichen und durch die Computerunterstützung auch eine wesntlich erleichterte Arbeitsweise zu erreichen.