Über valide und zuverlässige Experimente im Musik IR

Jede experimentelle Wissenschaft basiert auf validen und zuverlässigen Experimenten, d.h. auf Experimenten die tatsächlich messen, was untersucht werden soll und auf Experimenten die wiederholbar sind. Music Information Retrieval (MIR), als interdisziplinäre Wissenschaft der Informationsgewinnung aus Musik, führt Experimente durch mit Hilfe von Methoden des maschinellen Lernens, der Statistik, der Signalverarbeitung, der Artificial Intelligence, usw. Es baut auf die korrekte Evaluierung all dieser Methoden um den Erfolg neuer Algorithmen zu messen oder, allgemeiner gesprochen, um den Fortschritt des gesamten Feldes zu verfolgen. Die prinzipielle Rolle von Computerexperimenten und ihre statistische Evaluierung ist bereits weithin akzeptiert im Bereich des MIR, aber die fundamentaleren Begriffe der Validität und der Reliabilität wurden bis jetzt kaum diskutiert. Dieser Mangel an Bewusstsein für valide und zuverlässige Experimente im MIR ist ursächlich verantwortlich für eine Reihe überraschender Phänomene in der jüngsten MIR Forschung. Unmerkbar veränderte Daten, so genannte ``gegnerische Beispiele, sind in der Lage den Erfolg von MIR Systemen auf dem letzten Stand der Technik wesentlich zu beeinträchtigen. In diesem Zusammenhang wird sogar davon gesprochen, dass solche leicht zu verwirrenden Systeme augenscheinlich gar kein musikalisches Wissen verwenden. Des weiteren wurde erkannt, dass ein Mangel der Übereinstimmung von Annotatoren beim Kennzeichnen von Musikdaten es bedingt, dass der Erfolg von MIR Systemen einen bestimmten Grad nie überschreiten kann, da es nicht sinnvoll ist wenn ein Algorithmus lediglich einen bestimmten Annotator modelliert. Durch Probleme des Lernens in hoch dimensionalen Räumen bekommen Algorithmen eine Befangenheit, die sich dadurch bemerkbar macht, dass bestimmte Datenobjekte künstlich nahe zu sehr vielen anderen erscheinen. Das ist ein wesentliches Problem für die automatische Musikempfehlung, da deswegen manche Musikstücke immer wieder empfohlen werden, egal ob sie passen oder nicht. Dieses Projekt soll dazu beitragen, dass all diese Probleme als das erkannt werden was sie in Wirklichkeit sind: Probleme der Validität und der Reliabilität in MIR Experimenten. Wir werden daher eine Theorie für valide und zuverlässige Experimente im MIR erstellen und, darauf basierend, den Stand der Technik im Hinblick auf ``gegnerische Beispiele, der Übereinstimmung von Annotatoren und hinsichtlich algorithmischer Befangenheit verbessern.

Über valide und zuverlässige Experimente im Music Information Retrieval (MIR) Jede experimentelle Wissenschaft basiert auf der Vorstellung valider und zuverlässiger Experimente. Validität ist der Wahrheitswert einer Schlussfolgerung, der aus Beweisen, wie z. B. in einem Experiment gesammelten Daten, gezogen wird, während zuverlässige Experimente Experimente sind, die wiederholbare Ergebnisse liefern. MIR, als interdisziplinäre Wissenschaft zur Gewinnung von Informationen aus Musik, führt Experimente mit einer Vielzahl von Methoden aus maschinellem Lernen, Statistik, Signalverarbeitung, künstlicher Intelligenz usw. durch. Um den Erfolg neuer Algorithmen zu messen, oder, allgemeiner ausgedrückt, um den Fortschritt des gesamten MIR-Bereichs darzustellen, ist die ordnungsgemäße Bewertung all dieser Methoden erforderlich. Zu Beginn dieses Projekts war die wichtige Rolle von Computerexperimenten innerhalb von MIR bereits allgemein akzeptiert und verstanden, aber die grundlegenderen Vorstellungen von Validität und Zuverlässigkeit in MIR-Experimenten bedurften noch einer gründlichen Diskussion und Klärung. Dies wurde deutlich, als wir eine Reihe scheinbar rätselhafter Phänomene in der MIR-Forschung untersuchten und ihre wahre Natur verstanden - es handelt sich um Probleme der Validität und Zuverlässigkeit: (i) geringfügig und unmerklich veränderte Daten, sogenannte kontradiktorische Beispiele, können die Leistung modernster MIR-Systeme drastisch reduzieren (mangelnde Konstruktvalidität und Zuverlässigkeit); (ii) aufgrund der geringen Interrater-Übereinstimmung bei der Annotation von Ground-Truth-Trainingsdaten für MIR-Systeme kann die Leistung bei vielen MIR-Aufgaben niemals eine bestimmte gläserne Decke überschreiten, da eine perfekte Leistung nur für einzelne Annotatoren und niemals für eine Gruppe von Benutzern erreicht werden kann die uneinig sind (mangelnde externe Validität und Zuverlässigkeit); (iii) ein wichtiges Problem der algorithmischen Befangenheit ("Bias") sind Lernschwierigkeiten in hochdimensionalen Räumen, in denen einige Datenobjekte als "Hubs" fungieren und sich ungewöhnlich nahe an vielen anderen Datenobjekten befinden, was zu unfairen Musikempfehlungen führt, da Hub-Songs immer wieder empfohlen werden (fehlende interne Validität). In unserem Projekt konnten wir den Stand der Technik in Bezug auf kontradiktorische Beispiele, Interrater-Übereinstimmung und algorithmische Befangenheit vorantreiben, indem wir beispielhaft valide und zuverlässige MIR-Experimente durchführten. Unser wichtigstes Hauptergebnis ist ein Bericht und ein theoretischer Rahmen, in dem erörtert wird, was ein valides und zuverlässiges MIR-Experiment überhaupt ist. Um dies zu erreichen, haben wir vier Haupttypen der Validität veranschaulicht und die Bedrohungen, die während der Experimente auftreten, für jeden Typ erörtert. Unsere Diskussion basierte auf einem prototypischen MIR-Experiment zur Musikklassifizierung. Wir haben MIR-Praktikern auch konkrete Anleitungen gegeben, wie sie aus den in ihren Experimenten gesammelten Daten valide Schlussfolgerungen ziehen können. All dies zusammen zielte darauf ab, für den Bereich von MIR zu klären, was Validität bedeutet, warum sie wichtig ist und wie sie bedroht werden kann.