Analyse sozialer Medien für multimodales Music Retrieval

Soziale Medien haben in den letzten Jahren einen unglaublichen Boom erlebt. Obwohl sie in den Wissenschaftsfeldern des Data Mining und des Information Retrieval seit einiger Zeit große Beachtung finden, ist die wissenschaftliche Auseinandersetzung mit ihnen im Bereich des Music Information Retrieval (MIR) trotz der Verfügbarkeit enormer Mengen an benutzergenerierten Daten auf Plattformen wie Twitter, Facebook oder Youtube immer noch unterrepräsentiert. Die einzige Ausnahme stellt der Musikservice Last.fm dar, der zu einem gewissen Grade wissenschaftliche Beachtung im Bereich des MIR findet; alledings nur für eine beschränkte Auswahl an Aufgaben. In diesem Projekt werden wir uns ausgiebig mit der Erforschung der Verwendung von unterschiedlichen benutzergenerierten Datenquellen beschäftigen. Diese werden für diverse innovative Aufgaben im Bereich des MIR exploriert. Zu diesem Zweck haben wir drei Ziele wie folgt definiert: 1. Ableitung von ortsabhängigen Musikhörmustern von benutzergenerierten Daten 2. Multimodale Modellierung für personalisierten Musikzugriff 3. Erarbeitung von intelligenten, adaptiven Benutzerschnittstellen zu Musiksammlungen Im Rahmen des ersten Ziels werden wir zunächst analysieren, ob soziale Medien eine zuverlässige Quelle zur Ableitung von Musikhörmustern auf weltweiter Basis darstellen. Das Auffinden solcher Muster wird es uns ermöglichen, ortsabhängige Faktoren der Musikkonsumation zu erforschen und in weiterer Folge die Popularität von Musikstücken durch Verbindung verschiedener Datenquelen vorherzusagen. Weiters werden wir Methoden zur Erkennung von neuen Musikentitäten entwickeln (z.B. Albumveröffentlichungen, aufstrebende Künstler). Die zweite Herausforderung zielt auf die Entwicklung von multimodalen Ansätzen um sowohl den Benutzer als auch musikrelevante Entitäten zu modellieren ab. Die Erstellung von Benutzermodellen basierend auf seinen/ihren digitalen Spuren in sozialen Medien wird unter anderem mittels Methoden des maschinellen Lernens ermöglicht. Durch Erforschung neuer Feature-Extraktoren und Datenfusionstechniken werden wir multimodale Repräsentationen unterschiedlicher Musikentitäten (Musikvideos, Liedtexte, Bilder von Albumcover, Audiodateien) erstellen. Die Integration von multimodalen Deskriptoren von Benutzern und Musikentitäten wird es uns ermöglichen, das dritte Ziel zu realisieren, nämlich personalisierte Modelle und Systeme für intelligenten Musikzugriff zu erarbeiten. Diese werden unter besonderer Beachtung der Aspekte Ähnlichkeit, Diversität, Neuigkeit, und Bekanntheit/Popularität entwickelt werden. Basierend auf den erarbeiteten Retrieval-Modellen, werden wir letztendlich prototypische intelligente Benutzerschnittstellen zur Exploration von Musiksammlungen erstellen. Voraussichtliche Ergebnisse des Projektes schließen folgende ein: tieferes Verständnis der Verwendung sozialer Medien für musikbezogene Aktivitäten neue Benutzermodelle für den Musikbereich serendipitous Retrieval und Empfehlungssysteme für Musik neue, multimodale Modelle von Musikentitäten hocheffiziete Algorithmen zur Identifikation von Musikentitäten in benutzergenerierten Datenstömen Verständnis für die Entstehung von Verbreitung von Musiktrends Erweiterung der Forschung im Bereich benutzerzentriertes MIR Intelligente Benutzerschnittstellen zur Exploration von Musiksammlungen

Die Ziele des Projektes waren die (1) Ableitung von ortsabhängigen Musikhörmustern aus benutzergenerierten Daten, (2) multimodale Modellierung für personalisierten Musikzugriff und (3) Erarbeitung von intelligenten, adaptiven Benutzerschnittstellen für den Zugriff auf Musiksammlungen. Einem benutzerzentrieren und datengetriebenen Forschungsansatz folgend, analysierten wir benutzergenerierte Daten und führten tiefgehende Befragungen durch, um die Beziehungen zwischen Emotionen, Persönlichkeitsmerkmalen, Demografie, kulturellem Hintergrund und Lokalität der Hörer, sowie deren Musikwahrnehmung und Hörpräferenzen zu erforschen (Ziele 1 und 2). Hiernach formalisierten wir die Ergebnisse mittels Benutzermodellen, welche weiters auch Aspekte der Hördiversität, Nähe zum Mainstream und Präferenz für unbekannte Musik erfassen (Ziel 3). Wir integrierten diese Modelle in Algorithmen für Musikempfehlungssysteme und konnten eine deutliche Qualitätssteigerung erzielen (Ziel 3). Des Weiteren erstellten wir einen Prototyp eines adaptiven Musikhörinterfaces zur Exploration der weltweit gehörten Musik (Ziel 3).Die Grundlagenforschung betreffend, sind folgende Projektergebnisse hervorzuheben: Erstellung, Etablierung und tiefgehende Analyse eines großen, standardisierten Datensatzes von über einer Milliarde Musikhörereignissen zusammen mit hörerspezifischen Informationen, wie z.B. Demografie, aber auch eigens entwickelten Beschreibungen, z.B. Nähe zum Mainstream oder Offenheit für unbekannte Musik. Studien zu länderspezifischen Musikpräferenzen zeigten große Unterschiede zwischen Ländern auf. Einige folgen eher dem globalen Mainstream (z.B. Großbritannien oder die Niederlande), während andere einen bedeutenden lokalen Musikgeschmack etabliert haben (z.B. Japan oder Finnland). Wir konnten zeigen, dass diese Unterschiede auch auf kulturelle und sozioökonomische Faktoren zurückzuführen sind. Wir konnten zeigen, dass Persönlichkeitsmerkmale und Musikgeschmack zu einem gewissen Grad korrelieren. Mittels maschinellem Lernen konnten wir basierend auf demografischen und kulturellen Merkmalen den Musikgeschmack von Benutzern und Ländern vorhersagen. Wir entwickelten einen Algorithmus, der Persönlichkeitsmerkmale vorhersagt, indem benutzergenerierte Inhalte von unterschiedlichen sozialen Medien verknüpft werden. Wir entwickelten einen Algorithmus für das automatische Hinzufügen passender Lieder zu bestehenden Wiedergabelisten, basierend auf Deep Learning und der Integration von Audio- und Textanalyse. Abschließend sei erwähnt, dass das öffentliche Interesse an dem Projekt groß war, was durch diverse Artikel in renommierten Zeitungen und populärwissenschaftlichen Magazinen, unter anderem Der Standard und Salzburger Nachrichten, belegt wird. Das Projekt wurde ebenfalls zum FWF Projekt der Woche im Dezember 2016 gewählt.