AURA: Musikalische Interaktion mit EVAs

Heutzutage wird künstliche Intelligenz (KI) zu einem immer wichtigeren Bestandteil unseres Lebens. Wir erleben den Aufstieg intelligenter KI-Systeme, die in bedeutungsvoller Weise mit Menschen interagieren können, hauptsächlich über Text und Sprache. Eine spannende Entwicklung in diesem Bereich ist der Einsatz von verkörperten virtuellen Avataren (EVAs, aus dem Englischen Embodied Virtual Avatars) digitalen, visuell menschenähnlichen Figuren, die durch Gesten und andere nonverbale Hinweise mit uns interagieren können. Diese Avatare könnten eine tiefgreifende soziale und emotionale Dimension in die Interaktion zwischen Mensch und Agent einbringen. Die Entwicklung von KI-Systemen, die in der Lage sind, auf menschliche Emotionen und Intentionen sinnvoll zu reagieren, insbesondere durch nonverbale Kommunikation, wirft eine zentrale Forschungsfrage auf. Dieses Projekt setzt sich zum Ziel, diese Frage zu untersuchen, indem es Expert*innen aus den Bereichen Künstliche Intelligenz, Musikwissenschaft, Sozial- und Kognitionswissenschaften zusammenbringt und Klavierduett-Interaktionen als Testumgebung nutzt. Das Projekt entwickelt zwei Hauptkomponenten: ein expressives automatisches Begleitsystem, das in der Lage ist, seine musikalische Performance in Echtzeit an die eines Menschen am Klavier anzupassen, und EVAs dreidimensionale, menschenähnliche Hologramme, die mittels Mixed-Reality-Technologie angezeigt werden und in Echtzeit zusammen mit einem Menschen am Klavier spielen können. Diese beiden Komponenten werden in ein System integriert, das auf intelligente und emotionale Weise mit einem menschlichen Pianisten im direkten Zusammenspiel am Klavier in Echtzeit interagieren kann. Diese EVAs bieten nicht nur klare künstlerische und kreative Anwendungsmöglichkeiten, sondern auch ein besonderes Potenzial für wissenschaftliche Forschung. Wir nutzen das EVA-integrierte Begleitsystem als Forschungswerkzeug, um soziale Interaktion und kognitive Prozesse beim Musizieren besser zu verstehen. Dieses Projekt schlägt eine Brücke zwischen mehreren Disziplinen: Musikpsychologie, Performance Science, Musikwissenschaft sowie KI, indem es Technologien entwickelt, die unser Verständnis von expressiver musikalischen Interaktion unterstützen.