Cross-layer Sprachmodelle für Spontansprache

Während sich Sprachwissenschaftler über lange Zeit hinweg auf sorgsam ausgesprochene Sprache fokussierten, hat sich das Interesse allmählich auf die Frage hin verschoben, wie Sprache in natürlichen Konversationen verwendet wird. Dafür gibt es zwei Gründe. Vom technischen Standpunkt betrachtet steigt die Nachfrage nach sozialen Robotern, welche, um interaktiver und sozialer zu agieren, auch fähig sein müssen, Sprache auf eine natürliche Weise zu verwenden. Bei Sprachwissenschaftlern steigt das Interesse an spontanen Gesprächen, da diese zusätzliche Erkenntnisse zu kontrollierten Experimenten hinsichtlich darüber liefern, wie Sprache im Gehirn verarbeitet wird. Die Hauptziele dieses Projektes sind die automatische Erkennung von Spontansprache zu verbessern, das Wissen über die Produktion und Wahrnehmung von Spontansprache zu erweitern und einen Beitrag zu den Ressourcen und Erkenntnissen über gesprochenes Österreichisches Deutsch zu vergrößern. Basierend auf deutschen und österreichischen Sprachdatenbanken, entwickeln wir cross-layer Sprachmodelle, welche, wie Menschen auch, gleichzeitig von den akustischen Informationen wie auch vom semantischen Kontext Gebrauch machen. Quantitative phonetische Erkenntnisse werden in diese Modelle integriert und in weiterer Folge in der maschinellen und menschlichen Spracherkennung getestet. Auch in den linguistischen Studien werden Sprachtechnologien verwendet: zum Erstellen automatischer Annotationen, um akustische Merkmale zu extrahieren und Datenanalysen zu betreiben. Die dadurch erhaltenen linguistischen Erkenntnisse werden wiederum in die Sprachmodelle integriert. Diese Herangehensweise verlangt nach einem interdisziplinären Team (Ingenieure und Sprachwissenschaftler), das eng zusammenarbeitet. Dr. Barbara Schuppler (Technische Universität Graz) ist eine junge interdisziplinäre Sprachtechnologin, welche bereits in zwei vorangegangenen FWF Projekten bewiesen hat, dass ihr cross-layer Prinzip gute Ergebnisse für Aussprach- und Prosodiemodelle liefert. Das geplante Projekt gibt ihr sowohl die Möglichkeit das cross-layer Konzept auf Sprachmodelle zu erweitern als auch eine Forschungsgruppe zu Spontansprache in Österreich aufzubauen. Die nationalen Partner Prof. Dina El Zarka (Institut für Sprachwissenschaft, Universität Graz) und Dr. Roman Kern (Know-Center GmbH) lassen jahrelange Erfahrung mit in das Projekt einfließen. Gemeinsam decken sie die Bereiche Sprachtechnologie, Sprachwissenschaft, Phonetik und maschinelle Sprachverarbeitung ab.

Im letzten Jahrzehnt hat Sprache -- wie sie in natürlichen Gesprächen vorkommt -- viel Aufmerksamkeit in der Sprachforschung erhalten. Einerseits sind präzise automatische Spracherkennungssysteme entscheidend für sprechende Roboter, da diese zunehmend interaktiv und sozial werden sollen, anstatt nur transaktional zu agieren. Andererseits untersuchen Linguisten natürliche Gespräche, da diese zusätzliche Einblicke im Vergleich zu kontrollierten Experimenten darüber liefern, wie die menschliche Sprachverarbeitung funktioniert. Die Arbeiten dieses Projekts erforschen gesprochene Gespräche, um unser Wissen über spontan gesprochenes Österreichisches Deutsch zu erweitern und dieses Wissen zur Verbesserung von Sprachmodellen zu nutzen. Zu diesem Zweck wurde das GRASS-Korpus, eine groß angelegte Datenbank mit Österreichisch Deutschen Gesprächen zwischen jeweils zwei sich gut kennenden Personen, bezüglich der kommunikativen Funktions der einzelnen Satzteile annotiert. Die neu entwickelte Annotationsmethode ist für die qualitative und quantitative Analyse der Konversationsdynamik geeignet. Die Arbeit des Projektes zeigt, dass die prosodische Variation in der spontanen Gesprächen systematisch ist und im Zusammenhang mit dem semantischem und pragmatischem Kontext steht. Aber wie empfindlich sind Sprachmodelle gegenüber prosodischen Hinweisen und dem Gesprächskontext? Die Arbeiten dieses Projektes legt nahe, dass die Integration von sowohl datengestützten als auch theoriegestützten Komponenten, einschließlich linguistischem Wissen, die Spracherkennung verbessern kann. Dies ist insbesondere für kurze Äußerungen der Fall, bei denen Spracherkennungssysteme zudem auch von der Information des davorigen Gesprächskontextes profitieren. Vergleichsstudien dazu wie Menschen und Spracherkennungssysteme die gleichen Sätze aus spontanen Gesprächen transkribieren zeigten, dass Mensch und Maschine mit denselben Merkmalen der konversationalen Sprache zu kämpfen haben (z. B. unflüssige Sätze, dialektale Aussprache, schnelle Sprechgeschwindigkeit), jedoch in unterschiedlichem Maße. Schließlich liefert das Projekt wertvolle Erkenntnisse auch für jene Forscher:innen die an anderen Sprachen arbeiten, da die entwickelten Methoden für all jene interessant sind die an ressourcenarmen Sprachen und Dialekten forschen sowie in Bereichen der Sprachforschung in denen kleine Datensätzen mit hohem Variationsgrad unumgänglich sind (z. B. pathologische Sprache, Kindersprache).