Arkustische Modellierung und Transformation von Varietäten für die Sprachsynthese

In diesem Forschungsprojekt wollen wir die Modellierung von Varietäten in der Sprachsynthese verbessern, indem wir die vorhandenen Sprachdaten optimal nutzen. Zwischen sozialen (Soziolekten) und regionalen (Dialekten) Varietäten einer Sprache gibt es phonetische Ähnlichkeiten die in der statistischen parametrischen Synthese genutzt werden können um Sprachmodelle einer Sprecherin / eines Sprechers mithilfe von relativ wenigen Sprachdaten zu trainieren. Dabei werden die Sprachmodelle mit wenigen Minuten an Sprachdaten von Hintergrundmodellen adaptiert. Um dieses Ziel zu erreichen werden wir uns auf drei Themen konzentrieren die entscheidend für die Modellierung von Varietäten sind, nämlich das Training von Durschnittstimmen ("average voices") für Varietäten, die Transformation von Varietäten, und die Modellierung von Varietäten bei unvollständigen Trainingsdaten. Für das Trainieren von Durchschnittsstimmen werden wir ein neues adaptives Verfahren entwickeln, das es erlaubt Varietät und SprecherIn getrennt zu adaptieren. Für die Transformation von Varietäten werden wir Techniken entwickeln die es möglich machen die Stimme eines Sprechers / einer Sprecherin in einer Varietät zu erstellen, wenn nur Daten der SprecherIn in einer ähnlichen Varietät vorhanden sind. Außerdem werden wir Methoden entwickeln um die Stimme eines Sprechers / einer Sprecherin aus unvollständigen Trainigsdaten zu erstellen, was verwendet werden kann um historische Varietäten zu synthetisieren. Computergenerierte Sprachsynthese gewinnt als Ausgabemodalität in kognitiven BenutzerInnenschnittstellen zunehmend an Bedeutung. Während es heute möglich ist natürlich klingende synthetische Sprache in neutraler Sprechweise zu erzeugen, ist es immer noch schwierig bestehende Sprachsynthesesysteme schnell an verschiedene Kontexte und Situationen anzupassen, eine Leistung, die in natürlich gesprochener Sprache selbstverständlich ist. Während emotionale Sprache und natürliche Intonation ein aktives Forschungsfeld darstellen, wird die Erforschung von Sprachvarietäten im Bereich der Sprachsynthese eher vernachlässigt. Innerhalb dieses Projekts werden wir die notwendigen Methoden entwickeln um Sprachsynthesesysteme erstellen zu können die einfach an soziale und regionale Varietäten adaptiert werden können. Um das zu erreichen suchen wir optimale Verwendungsweisen der vorhandenen Trainingsdaten, die Ähnlichkeiten innerhalb von sozialen und regionalen Varietäten verwenden.

In diesem Forschungsprojekt entwickelten wir Methoden, um die Modellierung von Varietäten in der Sprachsynthese zu verbessern. Um dieses Ziel zu erreichen, haben wir uns auf drei Themen konzentriert, die entscheidend für die Modellierung von Varietäten sind, nämlich die Transformation von Varietäten, das Training von Durschnittstimmen (average voices) für Varietäten, und die Modellierung von Varietäten bei unvollständigen Trainingsdaten.Für die Transformation von Varietäten haben wir eine unüberwachte Interpolationsmethode entwickelt, die automatisch Zwischenvarietäten generieren kann, welche einen graduellen Übergang zwischen Varietäten darstellen, seien es zwei Dialekte/Soziolekte, oder seien es ein Dialekt/Soziolekt und eine Standardvarietät. Außerdem entwickelten wir eine Transformationsmethode, welche die Stimme eines Sprechers / einer Sprecherin in einer Varietät realisieren kann, wenn nur Daten des Sprechers / der Sprecherin in einer anderen, ähnlichen Varietät vorliegen.Für das Trainieren von Durchschnittsstimmen untersuchten wir verschiedene Adaptionsmethoden wie Dialekt-adaptives Training oder Dialekt Clustering, welche das gemeinsame Phonset von Standard und Dialekt verwenden können, und wandten eine adaptive Methode auf albanische Dialekte an, welche einen Dialekt als Hintergrund und den anderen als Adaptionsdialekt verwendet.In der Modellierung von Varietäten bei unvollständigen Trainingsdaten evaluierten wir die Wahrnehmung von Akzenten des Zweitspracherwerbs von natürlicher Sprache und synthetischer Sprache, bei welcher der Akzent automatisch reduziert wurde. Die angewandte Akzentreduktionsmethode verwendet kein Durchschnittsmodell, sondern nur die phonetisch unvollständigen Akzentdaten.Computergenerierte Sprachsynthese gewinnt als Ausgabemodalität in kognitiven BenutzerInnenschnittstellen zunehmend an Bedeutung. Während emotionale Sprache und natürliche Intonation ein aktives Forschungsfeld darstellen, wurde die Erforschung von Sprachvarietäten im Bereich der Sprachsynthese eher vernachlässigt. Innerhalb dieses Projekts entwickelten wir Methoden, um Sprachsynthesesysteme erstellen zu können, die einfach an soziale und regionale Varietäten adaptiert werden können.