Audiovisuelles Sprach-"Entrainment" nach Ertaubung

Kommunikation erfordert von Zuhörern eine korrekte Verarbeitung des, von einem Sprecher stammenden, akustischen Signals. In vielen Alltagssituationen, wird das akustische Sprachsignal von Bewegungen des Sprechers begleitet bzw. vorausgegangen, die vom Zuhörer visuell verarbeitet werden. Insbesondere Lippenbewegungen haben sich für Sprachverständnis als förderlich herausgestellt, v.a. in ungünstigen Hörsituationen, z.B. beim Versuch ein Gespräch während einer Cocktail Party zu verfolgen. Desweiteren, verlassen sich Personen mit Hörverlust auf ihre Fähigkeit Lippen zu lesen. Diese Fähigkeit wurde auch bei Personen die spät in ihrer Entwicklung ertauben und ein sog. Cochlear Implant (CI) erhalten, eine vermittelnde Rolle für die Rehabilitation von Sprachwahrnehmung zugeschrieben. Dieses Gerät umgeht das beschädigte Innenohr, indem es direkt den Hörnerv stimuliert. Insbesondere für Erwachsene die an "normale" akustische Sinneseindrücke gewöhnt waren, erscheint das vom CI stammende Signal als sehr stark verzerrt und der Betroffene muss aktiv erlernen den ungewohnten akustischen Eindrücken Bedeutung zuzuschreiben. Leider sind die klinischen Ergebnisse getrübt durch extreme Variabilität, die in manchen Patienten zu Frustrationen und Ablehnung des Geräts führt. Angesichts der Kosten und Risiken des Verfahrens, stellt die Variabilität ein ernstes Problem dar. Eine gemeinsame Frage die alle vorangehende Punkte eint ist: Wie verbessert die Verarbeitung von Lippenbewegungen auditorische Verarbeitung? Wir werden neue Entwicklungen auch aus unserem Labor nutzen, um Hirnregionen zu identifizieren die sprachbezogene akustische und visuelle Information zuverlässig folgen, v.a. in einer Geschwindigkeit die ungefähr der Silbenfrequenz entspricht. Wir werden untersuchen wie unterschiedliche Ausprägungen von akustischem und visuellem Rauschen diese Fähigkeit des Gehirns beeinflusst. Basierend auf laufenden Studien, stellen wir die wichtige Vorhersage auf, dass visuelle Hirnregionen beteiligt sind akustischen Signalen zu folgen auch wenn diese in der Stimulation fehlen. Nach unserer Ansicht, ist dieser Vorgang relevant um das visuelle Signal (d.h. Lippenbewegungen) in ein "Format" zu überführen, das für das auditorische System nutzbar ist. Gemäß unserem Projekt, könnte diese Fähigkeit sehr variabel sein und teilweise die Fähigkeit einer Person Lippen zu lesen bedingen. Neben der Untersuchung normalhörender Personen, werden wir untersuchen wie diese Prozesse in ertaubten Personen, die in einem größeren Ausmaß sich auf die visuelle Verarbeitung von Lippenbewegungen verlassen, verändert sind. Schließlich, werden wir untersuchen wie diese neuronale "Tracking"-Fähigkeit sich nach CI verändert und wie frühe Erhebungen Rehabilitationserfolg vorhersagen. Dieses Projekt nutzt innovative Ansätze um relevante Erkenntnisse darüber zu liefern wie sprachbezogene Lippenbewegungen verarbeitet werden und wie auditorische Deprivation diese neuronalen Prozesse beeinflusst. Unsere Forschung schafft neue Impulse zu verstehen wie interindividuelle Unterschiede Lippenbewegungen (und die mit ihr verbundenen akustischen Signale) neuronal zu folgen CI Rehabilitationserfolg beeinflussen könnte, ein klinisches Thema von herausragender Bedeutung

Beim Sprechen wird nicht nur ein akustisches Signal produziert, sondern es auch begleitende sichtbare Lippenbewegungen. Diese Lippenbewegungen sind keine bedeutungslose Nebenerscheinung, sondern können die Hörverarbeitung in bedeutsamer Weise formen. Dies zeigt sich z.B. darin, dass Lippenbewegungen in lauten Umgebungen dem Sprachverständnis helfen. Dies könnte damit zusammenhängen, dass Gehirnwellen den Lippenbewegungen folgen. Gehirnaktivität folgt auch dem akustischen Sprachsignal, sogenanntes Sprachtracking, selbst wenn der akustische Teil der Sprache gar nicht präsentiert wurde, sondern lediglich die Lippenbewegungen ohne Ton. Dieses Projekt untersucht beide Mechanismen (Tracking der Lippen und des Sprachsignals) bezüglich einiger genereller Details (z.B. bei schwierigen Hörsituationen) und im Besonderen in Bezug auf Hörschwierigkeiten bis hin zu Taubheit. Dafür präsentierten wir in einer Studie verzerrtes Sprachmaterial und untersuchten das Sprachtracking über verschiedene Verzerrtheitsgrade (von gut verständlich bis komplett unverständlich). Bei normal hörenden Versuchspersonen zeigt sich, dass bei moderat verzerrter Sprache das Sprachtracking am stärksten ist, während es absinkt bei leicht zu verstehender und unverständlicher Sprache. Diese Sprachverzerrung ist eine Annäherung an das Hörerlebnis mit Cochlea-Implantat (CI), daher untersuchten wir in einer weiteren Studie Sprachtracking bei postlingual ertaubten Personen (also Ertaubung nach dem Spracherwerb), die ein CI erhalten haben. Erhebungen der Gehirnaktivität nach 6 und 12 Monaten nach Implantation, zeigen, dass sich die auditorische Sprachverarbeitung über die Monate vor allem im Ohr ohne CI normalisiert. Bei anderen Studien, bei denen die Versuchspersonen lediglich Lippenbewegungen zu sehen bekamen, zeigte sich bei jüngeren Versuchspersonen Sprachtracking, während in einer älteren Versuchspersonengruppe das Sprachtracking reduziert war, was mit steigenden Hörschwierigkeiten im Laufe des Alterns zusammenhängen könnte. Bei prelingual ertaubten Personen (also bei Ertaubung vor dem Spracherwerb) zeigt sich hingehen ein stärkeres Tracking der Lippenbewegungen. Da sich dieses Sprachtracking vor allem in Gehirnregionen zeigt, die für visuelle Verarbeitung zuständig sind, untersuchten wir zusätzlich, ob Sprachtracking mit sogenanntem Lippenlesen in Verbindung steht. Daher haben wir auch ein Test dazu in deutscher Sprache entwickelt, allerdings zeigten sich diesbezüglich keine Effekte. Dieses Projekt hat einige neue Forschungsrichtungen angeregt, welche sich auf die Rolle des visuellen Systems bei der Sprachverarbeitung fokussieren.