Advanced Video and Audio Analysis of Sleep Disorders with Motor Manifestations

Sleep disorders are common in the general population, with prevalence around 18% in Austria. Most sleep disorders are accompanied by motor manifestations. These motor manifestations are sometimes a hallmark, whereas in other sleep disorders motor manifestations must be considered as collateral symptoms. The aim of this project is to investigate a novel 3-dimensional (3D) video and audio analysis method to detect and classify specific sleep disorders. The correct diagnosis of many sleep disorders in to date possible only performing a sleep laboratory examination (polysomnography). For some sleep disorders, screening methods have been developed, and some has been validated for specific sub-questions. However, this is the first study, on an international level, evaluating a novel and potentially highly innovative and promising approach. This new method would meet the need for a screening system approaching sleep disorders at a more general level, that is, from their motor (and vocal) aspects only. This project is a collaboration between a research group specialized in algorithms and software for sensor signal processing and pattern analysis, and an internationally recognized sleep research group with a vast experience of motor disorders of sleep. This collaboration will allow the classification of the data collected with the 3D Video and Audio System in pattern, which are specific for different sleep disorders. This new system may be used in the future as pre-screening for specific sleep disorders with motor manifestation, with a focus on REM sleep behaviour disorder, non-REM parasomnia and periodic limb movements during sleep. This would lead to a reduction of the waiting time for an examination, and to a cost reduction for the health system. An additional possible use would be as screening for specific sleep disorders or risk factors in the general population.

Die isolierte REM-Schlaf-Verhaltensstörung (iRBD) ist eine schwerwiegende und häufig unerkannte oder verwechselte Schlafstörung, die durch motorische Verhaltensweisen (Traumverhalten), Zuckungen und vielfältige Vokalisationen während des REM-Schlafs gekennzeichnet ist, statt durch die physiologische Muskelatonie und das Fehlen größerer Bewegungen während dieses Schlafstadiums. IRBD ist bei weitem der sensibelste und spezifischste Indikator für das Risiko, in der Zukunft eine neurodegenerative Erkrankung zu entwickeln. Eine korrekte iRBD-Diagnose würde es daher ermöglichen, eine Neurodegeneration in einem sehr frühen Stadium zu erkennen. Die derzeitige Goldstandard-Methode für die iRBD-Diagnose ist die Video-Polysomnographie (v-PSG), die nur in speziellen Zentren (meist akademischen neurologischen Schlaflabors) durchgeführt wird. Ziel dieses Projekts war es, eine neuartige berührungslose automatische 3D-Video- und Audioanalysemethode zu untersuchen, um iRBD-Patienten automatisch zu erkennen und sie von Patienten mit anderen Störungen der motorischen Aktivität im Schlaf zu unterscheiden. Ergebnisse: Im ersten Teil des Projekts wurde ein automatischer Algorithmus entwickelt, um Bewegungen des Unterkörpers anhand von 3D-Videos während des REM-Schlafs zu erkennen. Leichte Beinzuckungen mit einer Dauer < 2 Sekunden unterschieden mit der höchsten Genauigkeit (90,4%) 40 iRBD-Patienten von 64 Patienten mit anderen motorischen Aktivitäten im Schlaf (Waser et al., Sleep, 2020). Im zweiten Teil des Projekts ging es um die Entwicklung eines Algorithmus zur Erkennung von Bewegungen mit 3D-Videos im Oberkörper sowie um die Entwicklung eines Algorithmus zur Kodierung räumlicher und zeitlicher Informationen von im Schlaf aufgezeichneten Bewegungen. In einer ersten Pilotstudie (Cesari et al., Annu Int Conf IEEE Eng Med Biol Soc 2021) haben wir in einer kleinen Kohorte von 20 iRBD-Patienten und 24 Patienten mit schlafbezogenen Atmungsstörungen gezeigt, dass die automatische Erkennung von Bewegungen im Oberkörper für eine bessere Identifizierung von iRBD-Patienten von Vorteil ist. In einer zweiten Pilotstudie (Kohn et al., Annu Int Conf IEEE Eng Med Biol Soc 2022) wurde gezeigt, dass es mit automatischen Deep-Learning-Methoden möglich ist, die Position des Kopfes und der Hände zu identifizieren und ihre Bewegungen anhand von 3D-Videos zu erkennen, wodurch räumliche und zeitliche Informationen über die automatisch identifizierten Bewegungen gewonnen werden. Diese beiden Vorstudien führten zu einer größeren Untersuchung an 53 iRBD-Patienten und 128 Patienten ohne RBD, die zeigte, dass es vorteilhaft ist, Bewegungen in verschiedenen Körperteilen (Kopf, Hände, Oberkörper und Unterkörper) zu identifizieren, um die automatische Identifizierung von iRBD-Patienten zu verbessern (Cesari et al., eingereicht und im Review-Prozess). Insgesamt zeigen die Ergebnisse, dass die automatische Analyse von berührungslosen 3D-Videos eine valide Methode zur Identifizierung von iRBD-Patienten ist. Im derzeitigen Entwicklungsstadium könnte 3D-Video als nützliches Instrument für Schlafmediziner eingesetzt werden, um Patienten mit RBD schneller zu identifizieren. Die Anwendungsmöglichkeiten außerhalb eines Schlaflabors sind noch begrenzt, da Informationen über die Schlafstadien (die aus der Polysomnographie abgeleitet werden) erforderlich sind, aber zukünftige Projekte werden die Entwicklung dieser Technologie fortsetzen.