Relevanzerkennung in Augenoperationsvideos

Inhalt des Forschungsvorhabens: Informatiker und Mediziner arbeiten in einem fachübergreifenden Forschungsprojekt mit Informatikschwerpunkt zusammen, in dem Methoden zur automatischen Erkennung von relevanten zeitlichen Segmenten in Augenoperationsvideos (OSVs1) entwickelt und evaluiert werden sollen. Hauptziel ist dabei die Modellierung von Relevanz hinsichtlich der Verwendung von Videosegmenten für medizinische Lehre, Forschung und Dokumentation. Relevanzmodelle werden durch maschinelle Lernverfahren automatisch gelernt, wobei von Chirurgen annotierte Operationsvideos als Trainingsdaten dienen. Wichtige Beispiele für relevante Videosegmente sind irreguläre Operationsphasen (OP-Phasen), die vom Ablauf einer quasi-standardisierten OP abweichen. Die automatische Erkennung und Unterscheidung von Irregularitäten, die häufiger auftreten und somit maschinelles Lernen zulassen, liefert einen zusätzlichen Nutzen bei der Erstellung von Videodatensätzen für die medizinische Lehre und Forschung. Daher sollen insbesondere Klassifikationsverfahren für Irregularitäten entwickelt und evaluiert werden. Relevanzmodelle können zur effizienten Kompression und Speicherung von Operationsvideos benutzt werden. Dafür sollen geeignete Verfahren entwickelt und evaluiert werden. Schließlich möchten wir die Nützlichkeit von relevanten Videosegmenten für die medizinische Forschung demonstrieren, indem drei spezifische medizinische Forschungsfragen durch Videoanalyse eines bestimmten Typs von Augenoperationen (Katarakt) behandelt werden. Hypothesen: (1) Reguläre und irreguläre OP-Phasen sowie häufige irreguläre Vorkommnisse bei Augenoperationen können durch maschinelle Lernverfahren automatisch erkannt und unterschieden werden. (2) Die automatische Relevanzerkennung ermöglicht einen beträchtlichen Effizienzgewinn bei der Speicherung und Archivierung von OSVs. (3) Die automatische Analyse von OSVs erleichtert die Beantwortung von quantitativen medizinischen Fragestellungen hinsichtlich Komplikationsrate und verschiedener OP- Bedingungen. Methoden: Klassifikations- und Kompressionsmethoden werden in einem Kreislauf von Entwurf, Evaluation und Verbesserung entwickelt. Die quantitativen medizinischen Fragestellungen werden durch statistische Korrelations- und Varianzanalyse behandelt. Innovation: Die automatische Analyse von OSVs ist ein junges Forschungsgebiet, in dem bisher nur wenige Arbeiten (vorwiegend im Bereich der Phasenerkennung von Katarakt-OPs) publiziert wurden. Die Modellierung der Relevanz von Videosegmenten ist neu, ebenso wie die relevanzgetriebene Kompression von OSVs. Einen neuen Ansatz stellt auch die Verwendung von videobasierten Analysemethoden für quantitative Forschungsfragen zu Augenoperationen in der medizinischen Forschung dar. 1 OSV = ophthalmic surgery video

Informatiker und Mediziner haben in einem fachübergreifenden Forschungsprojekt mit Informatikschwerpunkt zusammengearbeitet, um Methoden zur automatischen Erkennung von relevanten zeitlichen und räumlichen Inhalten in Augenoperationsvideos zu entwickeln und zu evaluieren. Das Hauptziel des Projekts OVID ("Relevance Detection in Ophthalmic Surgery Videos") war dabei die Modellierung von Relevanz hinsichtlich der Verwendung von Videosegmenten für medizinische Lehre, Forschung und Dokumentation. Dabei wurde vorwiegend auf Methoden der Künstlichen Intelligenz (KI) zurückgegriffen und verschiedenste Modelle von Neuronale Netzen entwickelt und für die Inhaltserkennung verwendet. Dadurch konnten Relevanzmodelle durch maschinelle Lernverfahren automatisch gelernt werden, wobei von Chirurgen annotierte Operationsvideos als Trainingsdaten dienten. Diese Relevanzmodelle können einerseits zur effizienten Kompression und Speicherung von Operationsvideos benutzt, sowie andererseits auch für die automatische Erkennung verschiedenster relevanter Inhalte verwendet werden (z.B. Operationsphasen, Instrumente, Iris, Pupille, die eingesetzte Linse bei Katarakten, etc.). Dies ermöglicht, wichtige Abschnitte im Ablauf einer Augenoperation vollautomatisch zu erfassen, zu indizieren und für die spätere inhaltsbezogene Suche verwendbar zu machen. Diese Modelle erlauben aber auch die Durchführung von großen forensischen Studien zu bestimmten Komplikationen über eine Vielzahl an Operationen bzw. Patienten. Im OVID Projekt wurde bspw. erfolgreich gezeigt, dass durch den gezielten Einsatz von Künstlicher Intelligenz und algorithmischen Methoden der Informatik spezielle Problemsituationen bzw. Komplikationen in Videos von Katarakt-OPs gefunden werden können. So wurde das Auftreten von Pupillenreaktionen (unvorhersehbare Vergrößerungen/Verkleinerungen der Pupille, welche mit einer gefährlichen Veränderung der Vorderkammertiefe einhergeht) automatisch erkannt. Weiters konnte durch Objekterkennung und Verfolgung im Video die Entfaltungszeit von künstlichen Linsen sowie deren Stabilität gemessen werden. Die Ergebnisse des Forschungsprojekts wurden in mehreren Publikationen auf hochklassigen Konferenzen zur medizinischen Bildanalyse, Mustererkennung sowie Multimediasuche veröffentlicht.