Chirurgische Qualitätsbewertung in der Gyn. Laparoskopie

Bei laparoskopischen Operationen werden die Bilder aus dem Bauchraum des Patienten durch eine winzige, hochauflösende Kamera (das Laparoskop) an einen Bildschirm übertragen. Der Operateur verwendet diese Bilder als einzige Sehhilfe um die Operation durchzuführen. Solche laparoskopischen Videoaufnahmen zeigen alle Details der gesamten Operation und werden daher immer öfters auch für die nachträgliche Verwendung gespeichert. Eine spezielle Anwendung dafür ist die Chirurgische Qualitätsbewertung: dabei wird die Operation aufgrund der Videoaufnahme nachträglich nochmals genauestens angeschaut und auf das Vorhandensein technischer Fehler überprüft. Dabei handelt es sich vor allem um Schwierigkeiten in der Handhabung der Instrumente, welche für jüngere Ärzte oft schwer zu kontrollieren sind. Durch die nachträgliche Analyse der Videos werden Chirurgen auf solche Fehler aufmerksam gemacht und verbessern dadurch mittelfristig ihre Operationsqualität. Momentan wird diese Qualitätssicherung manuell durchgeführt, d.h. ohne Unterstützung durch Bild- und Videoanalyse. In diesem Projekt möchten wir untersuchen, wie gut aktuelle Methoden des Maschinellen Lernens sowie Bild- und Videoretrieval dazu beitragen können, den Prozess der Qualitätssicherung zu unterstützen und dadurch zu beschleunigen. Unsere Grundhypothese dabei ist, dass man technische Fehler durch Inhaltsanalyse der laparoskopischen Videoaufnahmen lernen und dadurch später automatisch erkennen kann. Obwohl die Endkontrolle dabei beim Chirurgen selbst bleibt, könnten dadurch bspw. erkannte Videoabschnitte dem Chirurgen zur näheren Kontrolle vorgeschlagen werden und somit die Effizienz der Qualitätssicherung gesteigert werden. Eine weitere Hypothese ist es, dass man durch Ähnlichkeitssuche in den Videos weitere ähnliche technische Fehler finden kann, wenn man bereits ein entsprechendes Segment gefunden hat und dieses als Input für die Suche verwendet. Als Methoden verwenden wir Neuronale Netze (Deep Learning) sowie Bild- und Videoanalyse und Methoden des Information Retrievals (z.B. inhaltsbasierte Ähnlichkeitssuche). Diese werden auf Videodaten der gynäkologischen Laparoskopie welche von Experten mit Metadaten versehen werden angewandt und deren Leistung ausgewertet.

Das SQUASH-Projekt hat untersucht, wie AI-gestützte Videoanalyse und Videoretrieval die chirurgische Qualitätsbewertung in der gynäkologischen Laparoskopie unterstützen kann. Derzeit basiert die Qualitätsbewertung weitgehend auf der manuellen Durchsicht aufgezeichneter Videos durch Chirurgen - ein zeitaufwändiger Prozess, der bei großen Datensätzen besonders unpraktisch ist. In diesem Projekt haben wir untersucht, ob die automatische Erkennung von möglichsten vielen semantischen Inhalten und spezielle Videosuchsoftware diesen Prozess verbessern kann. Zu diesem Zweck haben wir mit Chirurgen zusammengearbeitet und mehrere Datensätze von gynäkologischen Laparoskopievideos zusammengestellt und annotiert. Mithilfe von Deep Learning haben wir AI-Modelle zur Erkennung relevanter chirurgischer Elemente trainiert, darunter Instrumente, anatomische Strukturen, Pathologien, chirurgische Aktionen und chirurgische Events. Für die semantische Analyse der Videoaufzeichnungen haben wir Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs) und Transformer-Modelle verwendet. Neben der automatischen Erkennung relevanter Semantik haben wir interaktive Video-Suchwerkzeuge entwickelt und evaluiert, mit denen Nutzer große Videoarchive effizient durchsuchen können. Diese Tools ermöglichen eine inhaltliche Suche, bei der bestimmte Aktionen oder Situationen mithilfe von Text-, Objekt- oder Aktionsfiltern gezielt gefunden werden können. Durch die Teilnahme an internationalen Videosuchwettbewerben konnten wir die Effektivität dieser Methoden evaluieren und uns mit anderen internationalen Forschern vergleichen. Die Ergebnisse vom SQUASH-Projekt zeigen, dass Deep Learning Methoden die Analyse chirurgischer Videos erheblich unterstützen und erleichtern können. Interaktive Tools für die Videoexploration, welche die erkannten semantischen Elemente berücksichtigen, können den Prozess der chirurgische Qualitätsbewertung stark optimieren, indem sie die Suche nach speziellen Inhalten und ähnlichen Segmenten erlauben. Wir haben Teile unsere Datenbestände öffentlich zugänglich gemacht, um weitere Studien zu ermöglichen und die Transparenz AI-gestützter medizinischer Analysen weiter zu verbessern.