Deep Active Learning für die Medizinische Bildsegmentierung

Mithilfe der medizinischen Bildanalyse können anatomische Strukturen wie Organe oder Gehirnzellen sowie Pathologien wie Tumore automatisch in Daten aus bildgebenden Verfahren wie Magnetresonanztomographie, Computertomographie oder Elektronenmikroskopie gefunden werden. Moderne Methoden der künstlichen Intelligenz und des maschinellen Lernens (neuronale Netzwerke) liefern hervorragende Leistungen beim Auffinden dieser Strukturen, in einem Prozess, der Bildsegmentierung genannt wird. Diese Methoden erfordern jedoch große Datensätze markierter (annotierter) Beispiele, um die neuronalen Netze während der Trainingsphase angemessen zu unterrichten. Da diese Beschriftung von menschlichen Experten und Pixel für Pixel durchgeführt werden muss, ist dies ein kostspieliger und zeitaufwändiger Teil der Entwicklungen. Active Learning ist in diesem Zusammenhang ein wichtiger Forschungsbereich, bei dem Bilder aus einem großen Pool nicht annotierter Daten geschickt ausgewählt werden, um die Anzahl manueller Anmerkungen durch einen Domänenexperten zu minimieren und gleichzeitig eine hervorragende Segmentierungsleistung zu erzielen. Aktuelle Methoden für Active Learning in neuronalen Netzwerken haben ihre Grenzen, da sie oft sehr spezifisch für einen Anwendungsbereich sind. Darüber hinaus ist es eine Herausforderung, die trainierten Vorhersagemodelle für die Segmentierung ständig so zu aktualisieren, dass die Modelle bei der Aktualisierung nicht vergessen, was sie zuvor bereits gelernt haben. In diesem Projekt wird untersucht, wie die aktuelle Generation von sogenannten Foundation Models, wie sie beispielsweise in großen Sprachmodellen wie ChatGPT oder in Bildgenerierungstools wie Midjourney verwendet werden, zur Verbesserung des Active Learnings im Kontext tiefer neuronaler Netzwerke für die medizinische Bildsegmentierung eingesetzt werden kann. Ziel dieses Projekts ist die Entwicklung von: (1) neuartige Methoden, um Bilder am effektivsten aus dem Pool nicht annotierter Daten auszuwählen, (2) verbesserte Techniken, um neuronale Netze neu zu trainieren, sodass bereits erlerntes Wissen nicht vergessen wird, (3) innovative Kombinationen davon Allzweck-Segmentierungstools mit Methoden, die auf der medizinischen Bildgebung basieren, um eine effiziente interaktive Kennzeichnung zu ermöglichen, und (4) eine Proof-of-Concept-Software, die an einem realen präklinischenElektronenmikroskopie-Datensatz der Neuronendes Heuschreckenhirns von unserem Mitarbeiter getestet wird. Das Projekt wird durch eine Zusammenarbeit der Gruppe Ass. der Medizinischen Universität Graz ermöglicht. Prof. Martin Urschler (Institut für Medizinische Informatik, Statistik und Dokumentation), Experte für medizinische Bildanalyse und maschinelles Lernen in der medizinischen Bildgebung,und Assoz.Prof.Gerd Leitinger(Forschungsgruppe Elektronenmikroskopie-Techniken in der Abteilung Zellbiologie, Histologie und Embryologie des Gottfried-Schatz-Forschungszentrums), Experte für die Rekonstruktion von 3D-Stapeln neuronaler Zellen und subzellulärer Strukturen.