Rekonstruktion von Gefäße und Neurone aus 3D Scans
Modelling Vasculature and Neurons from 3D scans
Wissenschaftsdisziplinen
Informatik (100%)
Keywords
-
Delineation,
Deep Learning,
Vasculature,
Neuronal Morphology
Dank der Entwicklung von hochauflösender Computertomographie und Magnetresonanzangiographie haben Mediziner und Wissenschaftler die Möglichkeit auch feinste Gefäßstrukturen im Detail zu untersuchen und durch Vergleich mit gesunden Strukturen Gefäßanomalien in verschiedenen Organen zu erkennen. Leider ist das Erstellen von Gefäßstruktur Modelle aus 3D-Bildern noch immer sehr kosten- und zeitintensiv, da Gefäße manuell hervorgehoben werden müssen. Auch die Rekonstruktion von Neuronstruktur Modellen basierend auf lichtmikroskopischen 3D Bilder aus Maushirnen, erfordert manuelles Markieren von Axonen und Dendriten. Somit sind größer angelegte Studien und Statistiken in beiden Fällen nicht durchführbar. Wir wollen diese Einschränkungen durch neue Algorithmen, die Gefäß- und Neuronen Strukturen aus 3D- Bildern automatisch rekonstruieren, umgehen. Unser Ansatz fußt auf den Methoden des deep learnings, die seit geraumer Zeit große Erfolge in der visuellen Wiederkennung erzielen konnten. Derzeitige Deep learning Methoden sind erfolgreich in Bildklassifizierungen und - Segmentierung. Hier steht die korrekte Klassifikation im Fokus. Unser Ziel liegt wiederum in der Konstruktion von Gefäß und Neuronen Modellen mit Fokus auf korrekten Strukturen. Somit ist unsere größte Herausforderung die Entwickelung von passende Deep learning Algorithmen basierend auf dem oben genannten Ziel.
Unser Verständnis des menschlichen Körpers wurde jahrtausendelang durch das freiäugige Wahrnehmen anatomischer Strukturen limitiert. Dank des technologischen Fortschrittes können heutzutage die Grenzen des menschlichen Auges überwunden werden und wir sind befähigt komplexere Strukturen des menschlichen Körpers zu analysieren. Mikroskope und CT-Scanner produzieren immer detailliertere 3D-Bilder, sodass es an Bedeutung gewinnt, die Masse erzeugter Daten mithilfe automatisierter Bildanalysetechniken zu interpretieren und zu verstehen. In diesem Projekt haben wir Deep Learning für zwei Arten solcher Bildanalysetechniken eingesetzt. Zuerst beschäftigten wir uns mit der Modell Erstellung von Blutgefäßen und Nerven aus den 3-D Bildern. Die Qualität dieser Modelle ist entscheidend für die Analyse der neurovaskulären Netzwerke, beispielsweise für die Simulation des Blutflusses oder die Ausbreitung neuronaler Signale. Das manuelle Modellieren und Konstruieren im Organgrößenmaßstab ist äußerst zeitaufwändig und somit ist Deep Learning für solche Rekonstruktionen ein idealer Anwendungsfall. Derzeitige Deep-Learning-Ansätze sind aber für oben genannten Tätigkeiten leider nicht geeignet, da sie fehlerhafte Modelle mit falschen Gefäß- und Neuronen Verbindungen oder Strukturunterbrechungen produzieren. Wir haben daher neue Methoden entwickelt, um neuronale Netzwerke, die dünnwandige Strukturen korrekt verbinden und darstellen können, zu trainieren. Diese Methoden verbessern nicht nur die Qualität der Modelle, sondern ermöglichen auch ungenauere Annotationen der Trainingsdaten, die einfacher und schneller zu erstellen sind als präzisere Annotationen. Zweitens befassten wir uns mit der Erkennung des Bronchiolitis-obliterans-Syndroms (BOS) anhand von CT-Scans. BOS ist eine fortschreitende, fibrotische Atemwegserkrankung, die Patienten nach einer Lungentransplantation betreffen kann. Für eine wirksame Behandlung ist eine frühzeitige Diagnosestellung essenziel, die aber noch immer eine Herausforderung darstellt. Die diagnostische Verwendung von CT-Scans ist noch nicht vollständig etabliert, da spezifische Veränderungen oft erst im fortgeschrittenen Krankheitsstadium sichtbar werden. Neuronale Netzwerke hingegen können erste und kaum sichtbare Anzeichen von Krankheiten, die für Menschen schwer zu erkennen sind, in CT-Scans detektieren. Um aber erste pathologische Anzeichen von individuellen anatomischen Merkmalen einzelner Patienten unterscheiden zu können, wird eine umfangreiche Anzahl an Trainingsdaten benötigt. In unserer Studie hatten wir jedoch nur eine überschaubare Anzahl von Patienten. Um diese Schwierigkeit zu lösen, trainierten wir, einerseits das neuronale Netzwerk BOS zu erkennen und andererseits, dass es beim selben Patienten zwischen späten und frühen Krankheitsstadium zu unterscheiden lernt. Diese Methode ermöglicht es dem Netzwerk, die Krankheitssymptome zu erkennen, während es patientenspezifische anatomische Merkmale ignorierte. Unsere Methode erzielte eine hohe Genauigkeit bei der Erkennung von BOS in CT-Scans und zeigte auch vielversprechende Ergebnisse bei der Identifizierung der Patienten die einem erhöhten Risiko an BOS zu erkranken ausgesetzt sind. Jedoch muss unsere Methode noch unter klinischen Bedingungen getestet werden, bevor sie in der standarisierten Diagnostikverfahren zur Anwendung kommen kann.
- Technische Universität Graz - 100%
Research Output
- 6 Zitationen
- 15 Publikationen
- 3 Datasets & Models
-
2022
Titel Adjusting the Ground Truth Annotations for Connectivity-Based Learning to Delineate DOI 10.1109/tmi.2022.3193072 Typ Journal Article Autor Oner D Journal IEEE Transactions on Medical Imaging Seiten 3675-3685 Link Publikation -
2022
Titel Enforcing connectivity of 3D linear structures using their 2D projections DOI 10.48550/arxiv.2207.06832 Typ Preprint Autor Oner D -
2022
Titel Enforcing Connectivity of 3D Linear Structures Using Their 2D Projections DOI 10.1007/978-3-031-16443-9_57 Typ Book Chapter Autor Oner D Verlag Springer Nature Seiten 591-601 -
2024
Titel Harnessing Deep Learning to Detect Bronchiolitis Obliterans Syndrome from Chest CT DOI 10.1101/2024.02.07.24302414 Typ Preprint Autor Kozinski M Seiten 2024.02.07.24302414 Link Publikation -
2023
Titel Sit Back and Relax: Learning to Drive Incrementally in All Weather Conditions DOI 10.1109/iv55152.2023.10186818 Typ Conference Proceeding Abstract Autor Leitner S Seiten 1-8 -
2023
Titel LaFTer: Label-Free Tuning of Zero-shot Classifier using Language and Unlabeled Image Collections DOI 10.48550/arxiv.2305.18287 Typ Preprint Autor Mirza M -
2023
Titel Sit Back and Relax: Learning to Drive Incrementally in All Weather Conditions DOI 10.48550/arxiv.2305.18953 Typ Preprint Autor Leitner S -
2023
Titel State-Aware Configuration Detection for Augmented Reality Step-by-Step Tutorials DOI 10.1109/ismar59233.2023.00030 Typ Conference Proceeding Abstract Autor Stanescu A Seiten 157-166 -
2023
Titel MATE: Masked Autoencoders are Online 3D Test-Time Learners DOI 10.1109/iccv51070.2023.01532 Typ Conference Proceeding Abstract Autor Mirza M Seiten 16663-16672 -
2023
Titel MAtch, eXpand and Improve: Unsupervised Finetuning for Zero-Shot Action Recognition with Language Knowledge DOI 10.1109/iccv51070.2023.00267 Typ Conference Proceeding Abstract Autor Lin W Seiten 2839-2850 -
2023
Titel Persistent Homology With Improved Locality Information for More Effective Delineation DOI 10.1109/tpami.2023.3246921 Typ Journal Article Autor Oner D Journal IEEE Transactions on Pattern Analysis and Machine Intelligence Seiten 10588-10595 Link Publikation -
2023
Titel ActMAD: Activation Matching to Align Distributions for Test-Time-Training DOI 10.48550/arxiv.2211.12870 Typ Preprint Autor Mirza M -
2023
Titel Video Test-Time Adaptation for Action Recognition DOI 10.48550/arxiv.2211.15393 Typ Preprint Autor Lin W -
2023
Titel Video Test-Time Adaptation for Action Recognition DOI 10.1109/cvpr52729.2023.02198 Typ Conference Proceeding Abstract Autor Lin W Seiten 22952-22961 -
2023
Titel ActMAD: Activation Matching to Align Distributions for Test-Time-Training DOI 10.1109/cvpr52729.2023.02313 Typ Conference Proceeding Abstract Autor Mirza M Seiten 24152-24161 -
2025
Titel Harnessing deep learning to detect bronchiolitis obliterans syndrome from chest CT DOI 10.1038/s43856-025-00732-x Typ Journal Article Autor Kozinski M Journal Communications Medicine Seiten 18 Link Publikation -
2024
Titel MULDE: Multiscale Log-Density Estimation via Denoising Score Matching for Video Anomaly Detection DOI 10.1109/cvpr52733.2024.01785 Typ Conference Proceeding Abstract Autor Micorek J Seiten 18868-18877 -
2024
Titel Error Management for Augmented Reality Assembly Instructions DOI 10.1109/ismar62088.2024.00084 Typ Conference Proceeding Abstract Autor Stanescu A Seiten 690-699 -
2021
Titel Adjusting the Ground Truth Annotations for Connectivity-Based Learning to Delineate DOI 10.48550/arxiv.2112.02781 Typ Preprint Autor Oner D -
2021
Titel Persistent Homology with Improved Locality Information for more Effective Delineation DOI 10.48550/arxiv.2110.06295 Typ Preprint Autor Oner D
-
2023
Link
Titel A deep learning method to recognize Bronchiolitis Olbiterans Syndrome from CT scans DOI 10.5281/zenodo.10980623 Typ Computer model/algorithm Öffentlich zugänglich Link Link -
2022
Link
Titel A method to train deep networks to delineate thin structures in 3D images using annotations of 2D data projections. DOI 10.5281/zenodo.10982527 Typ Computer model/algorithm Öffentlich zugänglich Link Link -
2022
Link
Titel A method to train deep networks to delineate thin structures with inaccurate annotations. DOI 10.5281/zenodo.10982505 Typ Computer model/algorithm Öffentlich zugänglich Link Link