• Zum Inhalt springen (Accesskey 1)
  • Zur Suche springen (Accesskey 7)
FWF — Österreichischer Wissenschaftsfonds
  • Zur Übersichtsseite Entdecken

    • Forschungsradar
      • Historisches Forschungsradar 1974–1994
    • Entdeckungen
      • Emmanuelle Charpentier
      • Adrian Constantin
      • Monika Henzinger
      • Ferenc Krausz
      • Wolfgang Lutz
      • Walter Pohl
      • Christa Schleper
      • Elly Tanaka
      • Anton Zeilinger
    • Impact Stories
      • Verena Gassner
      • Wolfgang Lechner
      • Birgit Mitter
      • Georg Winter
    • scilog-Magazin
    • Austrian Science Awards
      • FWF-Wittgenstein-Preise
      • FWF-ASTRA-Preise
      • FWF-START-Preise
      • Auszeichnungsfeier
    • excellent=austria
      • Clusters of Excellence
      • Emerging Fields
    • Im Fokus
      • 40 Jahre Erwin-Schrödinger-Programm
      • Quantum Austria
      • Spezialforschungsbereiche
    • Dialog und Diskussion
      • think.beyond Summit
      • Am Puls
      • Was die Welt zusammenhält
      • FWF Women’s Circle
      • Science Lectures
    • Wissenstransfer-Events
    • E-Book Library
  • Zur Übersichtsseite Fördern

    • Förderportfolio
      • excellent=austria
        • Clusters of Excellence
        • Emerging Fields
      • Projekte
        • Einzelprojekte
        • Einzelprojekte International
        • Klinische Forschung
        • 1000 Ideen
        • Entwicklung und Erschließung der Künste
        • FWF-Wittgenstein-Preis
      • Karrieren
        • ESPRIT
        • FWF-ASTRA-Preise
        • Erwin Schrödinger
        • doc.funds
        • doc.funds.connect
      • Kooperationen
        • Spezialforschungsgruppen
        • Spezialforschungsbereiche
        • Forschungsgruppen
        • International – Multilaterale Initiativen
        • #ConnectingMinds
      • Kommunikation
        • Top Citizen Science
        • Wissenschaftskommunikation
        • Buchpublikationen
        • Digitale Publikationen
        • Open-Access-Pauschale
      • Themenförderungen
        • AI Mission Austria
        • Belmont Forum
        • ERA-NET HERA
        • ERA-NET NORFACE
        • ERA-NET QuantERA
        • Ersatzmethoden für Tierversuche
        • Europäische Partnerschaft BE READY
        • Europäische Partnerschaft Biodiversa+
        • Europäische Partnerschaft BrainHealth
        • Europäische Partnerschaft ERA4Health
        • Europäische Partnerschaft ERDERA
        • Europäische Partnerschaft EUPAHW
        • Europäische Partnerschaft FutureFoodS
        • Europäische Partnerschaft OHAMR
        • Europäische Partnerschaft PerMed
        • Europäische Partnerschaft Water4All
        • Gottfried-und-Vera-Weiss-Preis
        • LUKE – Ukraine
        • netidee SCIENCE
        • Projekte der Herzfelder-Stiftung
        • Quantum Austria
        • Rückenwind-Förderbonus
        • WE&ME Award
        • Zero Emissions Award
      • Länderkooperationen
        • Belgien/Flandern
        • Deutschland
        • Frankreich
        • Italien/Südtirol
        • Japan
        • Korea
        • Luxemburg
        • Polen
        • Schweiz
        • Slowenien
        • Taiwan
        • Tirol–Südtirol–Trentino
        • Tschechien
        • Ungarn
    • Schritt für Schritt
      • Förderung finden
      • Antrag einreichen
      • Internationales Peer-Review
      • Förderentscheidung
      • Projekt durchführen
      • Projekt beenden
      • Weitere Informationen
        • Integrität und Ethik
        • Inklusion
        • Antragstellung aus dem Ausland
        • Personalkosten
        • PROFI
        • Projektendberichte
        • Projektendberichtsumfrage
    • FAQ
      • Projektphase PROFI
      • Projektphase Ad personam
      • Auslaufende Programme
        • Elise Richter und Elise Richter PEEK
        • FWF-START-Preise
  • Zur Übersichtsseite Über uns

    • Leitbild
    • FWF-Film
    • Werte
    • Zahlen und Daten
    • Jahresbericht
    • Aufgaben und Aktivitäten
      • Forschungsförderung
        • Matching-Funds-Förderungen
      • Internationale Kooperationen
      • Studien und Publikationen
      • Chancengleichheit und Diversität
        • Ziele und Prinzipien
        • Maßnahmen
        • Bias-Sensibilisierung in der Begutachtung
        • Begriffe und Definitionen
        • Karriere in der Spitzenforschung
      • Open Science
        • Open-Access-Policy
          • Open-Access-Policy für begutachtete Publikationen
          • Open-Access-Policy für begutachtete Buchpublikationen
          • Open-Access-Policy für Forschungsdaten
        • Forschungsdatenmanagement
        • Citizen Science
        • Open-Science-Infrastrukturen
        • Open-Science-Förderung
      • Evaluierungen und Qualitätssicherung
      • Wissenschaftliche Integrität
      • Wissenschaftskommunikation
      • Philanthropie
      • Nachhaltigkeit
    • Geschichte
    • Gesetzliche Grundlagen
    • Organisation
      • Gremien
        • Präsidium
        • Aufsichtsrat
        • Delegiertenversammlung
        • Kuratorium
        • Jurys
      • Geschäftsstelle
    • Arbeiten im FWF
  • Zur Übersichtsseite Aktuelles

    • News
    • Presse
      • Logos
    • Eventkalender
      • Veranstaltung eintragen
      • FWF-Infoveranstaltungen
    • Jobbörse
      • Job eintragen
    • Newsletter
  • Entdecken, 
    worauf es
    ankommt.

    FWF-Newsletter Presse-Newsletter Kalender-Newsletter Job-Newsletter scilog-Newsletter

    SOCIAL MEDIA

    • LinkedIn, externe URL, öffnet sich in einem neuen Fenster
    • , externe URL, öffnet sich in einem neuen Fenster
    • Facebook, externe URL, öffnet sich in einem neuen Fenster
    • Instagram, externe URL, öffnet sich in einem neuen Fenster
    • YouTube, externe URL, öffnet sich in einem neuen Fenster

    SCILOG

    • Scilog — Das Wissenschaftsmagazin des Österreichischen Wissenschaftsfonds (FWF)
  • elane-Login, externe URL, öffnet sich in einem neuen Fenster
  • Scilog externe URL, öffnet sich in einem neuen Fenster
  • en Switch to English

  

Rekonstruktion von Gefäße und Neurone aus 3D Scans

Modelling Vasculature and Neurons from 3D scans

Mateusz Kozinski (ORCID: 0000-0002-3187-518X)
  • Grant-DOI 10.55776/M3374
  • Förderprogramm Lise Meitner
  • Status beendet
  • Projektbeginn 01.12.2021
  • Projektende 30.11.2023
  • Bewilligungssumme 177.980 €

Wissenschaftsdisziplinen

Informatik (100%)

Keywords

    Delineation, Deep Learning, Vasculature, Neuronal Morphology

Abstract Endbericht

Dank der Entwicklung von hochauflösender Computertomographie und Magnetresonanzangiographie haben Mediziner und Wissenschaftler die Möglichkeit auch feinste Gefäßstrukturen im Detail zu untersuchen und durch Vergleich mit gesunden Strukturen Gefäßanomalien in verschiedenen Organen zu erkennen. Leider ist das Erstellen von Gefäßstruktur Modelle aus 3D-Bildern noch immer sehr kosten- und zeitintensiv, da Gefäße manuell hervorgehoben werden müssen. Auch die Rekonstruktion von Neuronstruktur Modellen basierend auf lichtmikroskopischen 3D Bilder aus Maushirnen, erfordert manuelles Markieren von Axonen und Dendriten. Somit sind größer angelegte Studien und Statistiken in beiden Fällen nicht durchführbar. Wir wollen diese Einschränkungen durch neue Algorithmen, die Gefäß- und Neuronen Strukturen aus 3D- Bildern automatisch rekonstruieren, umgehen. Unser Ansatz fußt auf den Methoden des deep learnings, die seit geraumer Zeit große Erfolge in der visuellen Wiederkennung erzielen konnten. Derzeitige Deep learning Methoden sind erfolgreich in Bildklassifizierungen und - Segmentierung. Hier steht die korrekte Klassifikation im Fokus. Unser Ziel liegt wiederum in der Konstruktion von Gefäß und Neuronen Modellen mit Fokus auf korrekten Strukturen. Somit ist unsere größte Herausforderung die Entwickelung von passende Deep learning Algorithmen basierend auf dem oben genannten Ziel.

Unser Verständnis des menschlichen Körpers wurde jahrtausendelang durch das freiäugige Wahrnehmen anatomischer Strukturen limitiert. Dank des technologischen Fortschrittes können heutzutage die Grenzen des menschlichen Auges überwunden werden und wir sind befähigt komplexere Strukturen des menschlichen Körpers zu analysieren. Mikroskope und CT-Scanner produzieren immer detailliertere 3D-Bilder, sodass es an Bedeutung gewinnt, die Masse erzeugter Daten mithilfe automatisierter Bildanalysetechniken zu interpretieren und zu verstehen. In diesem Projekt haben wir Deep Learning für zwei Arten solcher Bildanalysetechniken eingesetzt. Zuerst beschäftigten wir uns mit der Modell Erstellung von Blutgefäßen und Nerven aus den 3-D Bildern. Die Qualität dieser Modelle ist entscheidend für die Analyse der neurovaskulären Netzwerke, beispielsweise für die Simulation des Blutflusses oder die Ausbreitung neuronaler Signale. Das manuelle Modellieren und Konstruieren im Organgrößenmaßstab ist äußerst zeitaufwändig und somit ist Deep Learning für solche Rekonstruktionen ein idealer Anwendungsfall. Derzeitige Deep-Learning-Ansätze sind aber für oben genannten Tätigkeiten leider nicht geeignet, da sie fehlerhafte Modelle mit falschen Gefäß- und Neuronen Verbindungen oder Strukturunterbrechungen produzieren. Wir haben daher neue Methoden entwickelt, um neuronale Netzwerke, die dünnwandige Strukturen korrekt verbinden und darstellen können, zu trainieren. Diese Methoden verbessern nicht nur die Qualität der Modelle, sondern ermöglichen auch ungenauere Annotationen der Trainingsdaten, die einfacher und schneller zu erstellen sind als präzisere Annotationen. Zweitens befassten wir uns mit der Erkennung des Bronchiolitis-obliterans-Syndroms (BOS) anhand von CT-Scans. BOS ist eine fortschreitende, fibrotische Atemwegserkrankung, die Patienten nach einer Lungentransplantation betreffen kann. Für eine wirksame Behandlung ist eine frühzeitige Diagnosestellung essenziel, die aber noch immer eine Herausforderung darstellt. Die diagnostische Verwendung von CT-Scans ist noch nicht vollständig etabliert, da spezifische Veränderungen oft erst im fortgeschrittenen Krankheitsstadium sichtbar werden. Neuronale Netzwerke hingegen können erste und kaum sichtbare Anzeichen von Krankheiten, die für Menschen schwer zu erkennen sind, in CT-Scans detektieren. Um aber erste pathologische Anzeichen von individuellen anatomischen Merkmalen einzelner Patienten unterscheiden zu können, wird eine umfangreiche Anzahl an Trainingsdaten benötigt. In unserer Studie hatten wir jedoch nur eine überschaubare Anzahl von Patienten. Um diese Schwierigkeit zu lösen, trainierten wir, einerseits das neuronale Netzwerk BOS zu erkennen und andererseits, dass es beim selben Patienten zwischen späten und frühen Krankheitsstadium zu unterscheiden lernt. Diese Methode ermöglicht es dem Netzwerk, die Krankheitssymptome zu erkennen, während es patientenspezifische anatomische Merkmale ignorierte. Unsere Methode erzielte eine hohe Genauigkeit bei der Erkennung von BOS in CT-Scans und zeigte auch vielversprechende Ergebnisse bei der Identifizierung der Patienten die einem erhöhten Risiko an BOS zu erkranken ausgesetzt sind. Jedoch muss unsere Methode noch unter klinischen Bedingungen getestet werden, bevor sie in der standarisierten Diagnostikverfahren zur Anwendung kommen kann.

Forschungsstätte(n)
  • Technische Universität Graz - 100%
Internationale Projektbeteiligte
  • John-David Aubert, Centre Hospitalier Universitaire Vaudois - Schweiz
  • Pascal Fua, University of Lausanne - Schweiz
  • Carl C.H. Petersen, École polytechnique fédérale de Lausanne - Schweiz

Research Output

  • 6 Zitationen
  • 14 Publikationen
  • 3 Datasets & Models
Publikationen
  • 2023
    Titel Sit Back and Relax: Learning to Drive Incrementally in All Weather Conditions
    DOI 10.48550/arxiv.2305.18953
    Typ Preprint
    Autor Leitner S
    Link Publikation
  • 2023
    Titel LaFTer: Label-Free Tuning of Zero-shot Classifier using Language and Unlabeled Image Collections
    DOI 10.48550/arxiv.2305.18287
    Typ Preprint
    Autor Karlinsky L
    Link Publikation
  • 2024
    Titel Harnessing Deep Learning to Detect Bronchiolitis Obliterans Syndrome from Chest CT
    DOI 10.1101/2024.02.07.24302414
    Typ Preprint
    Autor Kozinski M
  • 2022
    Titel Enforcing connectivity of 3D linear structures using their 2D projections
    DOI 10.48550/arxiv.2207.06832
    Typ Preprint
    Autor Oner D
  • 2022
    Titel Adjusting the Ground Truth Annotations for Connectivity-Based Learning to Delineate
    DOI 10.1109/tmi.2022.3193072
    Typ Journal Article
    Autor Oner D
    Journal IEEE Transactions on Medical Imaging
    Seiten 3675-3685
    Link Publikation
  • 2023
    Titel Video Test-Time Adaptation for Action Recognition
    DOI 10.1109/cvpr52729.2023.02198
    Typ Conference Proceeding Abstract
    Autor Lin W
    Seiten 22952-22961
  • 2023
    Titel ActMAD: Activation Matching to Align Distributions for Test-Time-Training
    DOI 10.1109/cvpr52729.2023.02313
    Typ Conference Proceeding Abstract
    Autor Mirza M
    Seiten 24152-24161
  • 2023
    Titel Sit Back and Relax: Learning to Drive Incrementally in All Weather Conditions
    DOI 10.1109/iv55152.2023.10186818
    Typ Conference Proceeding Abstract
    Autor Leitner S
    Seiten 1-8
  • 2023
    Titel Persistent Homology With Improved Locality Information for More Effective Delineation.
    DOI 10.1109/tpami.2023.3246921
    Typ Journal Article
    Autor Garin A
    Journal IEEE transactions on pattern analysis and machine intelligence
    Seiten 10588-10595
  • 2022
    Titel Enforcing Connectivity of 3D Linear Structures Using Their 2D Projections
    DOI 10.1007/978-3-031-16443-9_57
    Typ Book Chapter
    Autor Oner D
    Verlag Springer Nature
    Seiten 591-601
  • 2021
    Titel Persistent Homology with Improved Locality Information for more Effective Delineation
    DOI 10.48550/arxiv.2110.06295
    Typ Preprint
    Autor Oner D
  • 2022
    Titel Video Test-Time Adaptation for Action Recognition
    DOI 10.48550/arxiv.2211.15393
    Typ Preprint
    Autor Lin W
  • 2022
    Titel ActMAD: Activation Matching to Align Distributions for Test-Time-Training
    DOI 10.48550/arxiv.2211.12870
    Typ Preprint
    Autor Mirza M
  • 2021
    Titel Adjusting the Ground Truth Annotations for Connectivity-Based Learning to Delineate
    DOI 10.48550/arxiv.2112.02781
    Typ Preprint
    Autor Oner D
Datasets & Models
  • 2023 Link
    Titel A deep learning method to recognize Bronchiolitis Olbiterans Syndrome from CT scans
    DOI 10.5281/zenodo.10980623
    Typ Computer model/algorithm
    Öffentlich zugänglich
    Link Link
  • 2022 Link
    Titel A method to train deep networks to delineate thin structures with inaccurate annotations.
    DOI 10.5281/zenodo.10982505
    Typ Computer model/algorithm
    Öffentlich zugänglich
    Link Link
  • 2022 Link
    Titel A method to train deep networks to delineate thin structures in 3D images using annotations of 2D data projections.
    DOI 10.5281/zenodo.10982527
    Typ Computer model/algorithm
    Öffentlich zugänglich
    Link Link

Entdecken, 
worauf es
ankommt.

Newsletter

FWF-Newsletter Presse-Newsletter Kalender-Newsletter Job-Newsletter scilog-Newsletter

Kontakt

Österreichischer Wissenschaftsfonds FWF
Georg-Coch-Platz 2
(Eingang Wiesingerstraße 4)
1010 Wien

office(at)fwf.ac.at
+43 1 505 67 40

Allgemeines

  • Jobbörse
  • Arbeiten im FWF
  • Presse
  • Philanthropie
  • scilog
  • Geschäftsstelle
  • Social Media Directory
  • LinkedIn, externe URL, öffnet sich in einem neuen Fenster
  • , externe URL, öffnet sich in einem neuen Fenster
  • Facebook, externe URL, öffnet sich in einem neuen Fenster
  • Instagram, externe URL, öffnet sich in einem neuen Fenster
  • YouTube, externe URL, öffnet sich in einem neuen Fenster
  • Cookies
  • Hinweisgeber:innensystem
  • Barrierefreiheitserklärung
  • Datenschutz
  • Impressum
  • IFG-Formular
  • Social Media Directory
  • © Österreichischer Wissenschaftsfonds FWF
© Österreichischer Wissenschaftsfonds FWF