Regularisierungsgraphen für variationelle Bildverarbeitung
Regularization Graphs for Variational Imaging
Wissenschaftsdisziplinen
Informatik (20%); Mathematik (80%)
Keywords
-
Variational Image Processing,
Regularization Functionals,
Inverse Problems,
Convex Optimization
Unsere Wahrnehmung der Welt ist zu großen Teilen visuell. Bilder, die Manifestation dieser Wahrnehmung, sind ein wesentlicher Bestandteil der menschlichen Kultur. Moderne Technologie erlaubt es, Bilder digital aufzunehmen, zu verarbeiten und zu speichern. Dies bereitet den Weg für Bildverarbeitung als wissenschaftliche Disziplin. Als solche beeinflusst sie zunehmend unseren Alltag: Sie spielt eine wichtige Rolle bei digitaler Foto- und Videotechnologie, mit der wir zum Beispiel unsere Urlaubserinnerungen aufzeichnen, und ist ein wesentlicher Bestandteil moderner diagnostischerVerfahren der Medizin, wieComputertomographie (CT) und Magnetresonanzbildgebung (MRI). Mathematische Bildverarbeitung als wissenschaftliche Disziplin umfasst unter anderem die Übersetzung von aufgenommenen Daten in eine sinnvolle visuelle Darstellung. Diese Aufgabe ist bei Weitem nicht trivial, insbesondere dann, wenn kein direkter Zusammenhang zwischen aufgenommenen Daten und visueller Darstellung besteht. Bei tomographischen Verfahren wie CT und MRI, wo es darum geht, ein Bild vom Inneren des Körpers zu erzeugen, ist dies der Fall. Zusätzliche Schwierigkeiten ergeben sich, wenn Messungen verrauscht oder unvollständig sind. Deren Übersetzung zu einem klaren, präzisen Bild, zum Beispiel des menschlichen Herzens, benötigt moderne Mathematik und ist eine anspruchsvolle Forschungsaufgabe. Variationelle Methoden in der Bildverarbeitung leisten einen wesentlichen Beitrag zum Fortschritt bei der Lösung solcher Aufgaben. Sie basieren auf mathematischen Modellen, die in Computerprogramme übertragenwerden können,welche die eigentlichen Rechnungen durchführen. Diese Modelle beinhalten sowohl den Zusammenhang zwischen gemessenen Daten und dem zu erzeugenden Bild, als auch eine abstrakte Beschreibung der qualitativen Eigenschaften dieses Bildes. Letzteres wird Regularisierung genannt und ist der Schlüssel, um Schwierigkeiten mit verrauschten sowie unvollständigen Daten zu überwinden. Die Wahl einer geeigneten Regularisierung ist anspruchsvoll und stellt den entscheidenden Faktor für den Erfolg einer Methode dar. Ist allerdings ein guter Regularisierungsansatz einmal entwickelt, gibt es breite Anwendungsmöglichkeiten. In MRI zum Beispiel kann so eine Bildrekonstruktion aus nur 10 % der üblicherweise benötigten Daten erfolgen, was eine wesentlich kürzere Aufnahmezeit ermöglicht. Ohne Regularisierung ließen sich solche Resultate nicht erreichen, entsprechende Forschung ist daher ein wichtiges Thema der mathematischen Bildverarbeitung. In den letzten Jahren konnten große Fortschritte mit scheinbar sehr unterschiedlichen Regularisierungsansätzen erzielt werden. Deren Erfolg ist jedoch auf sehr ähnliche grundlegende Strukturenzurückzuführen. Letztere beinhalten eingroßesPotential,aktuelle Forschungsergebnisse zu vereinheitlichen und zu erweitern. Das Ziel dieses Projektes ist es, Theorie und Anwendung einer solchen Vereinheitlichung sowie Erweiterung durch sogenannte Regularisierungsgraphen bereitzustellen. Es ist für einen einfachen Transfer zu konkreten Problemstellungen ausgelegt und soll dazu beitragen, die Grenzen des Möglichen in den Anwendungsfeldern der Bildverarbeitung zu verschieben. Dies könnte den Grundstein für konkrete Fortschritte in der Praxis legen, wie beispielsweise einer Verkürzung der Aufnahmezeit bei MRI derart, dass neue Echtzeit-Anwendungen möglich werden.
Das Projekt befasste sich damit, Fortschritte in der Regularisierungstheorie in der Bildgebung zu machen, einer mathematischen Theorie, die für die Lösung moderner Probleme der Bildrekonstruktion und -verarbeitung wegweisend ist. Die Ergebnisse umfassen die Etablierung des neuartigen Konzepts der "Regularisierungsgraphen", neue effiziente Algorithmen für die rechnergestützte Verarbeitung und Rekonstruktion von digital gespeicherten Bildern sowie innovative Anwendungen in der biomedizinischen Bildgebung und der Bildgebung im Nanobereich. Bilder als Ausdruck der visuellen Wahrnehmung sind ein wesentlicher Bestandteil des menschlichen Lebens. Mit der heutigen Technologie können Bilder digital erfasst, verarbeitet und gespeichert werden, was Bildgebung als wissenschaftliche Disziplin ermöglicht. Bildwissenschaften beeinflussen unser tägliches Leben, spielen eine Rolle in der digitalen Foto- und Videotechnik und sind ein wesentlicher Bestandteil moderner medizinischer Diagnosetechniken wie der Computertomographie (CT) und der Magnetresonanztomographie (MRT). Mathematische Bildgebung als wissenschaftliche Disziplin befasst sich mit der Übersetzung der gewonnenen Daten in eine aussagekräftige visuelle Darstellung. Diese Aufgabe kann sich als schwierig erweisen, insbesondere in Situationen, in denen keine direkte Beziehung zwischen der visuellen Darstellung und den gemessenen Daten besteht. Bei Tomographieanwendungen wie CT oder MRT, bei denen das Innere eines Körpers abgebildet werden soll, ist dies der Fall. Darüber hinaus ergeben sich Schwierigkeiten durch verrauschte oder unvollständige Messungen. Die Übersetzung in ein sauberes, genaues Bild, beispielsweise des Herzens eines Patienten, erfordert solide Mathematik und stellt ein anspruchsvolles Forschungsproblem dar. Sogenannte Variationsmethoden tragen wesentlich zum Fortschritt bei der Lösung solcher Probleme bei. Sie beruhen auf effizienten mathematischen Modellen, die in computerprogrammierbare Algorithmen übertragen werden können. Diese Modelle beinhalten die Beziehung zwischen Bild und Messungen, liefern aber auch eine abstrakte Beschreibung der qualitativen Eigenschaften. Letztere, die sogenannte Regularisierung, ist der Schlüssel zur Lösung der oben genannten Probleme. Ihre Wahl ist Gegenstand von Forschung, da sie der entscheidende Faktor für die Güte der Methode ist. Bei MRT ermöglicht beispielsweise geeignete Regularisierung eine Rekonstruktion mit deutlich reduzierter Scanzeit. Solche Ergebnisse wären sonst nicht möglich, was Regularisierungstheorie zu einem wichtigen Thema innerhalb der variationellen Bildgebung macht. In den vergangenen Jahren wurden mit scheinbar sehr unterschiedlichen Regularisierungsansätzen große Fortschritte erzielt. Die Effektivität dieser Ansätze beruht jedoch auf einer ähnlichen Grundstruktur, die als die im Rahmen des Projekts entwickelten Regularisierungsgraphen identifiziert werden konnte. Das Potenzial dieser Struktur bei der Vereinheitlichung und Erweiterung des Stands der Technik konnte ferner im Zuge des Projekts gezeigt werden. Die theoretischen und algorithmischen Fortschritte sind leicht in die Anwendung übertragbar und helfen Praktikern, die heutigen Grenzen der Rekonstruktion in verschiedenen Bereichen der Bildwissenschaften zu verschieben. Im Rahmen des Projekts wurden insbesondere Vorteile für die Elektronentomographie und die photoakustische Tomographie aufgezeigt, aber auch die Grundlagen für andere Anwendungen gelegt, z. B. eine Verringerung der Scanzeit in MRT, die neue Echtzeit-Bildgebung ermöglicht.
- Universität Graz - 100%
- Xiaoqun Zhang, Shanghai Jiao Tong University - China
- Florian Knoll, Friedrich-Alexander-Universität Erlangen-Nürnberg - Deutschland
- Carola Bibiane Schönlieb, University of Cambridge - Vereinigtes Königreich
Research Output
- 328 Zitationen
- 22 Publikationen
- 2 Software
- 3 Disseminationen
- 1 Wissenschaftliche Auszeichnungen
- 2 Weitere Förderungen
-
2023
Titel Asymptotic linear convergence of fully-corrective generalized conditional gradient methods DOI 10.1007/s10107-023-01975-z Typ Journal Article Autor Bredies K Journal Mathematical Programming Seiten 135-202 Link Publikation -
2022
Titel A Generalized Conditional Gradient Method for Dynamic Inverse Problems with Optimal Transport Regularization DOI 10.1007/s10208-022-09561-z Typ Journal Article Autor Bredies K Journal Foundations of Computational Mathematics Seiten 833-898 Link Publikation -
2022
Titel Regularization graphs—a unified framework for variational regularization of inverse problems DOI 10.1088/1361-6420/ac668d Typ Journal Article Autor Bredies K Journal Inverse Problems Seiten 105006 Link Publikation -
2021
Titel Regularization Graphs -- A unified framework for variational regularization of inverse problems DOI 10.48550/arxiv.2111.03509 Typ Preprint Autor Bredies K -
2024
Titel A sparse optimization approach to infinite infimal convolution regularization DOI 10.1007/s00211-024-01439-2 Typ Journal Article Autor Bredies K Journal Numerische Mathematik Seiten 41-96 -
2023
Titel A sparse optimization approach to infinite infimal convolution regularization DOI 10.48550/arxiv.2304.08628 Typ Preprint Autor Bredies K -
2023
Titel Convergence of Pixel-Driven Discretizations of Projection Operators DOI 10.1109/nssmicrtsd49126.2023.10338450 Typ Conference Proceeding Abstract Autor Huber R Seiten 1-1 -
2022
Titel A superposition principle for the inhomogeneous continuity equation with Hellinger–Kantorovich-regular coefficients DOI 10.1080/03605302.2022.2109172 Typ Journal Article Autor Bredies K Journal Communications in Partial Differential Equations Seiten 2023-2069 Link Publikation -
2022
Titel Pixel-driven projection methods' approximation properties and applications in electron tomography Typ PhD Thesis Autor Richard Huber Link Publikation -
2019
Titel Untargeted Metabolomics Reveals Molecular Effects of Ketogenic Diet on Healthy and Tumor Xenograft Mouse Models DOI 10.3390/ijms20163873 Typ Journal Article Autor Licha D Journal International Journal of Molecular Sciences Seiten 3873 Link Publikation -
2021
Titel On the extremal points of the ball of the Benamou–Brenier energy DOI 10.1112/blms.12509 Typ Journal Article Autor Bredies K Journal Bulletin of the London Mathematical Society Seiten 1436-1452 Link Publikation -
2022
Titel Non-smooth model-based regularization for inverse problems in imaging Typ Postdoctoral Thesis Autor Martin Holler -
2019
Titel Total generalized variation regularization for multi-modal electron tomography DOI 10.1039/c8nr09058k Typ Journal Article Autor Huber R Journal Nanoscale Seiten 5617-5632 Link Publikation -
2019
Titel Sparsity of solutions for variational inverse problems with finite-dimensional data DOI 10.1007/s00526-019-1658-1 Typ Journal Article Autor Bredies K Journal Calculus of Variations and Partial Differential Equations Seiten 14 Link Publikation -
2018
Titel Infimal Convolution of Oscillation Total Generalized Variation for the Recovery of Images with Structured Texture DOI 10.1137/17m1153960 Typ Journal Article Autor Gao Y Journal SIAM Journal on Imaging Sciences Seiten 2021-2063 Link Publikation -
2018
Titel Total Generalized Variation for Manifold-Valued Data DOI 10.1137/17m1147597 Typ Journal Article Autor Bredies K Journal SIAM Journal on Imaging Sciences Seiten 1785-1848 Link Publikation -
2018
Titel A function space framework for structural total variation regularization with applications in inverse problems DOI 10.1088/1361-6420/aab586 Typ Journal Article Autor Hintermüller M Journal Inverse Problems Seiten 064002 Link Publikation -
2018
Titel Coupled regularization with multiple data discrepancies DOI 10.1088/1361-6420/aac539 Typ Journal Article Autor Holler M Journal Inverse Problems Seiten 084003 Link Publikation -
2020
Titel TGV-regularized inversion of the Radon transform for photoacoustic tomography DOI 10.1364/boe.379941 Typ Journal Article Autor Bredies K Journal Biomedical Optics Express Seiten 994-1019 Link Publikation -
2020
Titel Higher-order total variation approaches and generalisations DOI 10.1088/1361-6420/ab8f80 Typ Journal Article Autor Bredies K Journal Inverse Problems Seiten 123001 Link Publikation -
2018
Titel Sparsity of solutions for variational inverse problems with finite-dimensional data DOI 10.48550/arxiv.1809.05045 Typ Preprint Autor Bredies K -
2017
Titel Coupled regularization with multiple data discrepancies DOI 10.48550/arxiv.1711.11512 Typ Preprint Autor Holler M
-
2021
Link
Titel Gratopy 0.1 DOI 10.5281/zenodo.5221442 Link Link -
2019
Link
Titel Graptor 0.1 DOI 10.5281/zenodo.2586204 Link Link
-
2019
Link
Titel High flyers in nano research Typ A press release, press conference or response to a media enquiry/interview Link Link -
2017
Link
Titel Achtung Forschung! Typ Participation in an open day or visit at my research institution Link Link -
2019
Link
Titel Falter Heureka Interview Typ A press release, press conference or response to a media enquiry/interview Link Link
-
2018
Titel Mathematics and Image Analysis MIA'18 Typ Personally asked as a key note speaker to a conference Bekanntheitsgrad Continental/International
-
2020
Titel Next Generation Chemical Exchange saturation transfer MRI Typ Other Förderbeginn 2020 -
2020
Titel (TraDE-OPT) - Training Data-driven Experts in OPTimization Typ Research grant (including intramural programme) Förderbeginn 2020