enFaced 2.0 - AR-Tool für die Gesichtschirurgie
enFaced 2.0 - Instant AR Tool for Maxillofacial Surgery
Wissenschaftsdisziplinen
Klinische Medizin (90%); Umweltingenieurwesen, Angewandte Geowissenschaften (10%)
Keywords
- Maxillofacial Surgery,
- Bone Defect Reconstruction,
- Navigation,
- Augmented and Virtual Reality
Der Gesichtsschädel ist anatomisch sehr komplex, da mehrere anatomisch wichtige Strukturen sowie Hohlräume auf engstem Raum vorhanden sind. Dies macht die Kiefer- und Gesichtschirurgie zu einer großen Herausforderung. Solche chirurgischen Eingriffe können durch computergestützte Verfahren präziser und sicherer werden, zum Beispiel durch den Einsatz von patientenspezifischer virtueller Operationsplanung oder intraoperativer chirurgischer Navigation. Allerdings ist es für Chirurginnen und Chirurgen immer noch sehr herausfordernd und anspruchsvoll, einen Bezug zwischen computergenerierten Informationen auf zweidimensionalen Bildschirmen und der realen anatomischen Situation innerhalb der Patientinnen und Patienten herzustellen. In diesem Zusammenhang kann Augmented Reality (AR) helfen, indem virtuelle, dreidimensionale medizinische Daten direkt zusammen mit dem Patienten im realen Umfeld dargestellt werden, zum Beispiel durch 3D Smart Glasses, Smartphones oder Tablets. In diesem interdisziplinären Projekt zwischen Informatik und Medizin entwickeln und untersuchen wir ein AR-Tool für chirurgische Visualisierung und Navigation für die Kiefer- und Gesichtschirurgie. Das Tool soll Unfallchirurgie in diesem Bereich genauer, sicherer und schneller machen, während die mentale Belastung für Chirurginnen und Chirurgen reduziert wird. Das Projekt baut auf seinem Vorgänger enFaced von 2018 auf, indem der Bedarf für eine solche Anwendung festgestellt wurde. Im weiteren Verlauf werden erste Prototypen weiterentwickelt und auf neueste AR Hardware, wie zum Beispiel die AR Brille HoloLens 2, gebracht. In enger Zusammenarbeit mit Chirurginnen und Chirurgen aus der Kiefer- und Gesichtschirurgie, die täglich solche Operationen durchführen, werden die Vor- und Nachteile von AR in diesem Fachbereich detailliert evaluiert und die Benutzerfreundlichkeit des entwickelten Tools im klinischen Alltag untersucht. Dieses interdisziplinäre Forschungsprojekt wird von der Technischen Universität Graz in Zusammenarbeit mit der Medizinischen Universität Graz durchgeführt.
Der Gesichtsschädel ist anatomisch sehr komplex, da mehrere anatomisch wichtige Strukturen sowie Hohlräume auf engstem Raum vorhanden sind. Dies macht die Kiefer- und Gesichtschirurgie zu einer großen Herausforderung. Solche chirurgischen Eingriffe können durch computergestützte Verfahren präziser und sicherer werden, zum Beispiel durch den Einsatz von patientenspezifischer virtueller Operationsplanung oder intraoperativer chirurgischer Navigation. Allerdings ist es für Chirurginnen und Chirurgen immer noch sehr herausfordernd und anspruchsvoll, einen Bezug zwischen computergenerierten Informationen auf zweidimensionalen Bildschirmen und der realen anatomischen Situation innerhalb der Patientinnen und Patienten herzustellen. In diesem Zusammenhang kann Augmented Reality (AR) helfen, indem virtuelle, dreidimensionale medizinische Daten direkt zusammen mit dem Patienten im realen Umfeld dargestellt werden, zum Beispiel durch 3D Smart Glasses, Smartphones oder Tablets. In diesem interdisziplinären Projekt zwischen Informatik und Medizin haben wir ein AR-Tool für chirurgische Visualisierung und Navigation für die Kiefer- und Gesichtschirurgie entwickelt. Das Tool kann die Unfallchirurgie in diesem Bereich genauer, sicherer und schneller machen, während die mentale Belastung für Chirurginnen und Chirurgen reduziert wird. Das Projekt hat dabei auf seinem Vorgänger enFaced von 2018 aufgebaut, indem der Bedarf für eine solche Anwendung festgestellt wurde. Im weiteren Verlauf wurden erste Prototypen weiterentwickelt und auf neueste AR-Hardware, wie zum Beispiel die AR-Brille HoloLens 2, gebracht. In enger Zusammenarbeit mit Chirurginnen und Chirurgen aus der Kiefer- und Gesichtschirurgie, die täglich solche Operationen durchführen, wurden die Vor- und Nachteile von AR in diesem Fachbereich detailliert evaluiert und die Benutzerfreundlichkeit des entwickelten Tools im klinischen Alltag untersucht. Dieses interdisziplinäre Forschungsprojekt wurde von der Technischen Universität Graz in Zusammenarbeit mit der Medizinischen Universität Graz durchgeführt.
- Jürgen Wallner, Medizinische Universität Graz , assoziierte:r Forschungspartner:in
- Xiaojun Chen, Shanghai Jiao Tong University - China
- Nassir Navab, TU München - Deutschland
Research Output
- 366 Zitationen
- 33 Publikationen
- 3 Datasets & Models
-
2023
Titel Open-source skull reconstruction with MONAI DOI 10.18154/rwth-conv-252675 Typ Other Autor Li J Link Publikation -
2023
Titel Open-source skull reconstruction with MONAI DOI 10.1016/j.softx.2023.101432 Typ Journal Article Autor Li J Journal SoftwareX -
2023
Titel Towards Clinical Translation of Augmented Reality: A Framework for Surgical Navigation in Head and Neck Procedures Typ PhD Thesis Autor Christina Schwarz-Gsaxner -
2024
Titel Cyto R-CNN and CytoNuke Dataset: Towards reliable whole-cell segmentation in bright-field histological images DOI 10.1016/j.cmpb.2024.108215 Typ Journal Article Autor Raufeisen J Journal Computer Methods and Programs in Biomedicine Seiten 108215 Link Publikation -
2024
Titel Back to the Roots: Reconstructing Large and Complex Cranial Defects using an Image-based Statistical Shape Model DOI 10.1007/s10916-024-02066-y Typ Journal Article Autor Li J Journal Journal of Medical Systems Seiten 55 Link Publikation -
2024
Titel Augmented Reality-Guided Extraction of Fully Impacted Lower Third Molars Based on Maxillofacial CBCT Scans DOI 10.3390/bioengineering11060625 Typ Journal Article Autor Rieder M Journal Bioengineering Seiten 625 Link Publikation -
2024
Titel Type B Aortic Dissection CTA Collection with True and False Lumen Expert Annotations for the Development of AI-based Algorithms DOI 10.1038/s41597-024-03284-2 Typ Journal Article Autor Mayer C Journal Scientific Data Seiten 596 Link Publikation -
2024
Titel GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy DOI 10.1016/j.media.2024.103100 Typ Journal Article Autor Ferreira A Journal Medical Image Analysis Seiten 103100 Link Publikation -
2024
Titel Rethinking realities: A call for accurate terminology in eXtended Reality studies DOI 10.1016/j.resplu.2024.100558 Typ Journal Article Autor Fijacko N Journal Resuscitation Plus Seiten 100558 Link Publikation -
2024
Titel Cyto R-CNN and CytoNuke Dataset: Towards reliable whole-cell segmentation in bright-field histological images DOI 10.48550/arxiv.2401.15638 Typ Other Autor Raufeisen J Link Publikation -
2024
Titel How we won BraTS 2023 Adult Glioma challenge? Just faking it! Enhanced Synthetic Data Augmentation and Model Ensemble for brain tumour segmentation DOI 10.48550/arxiv.2402.17317 Typ Preprint Autor Ferreira A Link Publikation -
2023
Titel The HoloLens in medicine: A systematic review and taxonomy DOI 10.1016/j.media.2023.102757 Typ Journal Article Autor Gsaxner C Journal Medical Image Analysis Seiten 102757 Link Publikation -
2023
Titel Open-Source Skull Reconstruction with MONAI DOI 10.48550/arxiv.2211.14051 Typ Preprint Autor Li J -
2023
Titel k-strip: A novel segmentation algorithm in k-space for the application of skull stripping DOI 10.1016/j.cmpb.2023.107912 Typ Journal Article Autor Rempe M Journal Computer Methods and Programs in Biomedicine Seiten 107912 Link Publikation -
2023
Titel Sparse convolutional neural network for high-resolution skull shape completion and shape super-resolution DOI 10.1038/s41598-023-47437-6 Typ Journal Article Autor Li J Journal Scientific Reports Seiten 20229 Link Publikation -
2024
Titel Deep Dive into MRI: Exploring Deep Learning Applications in 0.55T and 7T MRI DOI 10.48550/arxiv.2407.01318 Typ Preprint Autor Alves A Link Publikation -
2024
Titel Brain Tumour Removing and Missing Modality Generation using 3D WDM DOI 10.48550/arxiv.2411.04630 Typ Preprint Autor Ferreira A Link Publikation -
2024
Titel Improved Multi-Task Brain Tumour Segmentation with Synthetic Data Augmentation DOI 10.48550/arxiv.2411.04632 Typ Preprint Autor Ferreira A Link Publikation -
2023
Titel k-strip: A novel segmentation algorithm in k-space for the application of skull stripping DOI 10.48550/arxiv.2205.09706 Typ Preprint Autor Rempe M -
2023
Titel Apple Vision Pro for Healthcare: "The Ultimate Display"? -- Entering the Wonderland of Precision Medicine DOI 10.48550/arxiv.2308.04313 Typ Preprint Autor Egger J Link Publikation -
2022
Titel Back to the Roots: Reconstructing Large and Complex Cranial Defects using an Image-based Statistical Shape Model DOI 10.36227/techrxiv.19582846.v1 Typ Preprint Autor Li J -
2022
Titel Back to the Roots: Reconstructing Large and Complex Cranial Defects using an Image-based Statistical Shape Model DOI 10.36227/techrxiv.19582846 Typ Preprint Autor Li J -
2022
Titel Radiomics in head and neck cancer outcome predictions DOI 10.18154/rwth-conv-250627 Typ Other Autor Gonçalves M Link Publikation -
2022
Titel Back to the Roots: Reconstructing Large and Complex Cranial Defects using an Image-based Statistical Shape Model DOI 10.48550/arxiv.2204.05703 Typ Preprint Autor Li J -
2022
Titel Radiomics in Head and Neck Cancer Outcome Predictions DOI 10.3390/diagnostics12112733 Typ Journal Article Autor Gonçalves M Journal Diagnostics Seiten 2733 Link Publikation -
2023
Titel Augmented Reality-Guided Apicoectomy Based on Maxillofacial CBCT Scans DOI 10.3390/diagnostics13193037 Typ Journal Article Autor Remschmidt B Journal Diagnostics Seiten 3037 Link Publikation -
2023
Titel Towards Clinical Translation of Augmented Reality: A Framework for Surgical Navigation in Head and Neck Procedures Typ Postdoctoral Thesis Autor Christina Schwarz-Gsaxner -
2023
Titel Improvement in Disease Diagnosis in Computed Tomography Images by Correlating Organ Volumes with Disease Occurrences in Humans DOI 10.3390/biomedinformatics3030036 Typ Journal Article Autor Van Meegdenburg T Journal BioMedInformatics Seiten 526-542 Link Publikation -
2024
Titel Is the Apple Vision Pro the Ultimate Display? A First Perspective and Survey on Entering the Wonderland of Precision Medicine DOI 10.2196/52785 Typ Journal Article Autor Egger J Journal JMIR Serious Games Link Publikation -
2024
Titel Deep Learning-Based Point Cloud Registration for Augmented Reality-Guided Surgery DOI 10.1109/isbi56570.2024.10635333 Typ Conference Proceeding Abstract Autor Weber M Seiten 1-5 -
2024
Titel FakeNews: GAN-based generation of realistic 3D volumetric data -- A systematic review and taxonomy DOI 10.48550/arxiv.2207.01390 Typ Preprint Autor Ferreira A -
2024
Titel Is the Sublingual Artery a Reliable Alternative for Intraoral Anastomoses in Head and Neck Free-Flap Reconstruction? Anatomical Basis and Preliminary Results DOI 10.3390/jvd3040031 Typ Journal Article Autor Starke V Journal Journal of Vascular Diseases Seiten 397-406 Link Publikation -
2025
Titel Development and validation of collaborative robot-assisted cutting method for iliac crest flap raising: Randomized crossover trial. DOI 10.1038/s41598-025-01293-8 Typ Journal Article Autor Becker P Journal Scientific reports Seiten 16909
-
2024
Link
Titel MedShapeNet - a large-scale dataset of 3D medical shapes for computer vision DOI 10.1515/bmt-2024-0396 Typ Database/Collection of data Öffentlich zugänglich Link Link -
2024
Link
Titel Cyto R-CNN and CytoNuke Dataset DOI 10.1016/j.cmpb.2024.108215 Typ Database/Collection of data Öffentlich zugänglich Link Link -
2023
Link
Titel 3D surgical instrument collection for computer vision and extended reality DOI 10.1038/s41597-023-02684-0 Typ Database/Collection of data Öffentlich zugänglich Link Link