Ein Referenz-Modell für Explainable AI in der Medizin
A Reference Model of Explainable AI for the Medical Domain
Wissenschaftsdisziplinen
Informatik (100%)
Keywords
-
Explainable Ai
Der Fortschritt in statistischen maschinellen Lernmethoden (ML) hat die Künstliche Intelligenz (KI) zunehmend erfolgreich gemacht. Deep Learning übertrifft mittlerweile sogar die menschliche Leistungsfähigkeit, sogar im medizinischen Bereich. Ihr volles Potenzial ist jedoch begrenzt durch die Schwierigkeit, zugrunde liegenden erklärende Strukturen zu generieren. Das zentrale Problem ist, dass solche Modelle als "Black-Boxes" betrachtet werden und selbst wenn wir die mathematischen Prinzipien verstehen, fehlt eine explizite deklarative Wissensrepräsentation. Dies erfordert Werkzeuge, die es ermöglichen, Entscheidungen transparent, verständlich und erklärbar zu machen. Eine große Motivation für dieses Projekt sind steigende rechtliche und Datenschutzprobleme, welche die Nutzung von "Black-Boxes" erschweren. Dies bedeutet kein Verbot automatischer Lernansätze oder eine Verpflichtung, alles ständig zu erklären. Es muss jedoch möglich sein, die Ergebnisse bei Bedarf nachverfolgbar zu machen. Das Thema dieses Projekts ist Erklärbarkeit und unser Ziel ist es, bestehende AI/ML-Algorithmen transparent, nachvollziehbar und damit für einen Mediziner verständlich zu machen und einen möglichen neuen Ansatz zur erklärbaren KI aufzuzeigen. Wir haben von einer Vielzahl von technischen Lösungen gelernt, die derzeit entwickelt werden und die helfen könnten, AI/ML-Systeme und ihre Entscheidungen zu erklären. Transparente Algorithmen könnten das Vertrauen von Medizinern entsprechend verbessern und dadurch die Akzeptanz von maschinellen Lernlösungen speziell und von KI generell erhöhen. Wir werden ML mit einem kontinuierlichen Eingangsstrom sensorischer Daten und (implizitem) Wissenserfassung kombinieren und dabei die kognitiven Fähigkeiten des Menschen nutzen. Alle Ergebnisse dieses Projekts, Algorithmen und Werkzeuge, werden der internationalen Forschungsgemeinschaft offen zugänglich gemacht.
- Bastian Pfeifer, Medizinische Universität Graz , nationale:r Kooperationspartner:in
Research Output
- 4503 Zitationen
- 92 Publikationen
-
2020
Titel Classification and Visualization of Patterns in Medical Images DOI 10.1109/iv51561.2020.00110 Typ Conference Proceeding Abstract Autor Müller H Seiten 639-643 -
2020
Titel Reconstruct and Visualise Hierarchical Relationships in Whole Slide Images DOI 10.1109/iv51561.2020.00057 Typ Conference Proceeding Abstract Autor Plass M Seiten 632-638 -
2020
Titel Explainable AI and Multi-Modal Causability in Medicine DOI 10.1515/icom-2020-0024 Typ Journal Article Autor Holzinger A Journal i-com Seiten 171-179 Link Publikation -
2024
Titel Is human oversight to AI systems still possible? DOI 10.1016/j.nbt.2024.12.003 Typ Journal Article Autor Holzinger A Journal New Biotechnology Seiten 59-62 Link Publikation -
2022
Titel A Literature Review on Ethics for AI in Biomedical Research and Biobanking DOI 10.1055/s-0042-1742516 Typ Journal Article Autor Kargl M Journal Yearbook of Medical Informatics Seiten 152-160 Link Publikation -
2022
Titel CLARUS: An Interactive Explainable AI Platform for Manual Counterfactuals in Graph Neural Networks DOI 10.1101/2022.11.21.517358 Typ Preprint Autor Beinecke J Seiten 2022.11.21.517358 Link Publikation -
2022
Titel Human-AI Interfaces are a Central Component of Trustworthy AI DOI 10.1007/978-3-031-12807-3_11 Typ Book Chapter Autor Plass M Verlag Springer Nature Seiten 225-256 -
2022
Titel Actionable Explainable AI (AxAI): A Practical Example with Aggregation Functions for Adaptive Classification and Textual Explanations for Interpretable Machine Learning DOI 10.3390/make4040047 Typ Journal Article Autor Saranti A Journal Machine Learning and Knowledge Extraction Seiten 924-953 Link Publikation -
2022
Titel Generating Explanations for Conceptual Validation of Graph Neural Networks: An Investigation of Symbolic Predicates Learned on Relevance-Ranked Sub-Graphs DOI 10.1007/s13218-022-00781-7 Typ Journal Article Autor Finzel B Journal KI - Künstliche Intelligenz Seiten 271-285 Link Publikation -
2022
Titel Fairness and Explanation in AI-Informed Decision Making DOI 10.3390/make4020026 Typ Journal Article Autor Angerschmid A Journal Machine Learning and Knowledge Extraction Seiten 556-579 Link Publikation -
2022
Titel Explainability and causability for artificial intelligence-supported medical image analysis in the context of the European In Vitro Diagnostic Regulation DOI 10.1016/j.nbt.2022.05.002 Typ Journal Article Autor Müller H Journal New Biotechnology Seiten 67-72 Link Publikation -
2022
Titel xxAI - Beyond Explainable Artificial Intelligence DOI 10.1007/978-3-031-04083-2_1 Typ Book Chapter Autor Holzinger A Verlag Springer Nature Seiten 3-10 -
2022
Titel Towards Explainability for AI Fairness DOI 10.1007/978-3-031-04083-2_18 Typ Book Chapter Autor Zhou J Verlag Springer Nature Seiten 375-386 -
2022
Titel Explainable AI Methods - A Brief Overview DOI 10.1007/978-3-031-04083-2_2 Typ Book Chapter Autor Holzinger A Verlag Springer Nature Seiten 13-38 -
2022
Titel Digital Transformation in Smart Farm and Forest Operations Needs Human-Centered AI: Challenges and Future Directions DOI 10.3390/s22083043 Typ Journal Article Autor Holzinger A Journal Sensors Seiten 3043 Link Publikation -
2022
Titel Recommendations on compiling test datasets for evaluating artificial intelligence solutions in pathology DOI 10.1038/s41379-022-01147-y Typ Journal Article Autor Homeyer A Journal Modern Pathology Seiten 1759-1769 Link Publikation -
2022
Titel Interpretable Machine Learning with Brain Image and Survival Data DOI 10.3390/biomedinformatics2030031 Typ Journal Article Autor Eder M Journal BioMedInformatics Seiten 492-510 Link Publikation -
2022
Titel Multi-omics disease module detection with an explainable Greedy Decision Forest DOI 10.1038/s41598-022-21417-8 Typ Journal Article Autor Pfeifer B Journal Scientific Reports Seiten 16857 Link Publikation -
2022
Titel A manifesto on explainability for artificial intelligence in medicine DOI 10.1016/j.artmed.2022.102423 Typ Journal Article Autor Combi C Journal Artificial Intelligence in Medicine Seiten 102423 Link Publikation -
2022
Titel GNN-SubNet: disease subnetwork detection with explainable graph neural networks DOI 10.1093/bioinformatics/btac478 Typ Journal Article Autor Pfeifer B Journal Bioinformatics Link Publikation -
2022
Titel Understanding and Explaining Diagnostic Paths: Toward Augmented Decision Making DOI 10.1109/mcg.2022.3197957 Typ Journal Article Autor Plass M Journal IEEE Computer Graphics and Applications Seiten 47-57 Link Publikation -
2022
Titel Machine Learning and Knowledge Extraction to Support Work Safety for Smart Forest Operations DOI 10.1007/978-3-031-14463-9_23 Typ Book Chapter Autor Hoenigsberger F Verlag Springer Nature Seiten 362-375 -
2022
Titel Effects of Fairness and Explanation on Trust in Ethical AI DOI 10.1007/978-3-031-14463-9_4 Typ Book Chapter Autor Angerschmid A Verlag Springer Nature Seiten 51-67 -
2022
Titel The ROC Diagonal is Not Layperson’s Chance: A New Baseline Shows the Useful Area DOI 10.1007/978-3-031-14463-9_7 Typ Book Chapter Autor Carrington A Verlag Springer Nature Seiten 100-113 -
2024
Titel Exploring artificial intelligence for applications of drones in forest ecology and management DOI 10.1016/j.foreco.2023.121530 Typ Journal Article Autor Buchelt A Journal Forest Ecology and Management Seiten 121530 Link Publikation -
2024
Titel On generating trustworthy counterfactual explanations DOI 10.1016/j.ins.2023.119898 Typ Journal Article Autor Del Ser J Journal Information Sciences Seiten 119898 Link Publikation -
2024
Titel A Practical Tutorial on Explainable AI Techniques DOI 10.1145/3670685 Typ Journal Article Autor Bennetot A Journal ACM Computing Surveys Seiten 1-44 Link Publikation -
2024
Titel Class imbalance in multi-resident activity recognition: an evaluative study on explainability of deep learning approaches DOI 10.1007/s10209-024-01123-0 Typ Journal Article Autor Singh D Journal Universal Access in the Information Society Seiten 1-19 Link Publikation -
2024
Titel Artificial intelligence based data curation: enabling a patient-centric European health data space DOI 10.3389/fmed.2024.1365501 Typ Journal Article Autor De Zegher I Journal Frontiers in Medicine Seiten 1365501 Link Publikation -
2024
Titel CLARUS: An interactive explainable AI platform for manual counterfactuals in graph neural networks DOI 10.1016/j.jbi.2024.104600 Typ Journal Article Autor Metsch J Journal Journal of Biomedical Informatics Seiten 104600 Link Publikation -
2024
Titel Explainable Artificial Intelligence (XAI) 2.0: A manifesto of open challenges and interdisciplinary research directions DOI 10.1016/j.inffus.2024.102301 Typ Journal Article Autor Longo L Journal Information Fusion Seiten 102301 Link Publikation -
2024
Titel Reviewing the essential roles of remote phenotyping, GWAS and explainable AI in practical marker-assisted selection for drought-tolerant winter wheat breeding DOI 10.3389/fpls.2024.1319938 Typ Journal Article Autor Chang-Brahim I Journal Frontiers in Plant Science Seiten 1319938 Link Publikation -
2024
Titel Post-hoc vs ante-hoc explanations: xAI design guidelines for data scientists DOI 10.1016/j.cogsys.2024.101243 Typ Journal Article Autor Retzlaff C Journal Cognitive Systems Research Seiten 101243 Link Publikation -
2024
Titel Explainable Artificial Intelligence to Support Work Safety in Forestry: Insights from Two Large Datasets, Open Challenges, and Future Work DOI 10.3390/app14093911 Typ Journal Article Autor Hoenigsberger F Journal Applied Sciences Seiten 3911 Link Publikation -
2024
Titel Simulating cable corridors based on terrestrial LiDAR data DOI 10.1007/s10342-024-01673-1 Typ Journal Article Autor Retzlaff C Journal European Journal of Forest Research Seiten 1083-1095 Link Publikation -
2024
Titel Diffusion-based generation of Histopathological Whole Slide Images at a Gigapixel scale DOI 10.1109/wacv57701.2024.00505 Typ Conference Proceeding Abstract Autor Harb R Seiten 5119-5128 Link Publikation -
2019
Titel Visualization of Histopathological Decision Making Using a Roadbook Metaphor DOI 10.1109/iv.2019.00073 Typ Conference Proceeding Abstract Autor Pohn B Seiten 392-397 -
2019
Titel KANDINSKY Patterns as IQ-Test for Machine Learning DOI 10.1007/978-3-030-29726-8_1 Typ Book Chapter Autor Holzinger A Verlag Springer Nature Seiten 1-14 -
2025
Titel Tree smoothing: Post-hoc regularization of tree ensembles for interpretable machine learning DOI 10.1016/j.ins.2024.121564 Typ Journal Article Autor Pfeifer B Journal Information Sciences Seiten 121564 Link Publikation -
2025
Titel LLM in the Loop: A Framework for Contextualizing Counterfactual Segment Perturbations in Point Clouds DOI 10.1109/access.2025.3568052 Typ Journal Article Autor Kocic V Journal IEEE Access Seiten 85507-85525 Link Publikation -
2025
Titel Integrating Belief-Desire-Intention agents with large language models for reliable human–robot interaction and explainable Artificial Intelligence DOI 10.1016/j.engappai.2024.109771 Typ Journal Article Autor Frering L Journal Engineering Applications of Artificial Intelligence Seiten 109771 Link Publikation -
2025
Titel Fine-tuning language model embeddings to reveal domain knowledge: An explainable artificial intelligence perspective on medical decision making DOI 10.1016/j.engappai.2024.109561 Typ Journal Article Autor Kraišnikovic C Journal Engineering Applications of Artificial Intelligence Seiten 109561 Link Publikation -
2025
Titel On the disagreement problem in Human-in-the-Loop federated machine learning DOI 10.1016/j.jii.2025.100827 Typ Journal Article Autor Huelser M Journal Journal of Industrial Information Integration Seiten 100827 Link Publikation -
2025
Titel Comparative performance of PD-L1 scoring by pathologists and AI algorithms DOI 10.1111/his.15432 Typ Journal Article Autor Plass M Journal Histopathology Link Publikation -
2025
Titel Enhancing trust in automated 3D point cloud data interpretation through explainable counterfactuals DOI 10.1016/j.inffus.2025.103032 Typ Journal Article Autor Holzinger A Journal Information Fusion Seiten 103032 Link Publikation -
2024
Titel Ethical ChatGPT: Concerns, Challenges, and Commandments DOI 10.3390/electronics13173417 Typ Journal Article Autor Zhou J Journal Electronics Seiten 3417 Link Publikation -
2024
Titel From Industry 5.0 to Forestry 5.0: Bridging the gap with Human-Centered Artificial Intelligence DOI 10.1007/s40725-024-00231-7 Typ Journal Article Autor Holzinger A Journal Current Forestry Reports Seiten 442-455 Link Publikation -
2024
Titel Multi-objective optimization of cable-road layouts in smart forestry DOI 10.1080/14942119.2024.2380229 Typ Journal Article Autor Retzlaff C Journal International Journal of Forest Engineering Seiten 444-455 Link Publikation -
2024
Titel Usability in human-robot collaborative workspaces DOI 10.1007/s10209-024-01163-6 Typ Journal Article Autor Schraick L Journal Universal Access in the Information Society Seiten 1-14 Link Publikation -
2024
Titel Collaborative weighting in federated graph neural networks for disease classification with the human-in-the-loop DOI 10.1038/s41598-024-72748-7 Typ Journal Article Autor Hausleitner C Journal Scientific Reports Seiten 21839 Link Publikation -
2024
Titel From 3D point-cloud data to explainable geometric deep learning: State-of-the-art and future challenges DOI 10.1002/widm.1554 Typ Journal Article Autor Saranti A Journal Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery Link Publikation -
2021
Titel The Next Frontier: AI We Can Really Trust DOI 10.1007/978-3-030-93736-2_33 Typ Book Chapter Autor Holzinger A Verlag Springer Nature Seiten 427-440 -
2023
Titel The underuse of AI in the health sector: Opportunity costs, success stories, risks and recommendations DOI 10.1007/s12553-023-00806-7 Typ Journal Article Autor Pagallo U Journal Health and Technology Seiten 1-14 Link Publikation -
2021
Titel Towards a Taxonomy for Explainable AI in Computational Pathology DOI 10.1007/978-3-030-72188-6_15 Typ Book Chapter Autor Müller H Verlag Springer Nature Seiten 311-330 -
2021
Titel The Ten Commandments of Ethical Medical AI DOI 10.1109/mc.2021.3074263 Typ Journal Article Autor Mller H Journal Computer Seiten 119-123 Link Publikation -
2021
Titel Kandinsky Patterns DOI 10.1016/j.artint.2021.103546 Typ Journal Article Autor Müller H Journal Artificial Intelligence Seiten 103546 Link Publikation -
2021
Titel Digital Transformation for Sustainable Development Goals (SDGs) - A Security, Safety and Privacy Perspective on AI DOI 10.1007/978-3-030-84060-0_1 Typ Book Chapter Autor Holzinger A Verlag Springer Nature Seiten 1-20 -
2021
Titel Legal aspects of data cleansing in medical AI DOI 10.1016/j.clsr.2021.105587 Typ Journal Article Autor Stöger K Journal Computer Law & Security Review Seiten 105587 Link Publikation -
2022
Titel GNN-SubNet: disease subnetwork detection with explainable Graph Neural Networks DOI 10.1101/2022.01.12.475995 Typ Preprint Autor Pfeifer B Seiten 2022.01.12.475995 Link Publikation -
2022
Titel Information fusion as an integrative cross-cutting enabler to achieve robust, explainable, and trustworthy medical artificial intelligence DOI 10.1016/j.inffus.2021.10.007 Typ Journal Article Autor Holzinger A Journal Information Fusion Seiten 263-278 Link Publikation -
2022
Titel The explainability paradox: Challenges for xAI in digital pathology DOI 10.1016/j.future.2022.03.009 Typ Journal Article Autor Evans T Journal Future Generation Computer Systems Seiten 281-296 Link Publikation -
2022
Titel State-of-the-Art Explainability Methods with Focus on Visual Analytics Showcased by Glioma Classification DOI 10.3390/biomedinformatics2010009 Typ Journal Article Autor Gashi M Journal BioMedInformatics Seiten 139-158 Link Publikation -
2022
Titel Deep ROC Analysis and AUC as Balanced Average Accuracy, for Improved Classifier Selection, Audit and Explanation DOI 10.1109/tpami.2022.3145392 Typ Journal Article Autor Carrington A Journal IEEE Transactions on Pattern Analysis and Machine Intelligence Seiten 329-341 Link Publikation -
2022
Titel Personas for Artificial Intelligence (AI) an Open Source Toolbox DOI 10.1109/access.2022.3154776 Typ Journal Article Autor Holzinger A Journal IEEE Access Seiten 23732-23747 Link Publikation -
2021
Titel Evaluating the Quality of Machine Learning Explanations: A Survey on Methods and Metrics DOI 10.3390/electronics10050593 Typ Journal Article Autor Zhou J Journal Electronics Seiten 593 Link Publikation -
2021
Titel Classification by ordinal sums of conjunctive and disjunctive functions for explainable AI and interpretable machine learning solutions DOI 10.1016/j.knosys.2021.106916 Typ Journal Article Autor Hudec M Journal Knowledge-Based Systems Seiten 106916 Link Publikation -
2021
Titel Towards multi-modal causability with Graph Neural Networks enabling information fusion for explainable AI DOI 10.1016/j.inffus.2021.01.008 Typ Journal Article Autor Holzinger A Journal Information Fusion Seiten 28-37 Link Publikation -
2021
Titel AI and Big Data in Healthcare: Towards a More Comprehensive Research Framework for Multimorbidity DOI 10.3390/jcm10040766 Typ Journal Article Autor Majnaric L Journal Journal of Clinical Medicine Seiten 766 Link Publikation -
2021
Titel Towards Visual Concept Learning and Reasoning: On Insights into Representative Approaches DOI 10.1007/978-3-030-67148-8_5 Typ Book Chapter Autor Saranti A Verlag Springer Nature Seiten 59-68 -
2021
Titel Toward HumanAI Interfaces to Support Explainability and Causability in Medical AI DOI 10.1109/mc.2021.3092610 Typ Journal Article Autor Holzinger A Journal Computer Seiten 78-86 Link Publikation -
2021
Titel The augmented radiologist: artificial intelligence in the practice of radiology DOI 10.1007/s00247-021-05177-7 Typ Journal Article Autor Sorantin E Journal Pediatric Radiology Seiten 2074-2086 Link Publikation -
2023
Titel Efficient Approximation of Asymmetric Shapley Values Using Functional Decomposition DOI 10.1007/978-3-031-40837-3_2 Typ Book Chapter Autor Gevaert A Verlag Springer Nature Seiten 13-30 -
2023
Titel Human-in-the-Loop Integration with Domain-Knowledge Graphs for Explainable Federated Deep Learning DOI 10.1007/978-3-031-40837-3_4 Typ Book Chapter Autor Holzinger A Verlag Springer Nature Seiten 45-64 -
2023
Titel Controllable AI - An Alternative to Trustworthiness in Complex AI Systems? DOI 10.1007/978-3-031-40837-3_1 Typ Book Chapter Autor Kieseberg P Verlag Springer Nature Seiten 1-12 -
2023
Titel The Tower of Babel in Explainable Artificial Intelligence (XAI) DOI 10.1007/978-3-031-40837-3_5 Typ Book Chapter Autor Schneeberger D Verlag Springer Nature Seiten 65-81 Link Publikation -
2023
Titel Fair and equitable AI in biomedical research and healthcare: Social science perspectives DOI 10.1016/j.artmed.2023.102658 Typ Journal Article Autor Baumgartner R Journal Artificial Intelligence in Medicine Seiten 102658 Link Publikation -
2023
Titel NarmViz: A novel method for visualization of time series numerical association rules for smart agriculture DOI 10.1111/exsy.13503 Typ Journal Article Autor Fister I Journal Expert Systems -
2023
Titel Ensemble-GNN: federated ensemble learning with graph neural networks for disease module discovery and classification DOI 10.1093/bioinformatics/btad703 Typ Journal Article Autor Pfeifer B Journal Bioinformatics Link Publikation -
2023
Titel Provenance of specimen and data – A prerequisite for AI development in computational pathology DOI 10.1016/j.nbt.2023.09.006 Typ Journal Article Autor Plass M Journal New Biotechnology Seiten 22-28 Link Publikation -
2020
Titel Measuring the Quality of Explanations: The System Causability Scale (SCS) DOI 10.1007/s13218-020-00636-z Typ Journal Article Autor Holzinger A Journal KI - Künstliche Intelligenz Seiten 193-198 Link Publikation -
2020
Titel Expectations of Artificial Intelligence for Pathology DOI 10.1007/978-3-030-50402-1_1 Typ Book Chapter Autor Regitnig P Verlag Springer Nature Seiten 1-15 -
2020
Titel Towards a Better Understanding of the Workflows: Modeling Pathology Processes in View of Future AI Integration DOI 10.1007/978-3-030-50402-1_7 Typ Book Chapter Autor Kargl M Verlag Springer Nature Seiten 102-117 -
2020
Titel The European Legal Framework for Medical AI DOI 10.1007/978-3-030-57321-8_12 Typ Book Chapter Autor Schneeberger D Verlag Springer Nature Seiten 209-226 -
2020
Titel Explainable Artificial Intelligence: Concepts, Applications, Research Challenges and Visions DOI 10.1007/978-3-030-57321-8_1 Typ Book Chapter Autor Longo L Verlag Springer Nature Seiten 1-16 -
2023
Titel Ensemble-GNN: federated ensemble learning with graph neural networks for disease module discovery and classification DOI 10.1101/2023.03.22.533772 Typ Preprint Autor Pfeifer B Seiten 2023.03.22.533772 Link Publikation -
2023
Titel Explainability and causability in digital pathology DOI 10.1002/cjp2.322 Typ Journal Article Autor Plass M Journal The Journal of Pathology: Clinical Research Seiten 251-260 Link Publikation -
2023
Titel AI for life: Trends in artificial intelligence for biotechnology DOI 10.1016/j.nbt.2023.02.001 Typ Journal Article Autor Holzinger A Journal New Biotechnology Seiten 16-24 Link Publikation -
2023
Titel BIBBOX, a FAIR toolbox and App Store for life science research DOI 10.1016/j.nbt.2023.06.001 Typ Journal Article Autor Müller H Journal New Biotechnology Seiten 12-19 Link Publikation -
2023
Titel Digital Transformation Needs Trustworthy Artificial Intelligence DOI 10.1016/j.mcpdig.2023.05.007 Typ Journal Article Autor Holzinger A Journal Mayo Clinic Proceedings: Digital Health Seiten 296-298 Link Publikation -
2023
Titel Toward human-level concept learning: Pattern benchmarking for AI algorithms DOI 10.1016/j.patter.2023.100788 Typ Journal Article Autor Holzinger A Journal Patterns Seiten 100788 Link Publikation -
2023
Titel The Cost of Understanding—XAI Algorithms towards Sustainable ML in the View of Computational Cost DOI 10.3390/computation11050092 Typ Journal Article Autor Jean-Quartier C Journal Computation Seiten 92 Link Publikation -
2023
Titel Quod erat demonstrandum? - Towards a typology of the concept of explanation for the design of explainable AI DOI 10.1016/j.eswa.2022.118888 Typ Journal Article Autor Cabitza F Journal Expert Systems with Applications Seiten 118888 Link Publikation