BMBF-Project TraMeExCo

Transparent Medical Expert Companion

Ziel dieses Projekts ist die Erforschung und Entwicklung geeigneter Methoden zum robusten und erklärbaren Maschinellen Lernen auf zwei komplementären Anwendungen aus dem Gesundheitsbereich. Dazu soll der Nachweis der Möglichkeit einer (diagnostischen) Vorhersage auf komplexen Daten und der damit verbundenen Transparenz und Erklärung dieser Entscheidung gegenüber dem klinischen Fachpersonal mittels geeigneten Verfahren erbracht werden. Ein weiteres Ziel ist es, durch die Modellierung von Unsicherheiten in den Eingangsdaten eine Fehlerabschätzung der Vorhersagen zu ermitteln. Als Fallbeispiele werden dabei zwei Szenarien der klinischen Routineversorgung adressiert (Pathologie, Schmerzanalyse). Als Ergebnis entstehen zwei prototypische „Transparente Begleiter für Medizinische Anwendungen“ für diese beiden klinischen Fragestellungen. 

An der Universität Bamberg steht die Konzeption, Umsetzung und Erprobung von Verfahren zur Erklärbarkeit von diagnostischen Systementscheidungen im Fokus. Dabei werden, in Kooperation mit Fraunhofer HHI, insbesondere im Kontext von Deep Learning entwickelte Erklärungsansätze wie LRP und LIME mit Verfahren der Induktiven Logischen Programmierung kombiniert, um domänenrelevante temporale und räumliche Aspekte abzubilden. In Kooperation mit Fraunhofer IIS werden entsprechende Erklärungsansätze für DNN Klassifikatoren aus den Bereichen Pathologie und Schmerzanalyse untersucht, wobei insbesondere auch die Berücksichtigung von Expertenwissen sowie der Umgang mit visuellen (nicht benannten) Merkmalen betrachtet wird. Schließlich werden verschiedene Typen von Erklärungen, insbesondere visuelle und sprachliche, hinsichtlich ihres Einflusses auf Vertrauen in Systementscheidungen evaluiert und erste Schritte hin zu einem interaktiven Lernansatz prototypisch umgesetzt.

*Das im Prototypen gezeigte Bildmaterial stammt von der virtuellen Mikroskopie der Universität des Saarlandes. Es dient nur der Veranschaulichung und wird nicht im Rahmen des Projekts verarbeitet. Die verwendeten Bilder zeigen ausschließlich gesundes Gewebe.


Presseartikel und Videobeiträge:

 

  • TVO, Nachgefragt 2020. 13 neue Professuren für Künstliche Intelligenz in Oberfranken (am 12.06.2020) -- [Link]
  • MedtechLIVE, NürnbergMesse 2020. Künstliche Intelligenz: Die rechte Hand der Medizin von Morgen (am 03.02.2020) -- [Link]
  • ARD-alpha 2019. Lauterbach - Der Zukunft auf der Spur: Von der Emotionserkennung zur Schmerzdiagnose (am 17.06.2019) -- [Link]
  • Wissenschaftsjahr 2019. Künstliche Intelligenz soll transparenter werden (am 26.03.2019) -- [Link]
  • Universität Bamberg 2019. Wenn Mensch und Künstliche Intelligenz gemeinsam Diagnosen stellen (am 21.03.2019) -- [Link]
    • erschienen außerdem in: Journal Onkologie (journalonko.de), am 21. März, mangement-krankenhaus.de, am 22. März, medizin-und-elektronik.de, am 28. März, Das Krankenhaus, im April, abitur-und-studium.de, am 21. März, management-krankenhaus.de, am 15. Mai, elektronikpraxis.de, am 15. April

Publikationen und Vorträge:

 

Bruckert S., Finzel B., Schmid U. (2020).The next generation of medical decision support: a roadmap towards transparent expert companions. Frontiers in Artificial Intelligence, section Medicine and Public Health (zur Veröffentlichung angenommen).

Deuschel J., Finzel B., Rieger I. (2020), Uncovering the Bias in Facial Expressions. FORSCHEnde FRAUEN Kolloquium, Bamberg University Press (zur Veröffentlichung angenommen).

Finzel B. (2020), Korrigierbares maschinelles Lernen mithilfe wechselseitiger Erklärungen am Beispiel der Medizin. Frauen machen Informatik - Magazin der Fachgruppe Frauen und Informatik der GI (zur Veröffentlichung angenommen).

Finzel B. (2020), Constraints as Verbal Corrective Feedback -- An Inductive Logic Programming Approach to Generate and Adapt Explanations in Image Classification, Virtuelle Konferenz der GI Fachgruppe Frauen und Informatik, 25.04.2020 -- [Program]

Rieger I., Kollmann R., Finzel B., Seuss D., Schmid U. (2020), Verifying Deep Learning-based Decisions for Facial Expression Recognition. 28th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN, 22-24.4.2020, Bruges, Belgium) (zur Veröffentlichung angenommen).

Schmid U., Finzel B. (2020), Mutual Explanations for Cooperative Decision Making in Medicine. Künstliche Intelligenz, 34, 227–233.

Schmid U., Wittenberg T. (2019), TraMeExCo - Medical Expert Companion (Vortrag). All-Hands-Meeting (5. Juni 2019, Dortmund), Förderschwerpunkt Maschinelles Lernen des BMBF. -- [Slides](2.3 MB), [Poster](1.2 MB)

Rieger I., Finzel B., Seuß D., Wittenberg T., Schmid U. (2019), Make Pain Estimation Transparent: A Roadmap to Fuse Bayesian Deep Learning and Inductive Logic Programming (Poster). 41st Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC, 23.-27. Juli 2019, Berlin). --  [Abstract](344.0 KB), [Poster](4.9 MB)

Finzel B., Schmid U. (2019), Erklärbare KI für medizinische Anwendungen (Vortrag). 49. Kongress der Deutschen Gesellschaft für Endoskopie und Bildgebende Verfahren e.V. (28.-30. März 2019, Stuttgart), Track der Deutschen Gesellschaft für Biomedizinische Technik "Krankenhaus der Zukunft". -- [Slides](601.5 KB), [Programm]

Finzel B., Rabold J., Schmid U. (2019), Explaining Relational Concepts: When Visualisation and Visual Interpretation of a Deep Neural Network's Decision are not enough (Abstract). Europäische Konferenz zur Datenanalyse (ECDA, 18.-20. März 2019, Bayreuth), Special Session on Interpretable Machine Learning, Book of Abstracts, p. 60 -- [Abstract]


Abschlussarbeiten:

 

Michael Fuchs:Towards Fast Interactive Machine Learning with Aleph (Arbeitstitel, Bachelor Angewandte Informatik)

Isabel Saffer: Generierung und Evaluation von kontrastiven Erklärungen für die Paarweise Klassifikation von Partiell Geordneten Tumorklassen in der Histopathologie (Arbeitstitel, Bachelor Angewandte Informatik, Generating and Evaluating Contrastive Explanations for Pairwise Classification of Partially Ordered Tumorclasses in Histopathology)

Nina Krob: Ausdrucksstärke und Effizienz in der Generierung von Erklärungen: Vergleich von Association Rule Mining und Induktiver Logischer Programmierung für Interpretierbare Klassifikation von Schmerz (Arbeitstitel, Bachelor Angewandte Informatik, Expressiveness and Efficiency in Explanation Generation: Comparing Association Rule Mining and Inductive Logic Programming for Interpretable Pain Classification)

Rene Kollmann: Explaining Facial Expressions with Temporal Prototypes (Master Angewandte Informatik)

Bettina Finzel: Explanation-guided Constraint Generation for an Inverse Entailment Algorithm (Master Angewandte Informatik, abgeschlossen Sept. 2019)

Simon Kuhn: Identifying Near Misses for Relational Concepts with Graph Matching – Explaining Classifier Decisions of Facial Expressions (Bachelor Angewandte Informatik, abgeschlossen Juni 2019)


Vorarbeiten:


Weitz, Hassan, Schmid, Garbas (2018), Towards Explaining Deep Learning Networks to Distinguish Facial Expressions of Pain and Emotions. Forum Bildverarbeitung 2018 (Fraunhofer IOSB) - ausgezeichnet mit dem Best Paper Award. -- [Paper](1.8 MB), [Slides](1.6 MB), [Pressebericht]

Siebers, Schmid, Seuß, Garbas, Hassan, Kunz, Lautenbacher (2018), Interpretable Classification of Facial Expressions of Pain (Abstract). Europäische Konferenz zur Datenanalyse (ECDA, 4.-6. July 2018, Paderborn), Special Session on Interpretable Machine Learning -- [Abstract]

Schmid (2018), Inductive Programming as Approach to Comprehensible Machine Learning. Invited Talk at the KI 2018 Workshop on Formal and Cognitive Reasoning, CEUR Workshop Proceedings, Vol. 2194. -- [Paper]

Rabold, Siebers, Schmid (2018), Explaining Black-Box Classi ers with ILP - Empowering LIME with Aleph to Approximate Non-linear Decisions with Relational Rules. ILP 2018: 105-117 -- [Paper]

Siebers, Schmid, Seuß, Kunz, Lautenbacher (2016),
Characterizing Facial Expressions by Grammars of Action Unit Sequences - A First Investigation Using ABL. Information Sciences. Vol 329, 866-875 -- [Paper]