Masterseminar Kognitive Systeme/Cognitive Systems (SS 2023)

General Information

  • This seminar is open only for students of the bachelor programs AI and SoSySc and master programs CitH and AI.
  • As a bachelor student you have to pass our course AI-KI-B, as a master student you have to pass either AI-KI-B or KogSys-ML-B/M succesfully to be able to participate in the seminar.
  • There will be a limit of 25 students that are able to participate in the seminar.
  • You have to apply for this seminar in a central application procedure. More info in the respective VC course.
  • You find administrative information at UnivIS.
  • Participants should sign up for the course in the virtual campus.
  • The course is usually offered in the summer term.

Topic: Neuro-Symbolic AI

English description (shortened) below.

In der Künstlichen Intelligenz existieren zwei große Familien von Ansätzen - wissensbasierte und datengetriebene Ansätze. Der zweite Bereich, maschinelles Lernen, ist aktuell vor allem durch Deep Learning im Zentrum der Aufmerksamkeit. Tiefe neuronale Netze benötigen sehr viele Daten und erzeugen kaum nachvollziehbare (implizite/blackbox) Modelle. Alternativ existieren interpretierbare (explizite/whitebox) Ansätze des maschinellen Lernens, beispielsweise Entscheidungsbäume und Induktive Logische Programmierung. Diese profitieren von wissensbasierten, expliziten, symbolischen Repräsentationen und Kalkülen zum Schlussfolgern mittels Logik und Wahrscheinlichkeitsberechnungen

Die Notwendigkeit der expliziten Beschreibung von Merkmalen, Wissen und Regeln kann jedoch auch als Nachteil im Vergleich zum Ende-zu-Ende-Lernen neuronaler Netze aus Rohdaten gesehen werden. Aber auch maschinell gelernte neuronale Modelle bringen einige Einschränkungen mit sich, insbesondere hohe Anforderungen an die Menge und Qualität von Daten, hohen Annotationsaufwand, unerwünschte Biases, Anfälligkeit gegenüber Anomalien und fehlende Nachvollziehbarkeit. Symbolische Ansätze können dabei helfen, mit diesen Limitationen umzugehen und bringen Eigenschaften mit wie Erklärbarkeit, Robustheit, Anpassungsfähigkeit, Verallgemeinerbarkeit, Abstraktion, Modellierung von Alltagswissen (Common Sense) und Kausalität. Aktuelle Forschungsarbeiten im Bereich der neuro-symbolischen Künstlichen Intelligenz (neuro-symbolic AI) gewinnen daher an Wichtigkeit. Es werden insbesondere verschiedene Möglichkeiten erforscht, wie beide Bereiche kombiniert werden können. Zusätzlich werden kognitionswissenschaftliche Erkenntnisse genutzt, um die Plausibilität und Nützlichkeit solcher hybrider Ansätze zu stützen. Neuro-symbolische Künstliche Intelligenz ist somit eine der zentralen Forschungsthemen, um menschzentrierte und sichere intelligente Systeme zu bauen (z.B. in der Medizin, im Umweltschutz, für die Mobilität oder in der industriellen Produktion).

Das Seminar setzt sich mit Theorien und Methoden auseinander, die die neuronalen und symbolischen Welten kombinieren. Spezielle Themen umfassen: hybride Architekturen und neuro-symbolische Integration, symbolische Repräsentation (Logik, Ontologien und Wissensgraphen), logisches Schließen (Inferenz, Theorembeweise und Planung auf symbolischen Repräsentationen), Informationsinterpretation, Konzepte und mentale Modelle sowie Erklärbarkeit. Das Seminar behandelt darüber hinaus kognitive Theorien und Experimente, die neuro-symbolische Ansätze stützen oder evaluieren.

English:

The seminar deals with theories and methods that combine data-driven, neural approaches to machine learning and knowledge-based, symbolic approaches.Specific topics include: hybrid architectures and neuro-symbolic integration, symbolic representation (logic, ontologies, and knowledge graphs), logical reasoning (inference, theorem proofs, and planning on symbolic representations), information interpretation, concepts and mental models, and explainability.The seminar also covers cognitive theories and experiments that support or evaluate neuro-symbolic approaches.

 

Recommended Reading / Links / Topics

  • Hitzler, P., & Sarker, M. (2022). Neuro-Symbolic AI= Neural+ Logical+ Probabilistic AI. Neuro-Symbolic Artificial Intelligence: The State of the Art, 342, 173.
  • De Raedt, L., Dumančić, S., Manhaeve, R., & Marra, G. (2021). Fromstatistical relational to neural-symbolicartificialintelligence. In Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on ArtificialIntelligence (pp. 4943-4950).
  • Wagner, B., & d'AvilaGarcez, A. S. (2021). Neural-symbolicintegrationforfairness in AI. In CEUR Workshop Proceedings (Vol. 2846).
  • Evans, R., Hernández-Orallo, J., Welbl, J., Kohli, P., & Sergot, M. (2021). Making sense of sensory input. Artificial Intelligence, 293, 103438.
  • Besold, T. R., d’AvilaGarcez, A., Bader, S., Bowman, H., Domingos, P., Hitzler, P., ... & Zaverucha, G. (2021). Neural-Symbolic Learning and Reasoning: A Survey and Interpretation. In Neuro-SymbolicArtificialIntelligence: The State of the Art (pp. 1-51). IOS Press.
  • Skryagin, A., Stelzner, K., Molina, A., Ventola, F., Yu, Z., & Kersting, K. (2020). Sum-productlogic: integratingprobabilisticcircuitsintodeepproblog. In Working Notes of the ICML 2020 Workshop on Bridge BetweenPerception and Reasoning: Graph Neural Networks and Beyond.
  • Mao, J., Gan, C., Kohli, P., Tenenbaum, J. B., & Wu, J. (2019). The neuro-symbolicconceptlearner: Interpretingscenes, words, and sentencesfromnaturalsupervision. In International Conference on Learning Representations.
  • Evans, R., &Grefenstette, E. (2018). Learning explanatory rules from noisy data. Journal of Artificial Intelligence Research, 61, 1-64.

Previous Seminars

Bachelor/Master-Seminar: Explainable Artificial Intelligence:  [WS 19/20] [WS 20/21] [WS22/23]

KI-Seminare (KI gestern, heute, morgen): [WS 15/16] [WS 16/17] [WS 17/18] [WS 18/19]

Bachelor Seminare: [WS 04/05] [WS 05/06] [WS 06/07] [WS 07/08] [WS 08/09] [WS 09/10]  [WS 10/11]    [SS 11] [WS 11/12] [WS 12/13] [WS13/14]

Master Seminare: [SS 05] [SS 06] [SS 08] [SS 09] [WS 09/10] [SS 10]  [WS 11/12] [WS 12/13] [WS 13/14] [SS 20] [SS 21][SS22]

Reading Clubs:

  • WS 14/15: Cognitive Models for Number Series Induction Problems  [Archiv Page]
  • SS 2014: Experimenting with a Humanoid Robot - Programming NAO to (Inter-)Act  [Archiv Page
  • SS 2013: An introduction into statistic data analysis with R  [Archiv Page
  • SS 2012: Transfer Learning  [Archiv Page] 
  • SS 2011: Emotion Mining in Images and Text  [Archiv Page
  • SS 2010: Aspects of Cognitive Robotics [Archiv Page
  • SS 2009: Reading Club Decision Support Systems [Archiv Page
  • WS 08/09: Algebraic Foundations of Functional Programming (together with Theoretical Computer Science) [Archiv Page]  
  • SS 2008: Similarity (together with Statistics) [Archiv Page]
  • SS 2007: Automated Theorem Proving with Isabelle (together with Theoretical Computer Science) [Archiv Page]
  • SS 2006: Support Vector Machines [Archiv Page]