Universität Bamberg
Suche öffnen
Sie befinden sich hier:

Wirtschaftsinformatik und Angewandte Informatik

Lehrstuhl für Grundlagen der Sprachverarbeitung

  1.  Otto-Friedrich-Universität Bamberg
  2. Fakultäten
  3. Wirtschaftsinformatik und Angewandte Informatik
  4. Professuren und Lehrstühle
  5. Angewandte Informatik
  6. Lehrstuhl für Grundlagen der Sprachverarbeitung
  7. Projekte
  8. Der Ausdruck von Emotionen mit Hilfe von Bildern und Texten in Twitter und Reddit

Der Ausdruck von Emotionen mit Hilfe von Bildern und Texten in Twitter und Reddit (ITEM)

Emotionen sind neben der propositionalen Information ein Hauptbestandteil der menschlichen Interaktion. Im Gegensatz zu Methoden der Informationsextraktion, die sich auf Fakten und Beziehungen konzentrieren, wurde der Emotionsanalyse vergleichsweise wenig Aufmerksamkeit geschenkt und sie ist komputationell noch nicht gut verstanden. Zwei populäre Teilaufgaben der Emotionsanalyse bei der Verarbeitung natürlicher Sprache sind die Emotionskategorisierung und die Erkennung von Emotionsstimuli. Bei der Emotionskategorisierung wird der Text in vordefinierte Kategorien eingeteilt, z.B. Freude, Traurigkeit, Angst, Wut, Ekel und Überraschung. Bei der Stimuluserkennung müssen Textsegmente identifiziert werden, die beschreiben, was passiert ist, dass eine assoziierte Emotion verursacht hat. Zum Beispiel wird der Text "Ich bin so glücklich, dass meine Mutter mich besuchen wird" mit Freude assoziiert und der Teil "meine Mutter mich besuchen wird" beschreibt den Stimulus. Neben der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) wurde das Visual Computing auch zur Kategorisierung von Emotionen eingesetzt, z.B. zur Interpretation von Gesichtsausdrücken von Emotionen, zur Abschätzung der Wirkung künstlerischer Werke auf eine Person oder zur Bewertung dargestellter Ereignisse oder Gegenstände. Für die Stimuluserkennung wurde ein ähnliches Gegenstück zum NLP gefunden, bei dem relevante Regionen in Bildern erkannt wurden. Es gibt jedoch keine Arbeiten auf dem Gebiet der visuellen Datenverarbeitung, die ganze Szenen (mit Beziehungen zwischen dargestellten Objekten und Orten) für die Erkennung von Emotionsreizen zusammensetzen; insbesondere sind sie nicht durch Emotionstheorien (wie es für NLP getan wurde) informiert. In dem Projekt wird der Stand der Forschung in mehreren Richtungen vorangetrieben: (1) Wir werden Appraisaltheoriebasierte Interpretationen von Bildern aus sozialen Medien hinsichtlich ihrer emotionalen Konnotation und ihres Reizes entwickeln. (2) werden wir diese Forschung mit unseren früheren Arbeiten zur Emotionskategorisierung und Stimuluserkennung im Text kombinieren, um multimodale Ansätze zu entwickeln. (3) werden wir dies sowohl aus der Perspektive der Autorin eines Social-Media-Beitrags (welche Emotion drückt sie aus?) als auch aus der Perspektive der beabsichtigten oder wahrscheinlichen Emotion eines Lesers (welche Emotion möchte eine Autorin hervorrufen, welche Emotion könnte ein Leser empfinden?) tun. Wir werden daher einen Beitrag zur Entwicklung von Verfahren zur multimodalen Emotionsanalyse leisten, welche die Sicherheit verbessern werden, dass relevante Emotions-bezogen Informationen von komputationellen Verfahren nicht übersehen wird. Weiterhin werden wir Forschungsfragen darüber beantworten, wie Nutzer von Social Media ihre Emotionen kommunizieren, was ihre Wahl der Modalitäten beeinflusst und wie die Beziehung zwischen den Modalitäten ist.

Das Projekt startet im Mai 2024 und wird von der Deutschen Forschungsgemeinschaft (DFG) finanziert. Carina Silberer von der Universität Stuttgart ist eine Mitverantwortliche Person.

Project Data

Mult2EMo Dataset (2026)

This corpus is composed of multimodal (text + image) social media posts donated and annotated by crowdworkers. A subset of the dataset is further annotated by additioanl annoatators to provide the readers' perspective in addition to the authors'. 

Authors: Christopher Bagdon, Carina Silberer, and Roman Klinger

  • Corpus Name: Mult2EMo
  • Data source: Crowdsourced post donation and annotation (Author and readers)
  • Annotation procedure: Crowdsourcing
  • Access to the dataset will be made available upon publication in October 2026.

Donate or Create Dataset (2025)

We created a corpus of multimodal social media posts, both genuine and study-generated: Genuine posts were donated by study participants, and study-generated were created by participants during the study. 

Authors: Christopher Bagdon, Aidan Combs, Carina Silberer, and Roman Klinger

  • Corpus Name: Donate or Create Corpus
  • Data source: Donation and roleplaying experiments
  • Annotation procedure: Crowdsourcing
  • Paper
  • Request Access to Dataset

Publikationen

(2026): The Proceedings for the 15th Workshop on Computational Approaches to Subjectivity, Sentiment Social Media Analysis (WASSA 2026). Association for Computational Linguistics.

Bagdon, Christopher Doyle et al. (2025): Donate or Create?: Comparing Data Collection Strategies for Emotion-labeled Multimodal Social Media Posts. In: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics. S. 17307–17330.

Combs, Aidan et al. (2025): Affective connotations according to LLMs: implications for meaning measurement and cultural bias. In: Cognition and Emotion 0, S. 1–17.

Schäfer, Johannes et al. (2025): Which Demographics do LLMs Default to During Annotation?. In: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics. S. 17331–17348.

Bagdon, Christopher Doyle et al. (2024): “You are an expert annotator”: Automatic Best–Worst-Scaling Annotations for Emotion Intensity Modeling. In: Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Mexico City, Mexico: Association for Computational Linguistics. S. 7917–7929.

Khlyzova, Anna/Silberer, Carina/Klinger, Roman (2022): On the Complementarity of Images and Text for the Expression of Emotions in Social Media. In: Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment & Social Media Analysis. Association for Computational Linguistics. S. 1–15.

Cevher, Deniz/Zepf, Sebastian/Klinger, Roman (2019): Towards Multimodal Emotion Recognition in German Speech Events in Cars using Transfer Learning. In: Proceedings of the 15th Conference on Natural Language Processing (KONVENS 2019). German Society for Computational Linguistics & Language Technology. S. 79–90.

Klinger, Roman (2017): Does Optical Character Recognition and Caption Generation Improve Emotion Detection in Microblog Posts?. In: Natural Language Processing and Information Systems: 22nd International Conference on Applications of Natural Language to Information Systems, NLDB 2017, Liège, Belgium, June 21-23, 2017, Proceedings. Cham: Springer International Publishing. S. 313–319.