Kann Künstliche Intelligenz verfälschte Daten in diagnostischen Verfahren erkennen?
Seit mehr als 100 Jahren suchen Wissenschaftler*innen Wege um Verfälschungsverhalten in diagnostischen Verfahren zu entdecken. Studien verweisen darauf, dass selbst Expert*innen Verfälschungsverhalten nicht zuverlässig erkennen können. Neuere Forschung lässt nun vermuten, dass Künstliche Intelligenz, in Form von Maschinellem Lernen, hierbei sinnvoll unterstützen kann. Dieser Versuch wurde in der Publikation unternommen.
Wir re-analysierten sieben Datensets (N = 1,039) mit verschiedenen Bedingungen des Verfälschungsverhaltens (Verfälschung hoher Werte und Verfälschung niedriger Werte, Verfälschung verschiedener Konstrukte, naives und informiertes Verfälschen, Verfälschen mit und ohne Übung, Verfälschen verschiedener Messinstrumente [Fragebogen vs. Impliziter Assoziationstest; IAT]) und untersuchten wie gut Verfälschungsverhalten mit Hilfe Maschinellen Lernens erkannt werden kann. Dabei berücksichtigten und verglichen wir unterschiedliche Datengrundlagen (Antwortmuster, Scores der Verfahren, Verfälschungs-Indizes) und verschiedene Klassifizierer (Logistische Regression, Random Forest, XGBoost), die zur Detektion genutzt werden können.
Unsere Ergebnisse zeigen, dass Maschinelles Lernen das Potenzial hat Verfälschungsverhalten zu detektieren, aber dass die Qualität je nach Bedingung zwischen Zufallsniveau und 100 % korrekte Zuordnung variiert. Schlechter als das Erkennen niedriger gefälschter Werte gelang etwa das Erkennen hoher gefälschter Werte. Unsere Forschung unterstreicht die Annahme verschiedener Prozesse des Verfälschungsverhaltens und illustriert warum die Entdeckung von Verfälschung sehr komplex ist.
Link zum Preprint:
Referenz:
Röhner, J., Thoss, P., & Schütz, A. (2021, December 13). Lying on the dissection table: Anatomizing faked responses. Manuscript accepted for publication. Behavior Research Methods. https://doi.org/10.31234/osf.io/2m5xw