Kann ChatGPT einen psychometrisch fundierten Situational Judgement Test entwickeln?

Was ist überhaupt ein Situational Judgement Test?

Situational Judgment Tests, im Deutschen auch als Test zum situativen Urteilsvermögen bekannt, sind psychologische Verfahren, bei denen Testteilnehmer*innen mit hypothetischen Situationen konfrontiert werden und dann aus mehreren Antwortmöglichkeiten wählen können, wie sie reagieren würden. Dadurch lassen sich Rückschlüsse auf Persönlichkeitsmerkmale und Verhaltensweisen ziehen.

Das Problem: ressourcenintensiv & zeitaufwendig

Die Erstellung solcher Tests ist aufwendig und erfordert viel Fachwissen. Das macht sie teuer und langsam in der Entwicklung. Gleichzeitig wächst das Interesse daran, künstliche Intelligenz (KI) einzusetzen, um Persönlichkeitsmerkmale effizienter zu bewerten.

Es stellt sich die Frage, ob KI helfen kann, diesen Prozess zu optimieren, ohne die Qualität der Bewertungen zu beeinträchtigen.

Kann KI diese Aufgabe übernehmen?

Die Studie von Krumm et al. (2024) untersuchte, ob die von KI (speziell ChatGPT) generierten Situational Judgement Tests eine zuverlässige Alternative zu Tests darstellen, die von menschlichen Expert*innen entwickelt wurden.

Die Teilnehmer*innen bearbeiteten beide Testversionen. Die Situational Judgment Tests bewerteten dabei verschiedene Facetten der Persönlichkeit. Im Fokus stand das Persönlichkeitsmerkmal Geselligkeit aus dem Bereich der Extraversion, also wie aufgeschlossen und kontaktfreudig eine Person ist. 

Untersucht werden sollte, wie zuverlässig der eingesetzte Test ist und wie stark die Ergebnisse mit den selbst eingeschätzten Persönlichkeitsmerkmalen übereinstimmen. 

Die Ergebnisse

Der von ChatGPT erstellte Situational Judgment Test zeigte eine höhere Zuverlässigkeit im Vergleich zur von Menschen erstellten Version und hat somit den zu messenden Gegenstand besser dargestellt. Beide Varianten wiesen jedoch einen positiven Zusammenhang mit der selbst berichteten Geselligkeit der Teilnehmer*innen auf. Das bedeutet, dass die im Test gemessenen Verhaltenstendenzen das Persönlichkeitsmerkmal Geselligkeit gut widerspiegeln konnten.

• Herausforderung: Die erste ChatGPT-Version des Tests war nicht fehlerfrei und enthielt inhaltlich unpassende Items. Teils ungesellige Verhaltensweisen wurden hier als gesellig eingestuft.
  
• Nach Überarbeitung: Durch das Entfernen unpassender und auch schwächerer Items zeigte der KI-Test eine ähnliche Zuverlässigkeit und Gültigkeit wie der von Menschen entwickelte Test.

Bedeutung für die Praxis 

Die Ergebnisse zeigen, dass von ChatGPT generierte Situational Judgment Tests eine vielversprechende Alternative zu von Menschen erstellten Tests darstellen. Sie ermöglichen eine effiziente und zuverlässige Erfassung von Persönlichkeitsmerkmalen.

Handlungsempfehlungen

1. Zeitersparnis nutzen
   KI-gestützte Tests können den Entwicklungsprozess erheblich beschleunigen.
2. Qualität durch Kontrolle sichern
   Ergebnisse von KI-generierten Tests müssen stets einer Qualitätskontrolle unterzogen werden, um Fehlinterpretationen zu vermeiden.
3. Expert*innen einbeziehen
   Fachliche Expertise ist entscheidend, um Verzerrungen zu erkennen und die Aussagekraft der Tests zu gewährleisten.

Mensch & KI kombinieren

KI kann genutzt werden, um die kreative Arbeit zu beschleunigen. Menschliche Expert*innen sollten jedoch weiterhin zur Qualitätssicherung eingesetzt werden. Nur so werden Tests gleichzeitig effizient und psychologisch fundiert und die KI wird zu einem leistungsstarken Assistenten.

Quelle: Krumm, S., Thiel, A. M., Reznik, N., Freudenstein, J.-P., Schäpers, P. & Mussel, P. (2024). Creating a psychological test in a few seconds. European Journal of Psychological Assessment. https://doi.org/10.1027/1015-5759/a000878