Sind Postkorbübungen effektive Auswahlinstrumente?

Die Postkorbübung wird häufig zur Vorhersage der Arbeitsleistung als Übung im Assessment Center verwendet. Sie sollen stellenübergreifend Verwaltungs- und Managementfähigkeiten, sowie berufsbezogenes handlungsbasiertes, als auch Sachwissen vorhersagen, die nicht durch andere Auswahlverfahren erfasst werden können.

Was ist eine Postkorbübung?

Postkorbübungen sind meistens Teil eines Assessment Centers. Sie finden in Einzelübungen ohne Interaktion mit anderen statt und bestehen meist aus Sortier-, Priorisier- und Delegierprozessen, bei denen Fehler und Ungereimtheiten gefunden werden müssen. Die Aufgabenbearbeitung findet häufig unter Zeitdruck und hoher Arbeitsbelastung statt und zielen darauf ab, das Zeitmanagement und die Priorisierungsfähigkeiten von Kandidat*innen zu bewerten. Eine einheitliche Beschreibung der gemessenen Fähigkeiten gibt es jedoch nicht.

Die Übung selbst ist dabei nicht ortsgebunden und kann auch online durchgeführt werden. Die Bewertung der Kandidat*innen kann sehr einfach computerbasiert oder durch Beobachter*innen durchgeführt werden.

Fun-Fact:

Der Begriff “Postkorbübung” stammt aus dem Büroalltag und wurde vermutlich bereits in den 1950ern Jahren entwickelt. Er geht darauf zurück, dass früher tatsächliche Papierdokumente in Körben oder Behältern gesammelt und später bearbeitet worden sind. Heute finden sie zunehmend digital statt, aber der Begriff hat sich trotzdem gehalten.

Was unterscheidet Postkorbübungen von anderen Simulationsverfahren?

Die Postkorbübung kann einen Teilaspekt von Arbeitsproben enthalten, unterscheidet sich jedoch darin, keine physischen Fähigkeiten abzufragen. Soziale Skills, Verhandlungsgeschick, kommunikative und präsentative Fertigkeiten, wie im Rollenspiel oder Diskussionsrunden werden ebenfalls nicht erfasst. Eine erfasste Domaine kann hingegen die kognitive Leistungsfähigkeit, wie z.B. Wahrnehmung und Aufmerksamkeit sein. Daher sagt die Kriteriumsvalidität von anderen Simulationen wenig über die von Postkorbübungen aus.

Exkurs: Kriteriumsvalidität  Die Kriteriumsvalidität gibt an, inwieweit ein Test oder eine Messung mit einem externen Kriterium korreliert oder übereinstimmt. Ein externes Kriterium ist eine Messung oder ein Indikator, der unabhängig von dem zu messenden Merkmal ist. Zum Beispiel könnte ein Test zur Messung der mathematischen Fähigkeiten eines*r Kandidat*in mit den Schulnoten in Mathematik korreliert werden. Wenn ein Test eine hohe Kriteriumsvalidität aufweist, kann davon ausgegangen werden, dass er das die mathematischen Fähigkeiten, genau und zuverlässig erfasst.

Postkorbübungen untersucht: Wie wurde vorgegangen

Um die Kriteriumsvalidität der Postkorbübung einzuschätzen, haben die Forscher*innen Whetzel, Rotenberry und McDaniel (2014) eine Metaanalyse durchgeführt. Die Kriteriumsvalidität von Postkorb-Übungen wurde mit der Arbeitsleistung bestimmt und mit der von anderen Übungen verglichen. Als Vergleich wurden Assessment Center und Arbeitsproben herangezogen, deren Kriteriumsvalidität gut belegt ist. Weiter wurden Postkorbübungen auch mit der generellen kognitiven Leistungsfähigkeit verglichen. In früheren Studien zeigte sich ein Zusammenhang zwischen der Intelligenz und der Arbeitsleistung, sowie anderen Übungen im Personalauswahlverfahren. In der Metaanalyse wurden 31 Studien mit insgesamt fast 4000 Teilnehmer*innen ausgewertet.

Besonderes Augenmerk wurde auf bestimmte Variablen gelegt, die einen Einfluss auf die Validität haben könnten. Dazu stellten die Autoren sechs Hypothesen auf, die es zu überprüfen galt. In allen Vergleichen wurden die Wahrscheinlichkeiten von Publikationsfehlern mit betrachtet. 

Exkurs: Publikationsfehler: Ein Publikationsfehler ist eine Tendenz, dass wissenschaftliche Studien mit positiven oder signifikanten Ergebnissen eher zur Veröffentlichung angenommen werden als mit negativen oder nicht signifikanten Ergebnissen. Das führt zu einer Verzerrung, da eine einseitige Darstellung der Forschungslage repräsentiert wird, die nicht vollkommen der Realität entspricht. Zudem werden die veröffentlichten Studien überbewertet, während andere unterschätzt oder ignoriert werden.

Hypothesen:

1. Postkorbübungen haben eine vergleichbare Kriteriumsvalidität wie andere Simulationen.
2. Job-spezifischer Inhalt von Postkorbübungen führt zu einer höheren Kriteriumsvalidität als generischer Inhalt.
3. Objektiv beurteilte Postkorbübungen haben eine höhere Kriteriumsvalidität als subjektiv beurteilte.
4. Die Kriteriumsvalidität von Postkorbübungen wird höher eingeschätzt, wenn sie in veröffentlichten Studien berichtet wird, als in Unveröffentlichten.
5. Wird die Arbeitsleistung zeitgleich mit der Postkorb-Übung bewertet, fällt die Valdität höher aus, im Vergleich zu einer späteren Beurteilung der Arbeitsleistung (z.B. mehrere Monate später).
6. Gute Leistungen in Postkorbübungen hängen mit guter kognitiver Leistungsfähigkeit zusammen.

Was zeigen die Ergebnisse?

• Hypothese 1: Über die Studien hinweg zeigte sich eine geschätzte Kriteriumsvalidität von .42, welche wie erwartet vergleichbar mit der anderen Kriterien ist. Auch zeigte sich, dass die Bewertung der Postkorb-Übung ausreichend zuverlässig ist (Reliabilität: .76). Die Ergebnisse bestätigen, dass die Kriteriumsvalidität von Postkorb-Übungen ausreichend hoch ist, um den Ressourceneinsatz für eine Postkorb-Übung zu rechtfertigen.

• Hypothese 2: Es zeigte sich jedoch kein signifikanter Unterschied in der Validität bezüglich des Inhalts der Postkorb-Übung. Demnach haben positionsspezifische und generische Postkorb-Übungen eine ähnlich hohe Validität.

• Hypothese 3: Ebenfalls machte es nur marginale Unterschiede (evtl. auch auf dem Publikationsfehler beruhenden), ob die Postkorbübung durch ein objektives Verfahren (z.B. computerbasiert) oder durch Beobachter*innen bewertet wurde. 

• Hypothese 4: Hingegen zeigte sich bei den veröffentlichten Studien eine geringere Kriteriumsvalidität als bei den unveröffentlichten. Und das, obwohl bei den veröffentlichten Studien ein höherer Publikationsfehler angenommen werden muss. 

• Hypothese 5: Die Autoren gehen davon aus, dass eine gleichzeitige Bewertung der Postkorb-Übung und der Arbeitsleistung eine höhere Vorhersagekraft über die Arbeitsleistung ergibt, als eine zeitversetzte Bewertung. Dies könnte allerdings darauf zurückzuführen sein, dass Beobachter*innen meist ein gutes Bild über die Arbeitsleistung von Arbeitnehmer*innen haben und die Bewertung der Postkorb-Übung entsprechend anpassen. Zusätzlich könnte es daran liegen, dass  Arbeitnehmer*innen im Job bereits Erfahrungen mit den Jobtätigkeiten besitzen, und so die Postkorb-Übungen besser lösen können, als tatsächliche Bewerber*innen ohne Erfahrungen.

• Hypothese 6: Bestätigt werden konnte, dass Leistungen in Postkorb-Übungen mit der kognitiven Leistungsfähigkeit allgemein zusammenhängen.

Praxis-Tipps für die erfolgreiche Einsetzung von Postkorbübungen

Insgesamt sind Postkorbübungen sinnvolle Simulationen innerhalb eines Assessment-Centers. Sie bieten eine zusätzliche Möglichkeit, Kompetenzen neben Rollenspielen oder Diskussionen zu messen und liefern einen Mehrwert zur Beurteilung von Kandidat*innen. 

Die Ergebnisse dieser Metaanalyse liefern nützliche Orientierungshilfen für HRler*innen bei die Gestaltung von Postkorbübungen. So kann eine Postkorbübung ressourcensparend und fair mittels computergestützter Programme ausgewertet werden. Wenn eine subjektive Bewertung erfolgt, sollten mindestens zwei geschulten Beobachter*innen eingesetzt werden, die verhaltensbasierte Bewertungsskalen verwenden. So kann auch eine subjektive Bewertung valide und zuverlässige Ergebnisse erbringen.

Bezüglich des Inhalts können Entwickler*innen von Assessments, die Postkorbübungen auf verschiedene Berufe mit spezifischen Kompetenzen zuschneiden oder generalisierten Inhalt verwenden.

Aufgrund der kognitiven Anforderungen der Postkorb-Übungen sollten sie nur für diejenigen Berufe eingesetzt werden, die zumindest teilweise in einer Büroumgebung stattfinden und ein gewisses Maß an logischem Denken und Entscheidungsfindung erfordern. Die Leistung in Berufen, die hauptsächlich körperliche Fähigkeiten erfordern (z. B. handwerkliche Berufe), lässt sich mit einer Postkorbübung möglicherweise nicht gut vorhersagen.

Zusätzlich kann eine Postkorbübung ortsunabhängig und sowohl digital als auch in Präsenz durchgeführt werden. Die digitale Lösungen von Applysia hilft Dir Dein Assessment Center optimal zu gestalten. Du kannst verschiedene Kompetenzen in unterschiedlichen Übungen beobachten und verknüpfen – auch Postkorbübungen. Mit Applysia können Beobachter*innen Verhaltensanker mit nur wenigen Klicks bewerten und dokumentieren. Konfiguriere Deine Anforderungen individuell und zeitsparend. Somit erzielst Du valide und faire Ergebnisse. Mehr über Applysia erfährst Du hier.

Der Link zur Originalstudie:

Whetzel, D.L., Rotenberry, P.F. and McDaniel, M.A. (2014), In-basket Validity. Int J Select Assess, 22: 62-79. https://doi.org/10.1111/ijsa.12057