STATISTIK-FORUM.de

[GoVeg]

Guten Morgen zusammen,

Ich stehe gerade vor einer Herausforderung, bei der ich auf eure Hilfe hoffe .
Ich habe einen Datensatz mit n=500 und etwa 40 Items. Es geht um eine schriftliche (anonymen) Befragung, bei der der Vorgesetzte bewertet werden soll. Die Fragen sehen in etwa so aus "Der Vorgesetzte behandelt seine Mitarbeiter fair", "Der Vorgesetzte vergibt Boni nach Leistungen statt nach persönlicher Sympathie" usw. Beantwortet wird das Ganze auf einer 5-Stufigen Likert-Skala von Stimme voll zu bis lehne voll ab.
Mehrere Mitarbeiter bewerten immer einen Vorgesetzten. Die einzigen statistischen Informationen, die ich zum Vorgesetzten habe sind die Jahre in der Firma und die Jahre auf der jetzigen Position.
Bei ersten Auswertungen ist mir nun aufgefallen, dass alle Vorgesetzten sehr positive Ergebnisse erzielen - sprich von Ihren Mitarbeitern sehr gut bewertet werden. Schon aus Erfahrung ist das doch eher unwahrscheinlich.
Nun vermute ich eine Verzerrung hin zur Milde, die ich gern rechnerisch ausgleichen oder zumindest nachweisen würde.
Habt ihr Ideen, wie ich das machen könnte?

Für Rückmeldungen und Ideenaustausch bin ich sehr dankbar.
Viele Grüße
GoVeg

[PonderStibbons]

Beantwortet wird das Ganze auf einer 5-Stufigen Likert-Skala von Stimme voll zu bis lehne voll ab.

Das ist keine Likert-Skala. Eine Likert-Skala besteht aus mehreren Items
vom Likert-Typ, deren Antworten summiert werden. Siehe z.B.
wikipedia-Eintrag zu Likert-Skalen. Das ist deswegen wichtig zu
beachten, weil Diskussionen zum Skalenniveau von Likert-Skalen
sonst fälschlicherweise bezogen werden auf das Skalenniveau
von einzelnen Items des Likert-Typs.

Mehrere Mitarbeiter bewerten immer einen Vorgesetzten.

Wieviele Vorgesetzte sind es denn?

Bei ersten Auswertungen ist mir nun aufgefallen, dass alle Vorgesetzten sehr positive Ergebnisse erzielen - sprich von Ihren Mitarbeitern sehr gut bewertet werden.

Was heißt das konkret? Auf allen 40 Items wurden 95% mit "maximal gut"
beurteilt?

Schon aus Erfahrung ist das doch eher unwahrscheinlich.

Welche Art von Erfahrung? Gab es in dieser Firma vor kurzen schon einmal
eine entsprechende Erhebung?

Nun vermute ich eine Verzerrung hin zur Milde, die ich gern rechnerisch ausgleichen oder zumindest nachweisen würde.

Warum bzw. zu welchem Zweck möchtest/musst Du das nachweisen bzw.
sogar ausgleichen?

Möglicherweise sind die (ungenannten) Kriterien zu unspezifisch, und eine
5erskala ohnedies problematisch. Solche Erhebungsfehler lassen sich i.A.
durch datanenalytische Tricks nicht beheben, nur diskutieren.

Mit freundlichen Grüßen

P.

[GoVeg]

Vielen Dank für die zügige Rückmeldung.

Das ist keine Likert-Skala. Eine Likert-Skala besteht aus mehreren Items

Habe mehrere Dimensionen, die ich mit durchschnittlich 7 Items messe, das hatte ich nicht geschrieben - mein Fehler.

Wieviele Vorgesetzte sind es denn?

Es bewerten pro Vorgesetzen 10 Mitarbeiter - also 50 Vorgesetzte.

Was heißt das konkret? Auf allen 40 Items wurden 95% mit "maximal gut" beurteilt?

Mehr oder weniger. Ich habe kaum einen Vorgesetzten, der in den Kategorien unter einem Wert vom 4 (1 wäre sehr schlecht, 5 wäre sehr gut) liegt.

Welche Art von Erfahrung?

In der Firma werden regelmäßig Erhebungen der gleichen Art gemacht, die viel mehr Durchmischung in den Ergebnissen zeigen.

Möglicherweise sind die (ungenannten) Kriterien zu unspezifisch, und eine 5erskala ohnedies problematisch

Die Items und auch die Skala wurden umfassend getestet. Natürlich ziehe ich das als Erhebungsfehler mit heran, dieses Ergebnis ist dennoch auffällig.

Warum möchte ich das nachweisen? Die Ergebnisse sollen unter anderem als Grundlage für Weiterbildungen und Schulungen dienen. Dafür hätte ich natürlich gern belastbare Ergebnisse.
Du wirst vermutlich Recht haben, dass man sich nicht hinkonstruieren sollte, was nicht da ist. Manchmal sieht man den Wald vor lauter Bäumen nicht und so dachte ich, ich frage mal nach.

Viele Grüße und vielen Dank.

[PonderStibbons]

Ich habe kaum einen Vorgesetzten, der in den Kategorien unter einem Wert vom 4 (1 wäre sehr schlecht, 5 wäre sehr gut) liegt.

Demnach liegen ca. 7 Skalen vor, und der Großteil der Beurteilten hat auf (fast) allen Skalen
durchschnittlich einen Score über 4.

In der Firma werden regelmäßig Erhebungen der gleichen Art gemacht, die viel mehr Durchmischung in den Ergebnissen zeigen.

Mit ist nicht klar, was Durchmischung konkret heißen soll, aber naheliegend
wäre meines Erachtens, die Methodik und den Kontext der beiden Erhebungen
zu vergleichen, um dies Diskrepanz zu erklären

Warum möchte ich das nachweisen? Die Ergebnisse sollen unter anderem als Grundlage für Weiterbildungen und Schulungen dienen. Dafür hätte ich natürlich gern belastbare Ergebnisse.

Falls tatsächlich eine Verzerrung vorliegt, kannst Du womöglich andere Grenzwerte
für Trainingsbedarf setzen als ursprünglich angedacht. Interessant neben Mittelwerten
könnte zudem die Streuung der Ergebnisse sein bzw. Anteil der nicht-so-Zufriedenenen.

Mit freundlichen Grüßen

P.

[Albrecht]

Es bewerten pro Vorgesetzen 10 Mitarbeiter - also 50 Vorgesetzte.

Da käme ein hierarchisches lineares Modell als zusätzliche Option in Frage. Dadurch könnte man Unterschiede zwischen den Vorgesetzten eventuell deutlicher herausarbeiten.

Mehr oder weniger. Ich habe kaum einen Vorgesetzten, der in den Kategorien unter einem Wert vom 4 (1 wäre sehr schlecht, 5 wäre sehr gut) liegt.

Das ist eigentlich nichts ungewöhnliches, sondern eher die Regel bei solchen Untersuchungen. Daher wundert es mich schon, dass man früher andere Ergebnisse hatte.

Die Items und auch die Skala wurden umfassend getestet. Natürlich ziehe ich das als Erhebungsfehler mit heran, dieses Ergebnis ist dennoch auffällig.

Was heißt das, sie wurden getestet? Wurde die Skala bereits in dem Kontext, für diesen Zweck und an einer ähnlichen Stichprobe validiert? Wenn ja, wie?
Frühere andere Ergebnisse können übrigens allein schon aufgrund des Zwecks der Befragung anders ausgefallen sein.

Warum möchte ich das nachweisen? Die Ergebnisse sollen unter anderem als Grundlage für Weiterbildungen und Schulungen dienen. Dafür hätte ich natürlich gern belastbare Ergebnisse.

Das ist eher unspezifisch. Wieso stört es denn dich, dass die Ergebnisse so einseitig ausfallen, dann?

Grundsätzlich kann ich das Werk von Cleveland und Murphy zu diesem Thema empfehlen (Understanding Performance Appraisal: Social, Organizational, and Goal-Based Perspectives) - ist allerdings ein schwerer Brocken. Dennoch kann man sich nur auf die Passagen konzentrieren, die das eigene Thema betreffen.

Die Autoren diskutieren dort verschiedene Ansätze, wie man eine Mildetendenz feststellen kann und erklären auch, warum diese Ansätze falsch sind.

Ich würde mir vielleicht noch die Varianz der Items anschauen. Sind alle Items brauchbar. Erzeugen Sie genügend Varianz. Stimmen die Skalen noch. Das kann auch eine Fehlerquelle sein.

[GoVeg]

Oh wow, danke!
Die Mehrebenanalyse werde ich mir mal ansehen und das Buch ist in der Bibliothek vorgemerkt.
Die Varianzen der einzelnen Items habe ich bereits einmal angesehen und es gibt auch ein paar, die rausfallen werden. Die Ergebnisse werden dadurch etwas besser.
Die Untersuchungen mit demselben Tool (und demselben Zweck) laufen in anderen Organisationseinheiten der Firma zeitgleich und liefern verlässliche Ergebnisse. Nur in dieser bestimmten Untersuchungseinheit (strukturell mit den anderen vergleichbar) erhalte ich diese durchweg positiven Ergebnisse - ich werde aber auf eventuell bisher nicht beachtete strukturelle Unterschiede noch einmal besonders schauen.
Ihr habt mir auf jeden Fall schon sehr geholfen.