STATISTIK-FORUM.de

[Anni993]

Hallo Leute,

vor kurzem habe ich in einen studentischen Forschungsprojekt zusammen mit einer größeren Gruppe 1600 Nachrichten codiert
und wir hatten zwei Pretests durchgeführt. Jedoch glaube ich, dass unsere Reliabilität ziemlich schlecht ist und
ich muss jetzt mit diesen Daten für meinen Abschlussbericht arbeiten.

Zunächst bin ich mir nicht sicher, ob ich meine Werte richtig bewerte:
1. Wenn mein Holsti_Index ganz okay ist, da dieser zwischen 75 und 80 Prozent liegt, aber Krippendorff's Alpha zu nierdig (0.25Prozent) ist,
sind meine Daten trotzdem schlecht oder? 2. Gibt es eine Möglichkeit unseren Datensatz nicht zu schlecht darstellen zu müssen ?

Das habe ich hierzu geschrieben, aber ich weiß selbst nicht, ob ich das richtig bewerte:
Um die Übereinstimmung mehrer Codierer und verschiedener Skalenniveaus zu berechnen, wurde sich bei dem Pretest für das statistische Maß Krippendorffs Alpha
und den Holsti-Index entschieden. Dabei wurden insgesamt 30 Codierungen pro Kategorie vorgenommen. Die Reliabilität der Daten wurde zu genau zwei Zeitpunkten
gemessen...Das Ergebnis war hierbei eine Übereinstimmung der Codierer nach Holsti von 70,24 Prozent. Krippendorff's Alpha erreichte hingegen einen Durchschnittswert von 0,29 Prozent. ... Nachdem die die zweite Hälfte des Datensatzes codiert war, wurde ein weiterer Pretest durchgeführt. Es zeigte sich eine Verbesserung hinsichtlich der durchschnittlichen Übereinstimmung der Codierer nach dem Holsti-Index. So konnte der Holsti-Wert von 70,24 Prozent auf 79,42 Prozent verbessert werden. Unter Berücksichtigung des Schwierigkeitsgrads einzelner Kategorien, welche sich eher mühsam von anderen abgrenzen lassen, wird ein Koeffizienten von .75 bereits als ein Erfolg gewertet. Als eine hinreichende Qualität werden hingegen Werte von .80 und höher bewertet (vgl. Rössler, 2005, S.192).
Dementsprechend sind die Daten gut?

Problematische Kategorien/Variablen?, wie Übertreibung (V22a: 72,89% zu 91,59%), Zielgruppe der Übertreibung (V22b: 77,55% zu 91,59%), Art der Wertung (V17b: 49,75% zu 76,02%) und Klarstellung (V31: 53,83% zu 87,25%) konnten deutlich verbessert werden. Kategorien/Variablen?, wie Beleidigung (V28:39,9%) und Bitte (V29:57,14%), welche sprunghaft die 100 Prozent erreichten, zeigen eine vollständige Übereinstimmung auf. Dies liegt eher darin begründet, dass in der Testcodierung diese Merkmale nicht vorgekommen sind. Krippendorff's Alpha verschlechterte sich zweiten Durchlauf im Durchschnitt von 0,29 Prozent zu 0,25 Prozent.
Dies bedeutet, dass die Werte schlecht sind? Und jetzt?

Ich wäre echt froh Feedback zu erhalten, ob ich das alles richtig bewerte oder nicht

LIebe Grüße Anni

[strukturmarionette]

Hi,

mit einer größeren Gruppe 1600 Nachrichten codiert

- ?


Gruß
S.

[Anni993]

Hey ,

die anderen in der Gruppe haben ungefähr das gleiche Statistikverständnis wie ich,
falls du darauf anspielen wolltest, die anderen zu fragen (das habe ich schon getan).

Alleine kommen wir nicht, weiter und wenn ich mir die Texte im Internet durchlese,
komme ich zu dem Verständnis was ich unten niedergeschrieben habe.

Ich suche auf diesem Forum doch nur jemand, der mir sagt, ob ich das richtig so interpretiert habe
und ob wir mit den Daten wirklich arbeiten können, oder nicht.


LG Anni

[Anni993]

Hey (2)

Also nochmal der Hosti Index ist gut.
Der Krippendorff's Alpha nicht. Damit der gut ist, müsste ich (laut Internet) Werte ab 0.61 oder 0.80 Prozent haben. Da unterscheiden sich die Aussagen der Autoren.
Da wir diese Werte jedoch nie erreicht haben, werde alle künftigen Annahmen Falschaussagen sein, nehme ich an.

Aber wie ist es möglich, dass Holsti so gut ist und Krippendorffs alpha nicht? Wiederspricht sich das nicht?

LG

[PonderStibbons]

1600 Nachrichten codiert

Das ist etwas vage, was den Inhalt und das Vorgehen betrifft.

Aber wie ist es möglich, dass Holsti so gut ist und Krippendorffs alpha nicht? Wiederspricht sich das nicht?

Das erste ist, wenn ich es richtig verstehe, ein Maß der Übereinstimmung? Das andere bezieht
mit ein, wieviel der Übereinstimmung durch Zufall erklärbar wäre. Wenn das Verhältnis zufällig
erwartete Übereinstimmung zu erzielter Übereinstimmung ungünstig ist, dann ist der Wert niedrig.

Ich weiß von Cronbachs alpha, welches auf einer verwandten Logik basiert, dass es zu absurden Werten
kommen kann, wenn die Kategorien sehr asymmetrisch besetzt sind (e.g. "95% beurteilen ihn als böse, 5%
als freundlich"). Ob Krippendorffs alpha ähnliche Probleme hat, und ob sowas bei Euch vorliegt, weiß ich
aber leider nicht.

Mit freundlichen Grüßen

PonderStibbons

[Anni993]

Also es ging um Twitternachrichten, wie codiert wurden nach bspw. Ist der Tweet ironisch? sakastisch? eine Übertreibung? Ist der Tweet emotional (Unterkategorien: sehr emotional, eher emotional, nüchtern, unklar).

Wenn ich es richtig verstehe ist unsere Übereinstimmung generell hoch und somit der Holsti-Index gut, aber es gab wohl einige Codierer, welche gewisse Tweets nicht als
ironisch oder sakastisch eingestuft haben. Und genau das hat dazu geführt, dass die Werte bei K alpha absurd sind.
Aber dies bedeutet jetzt nicht, dass die Werte generell schlecht sind, weil die Mehrheit ja gut codiert hat und wir von einigen Ausnahmen sprechen.
Das würde bedeuteten, dass wir in den Limitations auf die Problematik aufmerksam machen müssen, aber wir mit den Daten arbeiten können

LG

[Anni993]

Danke, für den Vergleich mit Cronbachs alpha. Die Erklärung ist sehr interessant.

[PonderStibbons]

Und genau das hat dazu geführt, dass die Werte bei K alpha absurd sind

.
Die sind nicht absurd, sondern erstmal nur niedrig. Absurd werden sie bei Cronbachs alpha nur unter besonderen
Umständen, ob es sich bei Krippendorff so verhält, weiß ich nicht. Wenn die Beurteilung von Ironie und Sarkasmus,
zumal bei schriftlichen Äußerungen, niedrige Inter-Rater-Reliabilität hat, würde dies ja nun nicht gerade verwundern.

Mit freundlichen Grüßen

PonderStibbons