STATISTIK-FORUM.de

[Winnie83]

Guten Morgen zusammen,
ich möchte die Outputs eines Expertensystems mit den Outputs eines menschlichen Experten vergleichen.
Eine Fallzahlberechnung unter R ergab für meine Untersuchung eine minimale Fallzahl von 33 Fällen zur Berechnung von Cohens Kappa (2 Beobachter). Ich habe zur Zeit 21 Testfälle. Also weniger als 33. Kann das kompensiert werden indem ich 2 Kappakoeffizienten mit 2 menschl Experten berechne, also jeweils Experte1 vs System und Expert2 vs System mit jeweils 21 Testfällen?

Vielen Dank im Vorraus
Stephan

[PonderStibbons]

Eine Fallzahlberechnung unter R ergab für meine Untersuchung eine minimale Fallzahl von 33 Fällen zur Berechnung von Cohens Kappa (2 Beobachter).

Was bedeutet das? kappa ließe sich mit weniger als 33 nicht berechnen?

Ich habe zur Zeit 21 Testfälle.

Da wird es so oder so schwierig, zuverlässige Schätzungen
für die Übereinstimmung zu bekommen.

Kann das kompensiert werden indem ich 2 Kappakoeffizienten mit 2 menschl Experten berechne, also jeweils Experte1 vs System und Expert2 vs System mit jeweils 21 Testfällen?

Das wäre auch ohne die Fallzahlberechnung vermutlich erforderlich.
Wie man Koeffizienten aus 2 Analysen aggregiert, weiß ich allerdings
nicht.

Mit freundlichen Grüßen

P.