STATISTIK-FORUM.de

[domter45]

Hallo liebe Freunde,

ich sitze gerade an meiner Bachelorarbeit und bin halb am Verzweifeln. Ich habe meine Hypothesen evtl. etwas ungünstig formuliert. Unsere Hypothesen wurden präregistriert, also kann ich daran nichts mehr ändern.
Es geht vor allem um meine zwei Hypothesen H1a und H1b. Ich erklär mal kurz die Randdaten:

Es geht um das untersuchen von "data sharing behavior" und Open Science badges (OSB) in gängigen journalen. Meine Hypothese 1 möchte prüfen ob Journale die OSB eingeführt haben eine signifikante Steigerung im data sharing zu vermerken hatten. Dafür habe ich 2 (mir zugeteilte) journale genommen. Habe jeweils 1-2 ausgaben eines Volumes zugeteilt bekommen die einen gewissen Zeitpunkt repräsentieren. 4 Zeitpunkte. 2013 (vor einführung der OSB in journal 1), 2015 (nach Einführung OSB), 2017 (genannt "short-term", also praktische Effekte mit etwas Zeitabstand), 2021 ("long-term", also aktuellster Zeitpunkt). Meine "testsubjekte" sind Zeitschriftenartikel. Stichprobengröße gesamt ist N = 116. Jeder Zeitabschnitt hat ca. 15 Artikel. Die kodierte Variable für Hypothese 1 is "data shared", kodiert als 1 (ja) oder 0 (nein). Theoretisch also entweder also kategoriale Variable zu verstehen ODER (bin mir hier nicht sicher) als Anzahl (ist das dann ordinal oder metrisch?) wenn man es als "Artikel die daten teilen / Artikel eines Zeitabschnittes" umkodiert (ich bin mir nicht sicher ob eine solche umkodierung das skalenverhältnis verändert und die Zahl brauchbar macht?).

Wie dem auch sei, Hypothesen waren folgende:

H1a: Since introduction of Open Science badges to journal 1, Data sharing rates (die oben erwähnte kodierte variable) have increased.
H1b: After Open Science Badges were introduced in journal 1, the mean difference of data sharing rates between journal 2 and journal 1 has increased significantly.

Meine ursrüngliche Idee war: Kodier die Variable in 1 und 0 (wurden daten im Artikel geteil ja/nein), relativiere das ganze and der zahl der Artikel im Zeitabschnitt (2013, 2015, 2017, 2021), prüfe das ganze mit einer ANOVA für H1a, und einer (M)ANOVA für H1b. Die Daten sind aber (aufgrund der limitierten Stichprobe) nicht Normalverteilt. Also muss ich auf nicht-parametrische daten zurückgreifen. Nicht-parametrische multifaktorielle Verfahren existieren aber nicht. Kruskal Wallis geht nur mit einem Faktor. Meine Zweite Idee war: hey, Mitterwertsunterschiede! Ich berechne den Unterschied der daten zwischen journals.

Also sagen wir journal 1 hat in 15/20 Artikeln Daten geteilt
-> data sharing rate = 0.75 or 75,0.
journal 2 hat in 8/20 Artikeln Daten geteilt
-> data sharing rate = 0.4 oder 40,0

0.75 - 0.4 = 0.35 -> Differenz

Berechne die Unterschiede zwischen den Differenzen, und teste sie auf Signifilanz!
Ich denke aber ich bin hier auf dem Holzweg.
Erstens sind meine daten nur nominalskaliert glaube ich. Ich kann nicht einfach eine Anzahl berechnen, sie an der Teil-/Gruppenstichprobe relativieren und dann erwarten dass aus nominal skalierten Variablen metrische werden.
Und selbst wenn das ginge, ich kann nicht einfach nur 4 einzelne (Differenz)Werte (2013, 2015, 2017, 2021) vergleichen und erwarten ein richtiges Signifikanztestergebnis zu bekomment. Man kann aus 4 einzelnen Lageparametern ohne Verteilungsstatistiken ja keinen gültigen Signifikaztest machen!

Ich hatte 2 Ideen diesbezüglich. Die erste war eine Änderung der Definition meiner "data sharing rate". Ich könnte den Informationsgehalt erhöhen und verschiedene Bewertungskriterien die aufeinander aufbauen (die ich sowieso erhoben habe) hinzunehmen. Also:

data sharing rate:
0 = no data was shared
1 = data sharing was declared, but only on request or no public location was stated
2 = data was publicly shared
3 = data was confirmed avaible at public location

ich habe eine andere hypothese zu data completeness, aber die arbeitet darüber hinaus auch mit der korrektheit der stichprobe und variablen im datensatz, da sollte also kaum Überlappung sein bis auf vllt. einen punkt (available/not available).

wäre eine 4-point scale. Nicht ganz 5-point, aber zumindest ordinalskalierte daten, mit denen kann man mehr anfangen.
Aber selbst dann weiss ich noch nicht wie ich in SPSS meine Differenzwerte (zwsichen journal 1 und 2) ausrechnen soll ohne Datengehalt zu verlieren. Ich möchte dass die Streu- und Lagemaße alle für jeden Artikel intakt bleiben (sodass die tests auch korrekt ausgeführt werden können. z.B. der Kruskal Wallis für die Differenzen zwischen journal 1 und 2 über 4 Faktorenstufen des Faktors Zeitabschnitt (timeframe)).
Oder mach ich mir da Gedanken um gar nichts und es ist einfach möglich 4 normale Lagemaße miteinander zu vergleichen und etwas brauchbares herauszubekommen ohne dass ich jedes einzelne Testsubjekt (also jeden Artikel) in die Analyse mitaufnehmen muss?

Wie gesagt, ich bin etwas am verzweifeln. Das ist die EINFACHSTE Hypothese (zugegebenermaßen auch mit der einfachsten / niedrigstufigsten AV) meiner ganzen Arbeit und es bereitet mir die meisten Schwierigkeiten. Ich habe mich lange umgesehen zu Skalenniveaus, Testalternativen, etc, etc bin aber noch keinen deut schlauer.

Ich möchte nur einen Weg zu vergleichen ob sich der UNTERSCHIED zwsichen der "data sharing rate" (also dem Anteil geteilter daten an der gesamtzahl der Artikel) von journal 1 und journal 2 über die Zeit hinweg signifikant vergrößert.

Mit freundlichen Grüßen
ein verzweifelter gestresster Student

[PonderStibbons]

Soweit ich es verstanden habe, liegen pro Journal aus 4 Zeitpunkten je 15 Beobachtungen mit einer binären
abhängigen Variable vor. Die erste Hypothese wäre einfach eine 2*4-Kreuztabelle für Zeitpunkt* Sharing ja/nein,
dies nur für Journal 1. Test wäre Chi².
Die zweite Hypothese könnte man mit einem Mantel-Haenszel-Test bearbeiten (das Wort "signifikant" in 1b hat
übrigens in einer wissenschaftlichen Hypothese nichts verloren, statistische Signifikanztests sind Instrumente,
kein Theoriebestandteil). Grob gesagt, wird im Mantel-Haenszel-Test eine Vierfeldertafel (hier: Journal *
Sharing ja/nein) über mehrere Zeitpunkte betrachtet. Unter anderem würde hier analysisert, ob der Zusammenhang
zwischen Journal und Zustimmungsrate über die Zeit konstant ist oder nicht, ob also eine Wechselwirkung vorliegt
(was in der Hypothese gefragt ist: gibt es eine Differenz von Differenzen).

Ob die Tests durchführbar sind, das hängt auch von der Anzahl der Sharings (bzw. Nichtsharings) ab, die dürfen
von vornherein nicht zu klein sein, sonst klappen die Berechnungen nicht.

Mit freundlichen Grüßen

PonderStibbons

[domter45]

Erstmal vielen Dank für die schnelle Antwort

Ich hatte Chi² auf dem Schirm, dachte jedoch es wäre evtl. für 4 Faktorenstufen ungeeignet. Kann ich dann annehmen, dass im Falle eines signifikantem Ergebnis des Chi² die beiden Variablen unabhängig sind (also in dem falle "data sharing" nicht vom Zeitraum abhängt?)

Den Mantel-Haenszel-Test werd ich mir genauer ansehen. Ich bezweifle, dass ich genug Artikel habe die Daten teilen (glaube es waren 28 von 116), aber immerhin hätte ich trotzdem dann einen "korrekten" Test zum ausführen. Mir wurde früh im Prozess mitgeteilt, dass erwartet wird, dass Normalverteilungsverletzungen vorliegen und ich mir nichtparametrische Alternativen überlegen müsste. Und auch, dass die Power sehr gering sein wird, dass dies aber keinen Einfluss auf die Note habe.
Dementsprechend werd ich das eben in der Diskussion als Limitation anführen und mich v.A. auf deskriptive Analysen (evtl. ein Liniendiagramm oder zwei, Prozentanteile meiner Zielvariablen und ihre Veränderungen über die Zeit, etc) stützen.

Das mit dem "signifikant" ist sehr beunruhigend. Ich hab das Wort in drei meiner 6 Hypothesen stehen^^. Irgendwie hat mir nie jemand gesagt es sei falsch. Wurde mir in der Vergangenheit auch nie als Fehler angestrichen soweit ich mich erinnere. Naja, ich schätze ein Wort kann in dem Sinne auch kein wirklicher "Fehler" sein. Ich nehme an es wird in dem Falle einfach als wissenschaftliches Wort ignoriert und als "normales Wort" angesehen. Hoffe ich zumindest. Trotzdem hätte ich den Hinweis gerne in meinen letzten Arbeiten gehabt. Das wäre von Vorteil gewesen.

Nochmal vielen Dank für die Hilfe, ich werd mit dem Ganzen was ausklügeln.
Wenn ich nochmal eine Folgefrage stellen darf, ich weiss es ist aus wissenschaftlicher Perspektive evtl. etwas fragwürdig nach Festlegung der Hypothesen die Definition einer meiner Variablen von binär in eine quasi-Liekert Skala zu ändern (quasi weil nur 4 Punkte statt der üblichen 5-7), aber was halten sie von der Idee mit der Erweiterung der Variable "data sharing"? Ich dachte evtl. könnte ich die Daten nochmal in der Weise mit einer späteren explorativen Analyse ergänzen. Währe ein vergleichender Mann-Whitney-U für einen Zeitpunkt zwischen journal 1 und journal 2 für die erweiterte Variable "data sharing" (also die 4-Punkt Skala) sinnvoll?

Mit freundlichen Grüßen
Domter

[PonderStibbons]

Ich hatte Chi² auf dem Schirm, dachte jedoch es wäre evtl. für 4 Faktorenstufen ungeeignet. Kann ich dann annehmen, dass im Falle eines signifikantem Ergebnis des Chi² die beiden Variablen unabhängig sind (also in dem falle "data sharing" nicht vom Zeitraum abhängt?)

Bei einem inferenzstatistisch signifikanten Ergebnis wird die Nullhypothese verworfen,
dass in der Grundgesamtheit, aus der die Daten stammen, kein Zusammenhang besteht.
Das ist das umgekehrte von dem, was Du geschrieben hast.
Bei einem nicht-signifikanten Ergebnis konnte man die Nullhypothese nicht verwerfen
(was nicht zwingend heißt, dass sie gilt).

Das mit dem "signifikant" ist sehr beunruhigend. Ich hab das Wort in drei meiner 6 Hypothesen stehen^^.

Wenn der Betreuer das so akzeptiert hat, dann ist es doch für Dich kein Problem.

Wenn ich nochmal eine Folgefrage stellen darf, ich weiss es ist aus wissenschaftlicher Perspektive evtl. etwas fragwürdig nach Festlegung der Hypothesen die Definition einer meiner Variablen von binär in eine quasi-Liekert Skala zu ändern (quasi weil nur 4 Punkte statt der üblichen 5-7),

Das ist keine Likert oder quasi-Likert-Skala. Erstmal schon deswegen nicht, weil Likert-Skalen
aus mehreren Likert-Items zusammengesetzt sind, die summiert werden. Das Antwortformat von einzelnen
Likert-Items heißt dementprechend nicht Likert-Skala. Deine 4stufige Skala hat allerdings nicht im Entferntesten
mit dem Likert-Antwortformat zu tun. Es ist einfach irgendeine Ordinalskala.

Wäre ein vergleichender Mann-Whitney-U für einen Zeitpunkt zwischen journal 1 und journal 2 für die erweiterte Variable "data sharing" (also die 4-Punkt Skala) sinnvoll?

Weiß ich leider nicht, ob das sinnvoll ist, das ist eine Frage für den Betreuer. Was Auswertungsverfahren angeht:
innerhalb einer Gruppe zu mehreren Zeitpunkten wie bei Hypothese 1 kann man den Friedman-Test nehmen,
für einen Vergleich zwischen 2 Gruppen zu einem Zeitpunkt, wie Du richtig bemerkst den, U-Test.

Mit freundlichen Grüßen

PonderStibbons

[domter45]

Danke für die Hilfe. Ich glaub ich habs jetzt verstanden.

Gibt est beim Cochran-Mantel-Haenszel test post-hoc analysen die man anstellen könnte?
Beim Chi² (H1a) habe ich post-hoc vergleiche mit Fisher's Exact test im Auge. Mit Bonferroni Korrektur selbstverständlich.