STATISTIK-FORUM.de

[cudak]

Hallo! Ich führe grad eine Studie durch und habe Probleme für eine Hypothese ein geeignetes statistisches Verfahren zu finden.
Ich habe zwei unabhängige Gruppen, eine Nullbedingung und eine manipulierte Bedingung. Nutzer erzielen einen Score in der Studie, außerdem wird ein Baseline-Wert gemessen.

Die Hypothese sagt sinngemäß: Nutzer mit weniger Erfahrung profitieren mehr von der Manipulation als erfahrerene Nutzer.
Also als Beispiel haben wir Nutzer A (Gruppe 0) und B (Gruppe 1), beide mit einer niedrigen Baseline. B sollte nun einen besseren Score als A erzielen, weil die Manipulation ihm "hilft". Bei den Benutzern C (Gruppe 0) und D (Gruppe 1), die beide viel Erfahrung haben, sollte der Score hingegen keine Unterschiede zeigen.

Zuerst dachte ich, dass es sinnvoll sein könnte, eine Korrelation zw. Baseline und Score zu bilden und die beiden Gruppen zu vergleichen, aber ich glaube, dass das nicht das aussagt was ich haben möchte. Zumindest ist das Ergebnis dieser Berechnung, dass in Gruppe 0 Baseline und Score positiv miteinander korrelieren, während die Korrelation bei Gruppe 1 gegen 0 geht. Allerdings sagt mir das doch nichts über die Unterschiede von erfahreren und unerfahreren Nutzern, oder?

Ich würde mich sehr über Feedback freuen, ob diese Berechnung an sich stimmig ist oder ob ich einen ganz anderen Ansatz (Regression?) anwenden muss!

[PonderStibbons]

Das ist leider nicht verständlich geschildert. Ist Ausmaß der Erfahrung = Höhe der Baseline? Oder sind die abhängige Variable und "Erfahrung" zwei verschiedene Variablen?

Die basalen Angaben zum Studiendesign wären nützlich (Fragestellung, Zuweisungen zu den Gruppen randomisiert oder anders, Stichprobengröße, Variablen und deren Messverfahren).

Mit freundlichen Grüßen

PonderStibbons

[cudak]

Vielen Dank für deine Antwort, ich ergänze hier die Informationen.

Zuerst, ja Ausmaß der Erfahrung ist die Höhe der Baseline.

Die konkrete Fragestellung lautet: Hat der Einsatz von Gamification einen positiven Einfluss auf die Passwortsicherheit?

Ich habe zwei unabhängige Gruppen, denen zufällig Teilnehmer zugewiesen werden. Gruppe 0 bekommt ein konventionelles Passwortformular zu sehen, während Gruppe 1 eines sieht, bei dessen Konzeption Gamification-Patterns eingesetzt wurden (Background: Korrekter Einsatz von Gamification schafft Motivation, und die kann helfen, einen Task besser abzuschließen). Gruppengröße wird bei ca. 20 liegen (erwarte noch letzte Teilnahmen), beide Gruppen gleich groß. Mir ist bewusst, dass das ein kleiner Wert ist, aber durch die Umstände meines Uni-Seminars ist es nicht wirklich möglich, mehr zu akquirieren.

Die Baseline erschließt sich aus einer Frage aus dem Prä-Fragebogen bzgl. deren IT-Sicherheit-Erfahrung, die auf einer 5-Punkt-Likert-Skala beantwortet wird --> Wert zw. 0-4 (ordinal, wobei es häufig wohl auch als Intervalwert gerechnet wird).

Der Score ist die Bewertung des eingebenen Passworts, die ebenso von 0-4 reichen kann (Ganzzahlen, also auch ordinal, oder?).

Die zu untersuchende Nebenhypothese lautet wie folgt: Benutzer mit weniger Erfahrung profitieren stärker von dem Einsatz von Gamification als Benutzer mit höhrerer Erfahrung.
Der Idee dahinter ist, dass sicherheitsbedachte Benutzer sowieso wissen, was ein gutes Passwort ausmacht, weshalb sie keine Guidance o.ä. brauchen, während Benutzer, die keine Ahnung darüber haben, durchaus bessere Passwörter eingeben, wenn sie Hilfe erhalten (die mittels Gamification kommuniziert wird).

Ich hoffe, das ist ein wenig verständlicher geworden.

[PonderStibbons]

Zuerst, ja Ausmaß der Erfahrung ist die Höhe der Baseline.

Ich meinte, ob der Baseline-Wert der abhängigen Variable (Passwortqualität) = Erfahrung ist.
Aber das ist anscheinend nicht der Fall, sondern es sind unterschiedliche Variablen?

Oder gibt es ohnehin keine Baseline-Messung der abhängigen Variable und mit Baseline
meinst Du einfach nur die Messung sonstiger Probandenmerkmale?

Die Baseline erschließt sich aus einer Frage aus dem Prä-Fragebogen bzgl. deren IT-Sicherheit-Erfahrung, die auf einer 5-Punkt-Likert-Skala beantwortet wird --> Wert zw. 0-4 (ordinal, wobei es häufig wohl auch als Intervalwert gerechnet wird).

Ich bin nicht sicher, was gemeint ist. Wenn es nur 1 Item ist, dann heißt das nicht Likert-Skala,
sondern ist schlicht ein Item mit einer Ratingskala als Antwortformat (Likert-Skala ist ein
Messinstrument, das aus mehreren Likert-Items besteht, die summiert werden). Likert-Skalen
werden verbreitet als intervallskaliert behandelt, Likert-Items sind eigentlich nur ordinalskaliert.
Allerdings wäre die Messung eines zentralen Konstrukts der Studie mit lediglich einem einzelnen
fünfstufigen Item extrem schwach.

Der Score ist die Bewertung des eingegebenen Passworts, die ebenso von 0-4 reichen kann (Ganzzahlen, also auch ordinal, oder?).

Wenn Du schon keine große Stichprobe hast, warum dann nicht wenigstens gute Messverfahren?
Etwas lediglich mit einzelnen Rating-Items zu erfassen, ist in der Regel mit niedrigen Reliabilitäten
= hohen Fehlerstreuungen verbunden. Das macht es noch schwerer als ohnehin schon, zu
zuverlässigen Ergebnissen zu kommen.

Ist nicht mehr zu ändern, schon klar, aber vielleicht liest das hier zufällig mal jemand, der seine
Studie erst plant und nicht schon Daten erhoben hat

Die zu untersuchende Nebenhypothese lautet wie folgt: Benutzer mit weniger Erfahrung profitieren stärker von dem Einsatz von Gamification als Benutzer mit höhrerer Erfahrung.

Wie gesagt, ich steige durch die Benutzung von "Baseline" nicht ganz durch. Gibt es eine
Baseline-Messung von "Passwortqualität"? Falls ja, wie hoch ist diese korreliert mit der Erfahrung?

Mit freundlichen Grüßen

PonderStibbons

[cudak]

Danke für deine Anmerkungen und Nachfragen.
Ich glaube, dass ich hier keine gute Terminologie gewählt hatte. Eine Baseline habe ich in diesem Sinne nicht.

Die Erfahrung bzgl. IT-Sicherheit, die Nutzer angeben, und der Passwort-Score sind unterschiedliche Variablen. Der Score wird nur aus der Qualität des Passworts ermittelt.

Den Fehler bzgl. Likert-Skala und Rating-Items hatte ich in der Zwischenzeit auch in anderen Threads gelesen. Ich nutze also nur ein einzelnes Item mit einer Ratingskala (durch die Beantwortung der Frage "Ich unternehme aktiv Handlungen, um meine Sicherheit im Internet zu schützen."), um die Erfahrung zu ermitteln (und somit ordinal).

Die Beschränkung auf ein einzelnes Item für die Erfahrung ist in jedem suboptimal und resultiert daraus, dass die Hypothese im Nachgang gebildet wurde (was keine gute Praxis ist, aber mein Professor hat angeregt, diese zu beantworten). Der Prä-Abfragebogen enthält auch weitere Items, die m.M.n. aber nicht unbedingt relevant ist (z.B. "Mir ist meine Sicherheit im Internet wichtig." oder "Ich wurde bereits Opfer von Cyberkriminalität."), um die tatsächliche Erfahrung von IT-Sicherheit abzufragen. Während das genutzte Item abfragt, ob man tatsächlich etwas unternimmt, fragen die anderen nur nach der allgemeinen Awareness gegenüber dem Thema. Ich lasse mich aber gerne korrigieren, wenn die doch relevant sein können.

Der Passwort-Score wird mittels eines Frameworks ermittelt, das als Resultat Ganzzahlenwerte zwischen 0-4 hat. Neben dem Score gibt dieses Framework auch weitere Ergebnisse aus, wie z.B. die time-to-hack (angegeben in Sekunden), dieser Wert hat aber eine sehr große Spanne (von 1 bis grob 10.000.000). Aufgrund dieser großen Spanne wollte ich eher den Score verwenden, da es ab einem gewissen Wert (sagen wir mal einer Million) kaum noch relevante Unterschiede gibt, aber die time-to-hack dennoch eklatante Unterschiede aufzeigen kann (1 Million Sekunden oder 10 Millionen Sekunden sind beides sehr sicher). Das läge aber als zusätzlicher Wert zur Verfügung.

Was ich nun beantworten möchte ist, ob meine Manipulation bei Nutzern, die bisher nicht aktiv Schutzmaßnahmen im Internet unternehmen, einen größeren Effekt auf deren Passwort-Score hat, als bei Nutzern, die sich sowieso schon aktiv schützen.

Viele Grüße,
cudak

[PonderStibbons]

Die Randomisierung macht vieles leichter. Ob die AV ordinal oder Intervallskaliert ist, das ist mir noch nicht
ganz klar (Intervallskala: der Abstand zwischen 0 und 1 ist derselbe wie z.B. zwischen 2 und 3 oder derjenige
zwischen z.B. 3 und 4). Das Ganze ist eine Moderatoranalyse. Wenn man die AV als intervallskaliert annimmt,
dann kann man eine multiple lineare Regression der AV auf "Gruppe" (0/1-codiert), "Erfahrung" und die Wechselwirkung
Gruppe*Erfahrung rechnen. Die Wechselwirkung repräsentiert, ob der Gruppeneffekt sich mit Grad der Erfahrung
ändert. Dass "Erfahrung" eigentlich ordinalskaliert ist, ist dabei misslich Eine Alternative wäre, es in eine
dreistufige kategoriale Variable umzuwandeln (niedrig - mittel - hoch) und mit "Gruppe" und dieser umgewandelten
Variable eine zweifaktorielle Varianzanalyse zu rechnen.

Mit freundlichen Grüßen

PonderStibbons

[cudak]

Vielen Dank für deine Ausführungen, das hilft mit viel weiter!
Ich werde prüfen, inwiefern der von dem Framework errechnete Passwort-Score (also die AV) von 0-4 als intervall- oder ordinalskaliert zu interpretieren ist und dann deine Vorschläge rechnen.

Viele Grüße,
cudak