Regressionsanalyse nicht signifikant

Alle Verfahren der Regressionanalyse.

Regressionsanalyse nicht signifikant

Beitragvon Reineke » Mi 16. Mai 2018, 14:46

Guten Tag Forumsmitglieder,
bevor ich das Thema eröffnet habe, habe ich versucht, das Problem durch Recherche selbst zu lösen, leider erfolglos.

Um Folgendes geht es:
Zum Thema Suchmaschinen habe ich zunächst die Häufigkeit abgefragt, wie oft Probanden diese verwenden:
Nie - Weniger als 1x pro Monat - Etwa 1x pro Monat - Mehrmals pro Monat - Mehrmals pro Woche - Täglich
Dies soll auch meine Abhängige Variable sein, da ich Einflussfaktoren untersuche, die die Nutzungshäufigkeit von Suchmaschinen beeinflussen.

Als Einflussfaktor habe ich unter anderem die "Usability" von Suchmaschinen abgefragt, über die Aussage, zu der die Probanden im Folgenden Stellung nehmen sollten:
"Ich finde durch Suchmaschinen schnell relevante Informationen."
Die Antwortmöglichkeiten waren:
Stimme nicht zu - Stimme eher nicht zu - Stimme eher zu - Stimme voll zu

Ich möchte prüfen, ob die Usability (schnell Informationen finden) einen Einfluss auf die Nutzungshäufigkeit der Suchmaschine hat.
Da ich somit unabhängige und abhängige Variable identifiziert habe, soll eine Regressionsanalyse das Instrument meiner Wahl sein.
Zunächst hatte ich das Problem, dass meine Variablen ordinal skaliert sind und sich für eine normale Regressionsanalyse nicht eignen - allerdings habe ich dann erfahren, dass man eine solche Skala mit in etwa gleichen Abständen durchaus in der Praxis mit Analyseverfahren untersucht, die eigentlich für metrische Variablen vorgesehen sind. Ist diese Erkenntnis schon einmal korrekt?

in SPSS habe ich dann Analyse / Regression / Linear ausgewählt und als abhängige Variable die Nutzungshäufigkeit und als unabhängige die Usability-Aussage definiert (habe sowohl versucht, diese vorher beide als metrisch zu skalieren, als auch sie einfach als ordinal skaliert zu belassen).

Mein Ergebnis interpretiere ich als äußerst Bescheiden bzw. nicht verwertbar (?):

1. R-Quadrat = 0,008 -> Also gleicht mein Ergebnis dem Zufall?
2. ANOVA Signifikanz = 0,810 -> Das gesamte Modell ist nicht signifikant?
3. Bei keiner der Konstanten herrscht eine Signifikanz vor. KonstanteN, weil ich auch mal getestet habe, mehrere Einflussgrößen in einer multiplen Regression zu prüfen. Bei der "Usability" beträgt die Signifikanz zum Beispiel 0,446

Ich hatte 125 Teilnehmer bei der Befragung und augenscheinlich würde ich sofort einen Einfluss anhand der Daten schätzen. 99% der Teilnehmer stimmten teilweise oder voll zu, dass sie mittels Suchmaschinen schnell relevante Informationen erhalten und 95% der Teilnehmer nutzen Suchmaschinen täglich oder mehrmals pro Woche.

Ich bin jetzt etwas ratlos und würde mich über Hilfe sehr freuen. Kann ich das Ergebnis irgendwie verwenden? Ich dachte zunächst, dass die Usability wohl einfach keinen Einfluss auf die Nutzungshäufigkeit hat, allerdings müsste für diese Aussage wohl die Signifikanz bei "ANOVA" <0,05 sein, oder?
Reineke
Grünschnabel
Grünschnabel
 
Beiträge: 6
Registriert: Mi 16. Mai 2018, 14:21
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post

Re: Regressionsanalyse nicht signifikant

Beitragvon PonderStibbons » Mi 16. Mai 2018, 15:23

Da ich somit unabhängige und abhängige Variable identifiziert habe, soll eine Regressionsanalyse das Instrument meiner Wahl sein.
Zunächst hatte ich das Problem, dass meine Variablen ordinal skaliert sind und sich für eine normale Regressionsanalyse nicht eignen - allerdings habe ich dann erfahren, dass man eine solche Skala mit in etwa gleichen Abständen durchaus in der Praxis mit Analyseverfahren untersucht, die eigentlich für metrische Variablen vorgesehen sind. Ist diese Erkenntnis schon einmal korrekt?

Mag sein, aber Deine Variable hat sowas von keine gleichen Abstände, dass etwas anderes anzunehmen
schon etwas sehr abwegig daherkäme. Eine ordinale Regression stattdessen wäre womöglich machbar.

Deine ordinalskalierten Prädiktoren Stimme nicht zu - Stimme eher nicht zu - Stimme eher zu - Stimme voll zu
müsstest Du in dummy-Variablen umwandeln (bei 4 Stufen 3 dummy-Variablen).
2. ANOVA Signifikanz = 0,810 -> Das gesamte Modell ist nicht signifikant?

So ist es.
99% der Teilnehmer stimmten teilweise oder voll zu, dass sie mittels Suchmaschinen schnell relevante Informationen erhalten und 95% der Teilnehmer nutzen Suchmaschinen täglich oder mehrmals pro Woche.

Ja, da hast Du dann sehr wenig Varianz drin (mal abgesehen davon, dass wie gesagt die Analyse mit all den
ordinalen Variablen so eigentlich nicht zulässig ist). Wo wenig Varianz drin ist, kann man auch kaum welche
aufklären (= R² sehr niedrig).
Kann ich das Ergebnis irgendwie verwenden?

Kommt auf den Kontext und die Fragestellung an. Hast Du tatsächlich erwarten dürfen, dass in der
Population, aus der Deine Stichprobendaten stammen, Suchmaschinen von einem nennenswerten
Anteil der Probanden selten oder gar nicht verwendet werden?

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11364
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2503 mal in 2487 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Reineke

Re: Regressionsanalyse nicht signifikant

Beitragvon Reineke » Mi 16. Mai 2018, 16:15

Hallo,

erstmal vielen Dank für Deine schnelle und ausführliche Antwort.

Mag sein, aber Deine Variable hat sowas von keine gleichen Abstände, dass etwas anderes anzunehmen
schon etwas sehr abwegig daherkäme. Eine ordinale Regression stattdessen wäre womöglich machbar.

Stimmt, das hätte mir selbst auffallen müssen. Die andere Variable mit den Ausprägungen "Stimme voll zu, Stimme eher zu, stimme eher nicht zu oder stimme nicht zu" könnte man aber als Ausprägungen mit gleichem Abstand sehen und somit auch bei Analysen für metrische Variablen verwenden? Natürlich nicht im Zusammenhang mit der Nutzungshäufigkeit, die ja doch keine gleichen Abstände aufweist.

Deine ordinalskalierten Prädiktoren Stimme nicht zu - Stimme eher nicht zu - Stimme eher zu - Stimme voll zu
müsstest Du in dummy-Variablen umwandeln (bei 4 Stufen 3 dummy-Variablen).

Okay, dann versuche ich das mal. Das ist für mich völliges Neuland, aber ich lese mich mal ein.

Ja, da hast Du dann sehr wenig Varianz drin (mal abgesehen davon, dass wie gesagt die Analyse mit all den
ordinalen Variablen so eigentlich nicht zulässig ist). Wo wenig Varianz drin ist, kann man auch kaum welche
aufklären (= R² sehr niedrig).

Danke - Den Zusammenhang habe ich so vorher nicht wahrgenommen

Kommt auf den Kontext und die Fragestellung an. Hast Du tatsächlich erwarten dürfen, dass in der
Population, aus der Deine Stichprobendaten stammen, Suchmaschinen von einem nennenswerten
Anteil der Probanden selten oder gar nicht verwendet werden?

Bei Suchmaschinen tatsächlich eher weniger, allerdings steht dieses Instrument hier stellvertretend für weitere Kommunikationsinstrumente von Unternehmen. Ich untersuche analog auch zum Beispiel QR-Codes von Unternehmen oder Chats mit Unternehmen über Messenger Apps. Suchmaschinen nutzt wohl jeder, bei den anderen Instrumenten sieht es etwas anders aus. Das nur so als Information, wollte die Frage nicht unbeantwortet lassen. :)

Beste Grüße
Reineke
Grünschnabel
Grünschnabel
 
Beiträge: 6
Registriert: Mi 16. Mai 2018, 14:21
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post

Re: Regressionsanalyse nicht signifikant

Beitragvon bele » Mi 16. Mai 2018, 16:34

Randnotiz:
PonderStibbons hat geschrieben:Wo wenig Varianz drin ist, kann man auch kaum welche aufklären (= R² sehr niedrig).
Kann ich das Ergebnis irgendwie verwenden?

Ich glaube, da hast Du Dich vertan. Auch wo wenig Varianz ist, kann man diese ggf. zu 100% aufklären und das R² ist ja die anteilig aufgeklärte Varianz. Das ist aber natürlich nur eine Fußnote und es wäre viel günstiger, wenn man eine Stichprobe mit großen Varianzen untersuchen könnte.

Zum Kern des Problems:
Ich verstehe nicht, warum man das so kompliziert angehen sollte. Täte es nicht eine einfache Spearman-Korrelation genausogut und mit wenig Voraussetzungsannahmen?

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5912
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1397 mal in 1383 Posts

folgende User möchten sich bei bele bedanken:
Reineke

Re: Regressionsanalyse nicht signifikant

Beitragvon PonderStibbons » Mi 16. Mai 2018, 16:52

Ich glaube, da hast Du Dich vertan. Auch wo wenig Varianz ist, kann man diese ggf. zu 100% aufklären und das R² ist ja die anteilig aufgeklärte Varianz.

Eher unvollständig ausgedrückt. Wenn man plausiblerweise von einer bestehenden und relevanten Korrelation zwischen den beiden Variablen ausgeht,
aber nur eine Teilgruppe mit Werten im höchsten Bereich hat, dann ist das eine immense range restriction. Um Varianz zwischen "Mehrmals die Woche"
und "Täglich" durch Usability (etc.) aufzuklären, bräuchte es dann schon eine extrem hohe Ausgangskorrelation zwischen den (unrestringierten) Variablen.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11364
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2503 mal in 2487 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Reineke

Re: Regressionsanalyse nicht signifikant

Beitragvon Reineke » Mi 16. Mai 2018, 16:56

Zum Kern des Problems:
Ich verstehe nicht, warum man das so kompliziert angehen sollte. Täte es nicht eine einfache Spearman-Korrelation genausogut und mit wenig Voraussetzungsannahmen?


Hallo Bernhard, danke für Deine Antwort.
Nun, die Spearman Korrelation gibt doch soweit ich weiß keine Kausalität an - Folglich kann ich mit dieser nicht begründen, dass die Usability (Schnelle und einfache Informationsbeschaffung über Suchmaschinen) einen Einfluss auf die Nutzungshäufigkeit hat, oder?
Sprich ich kann nicht zweifelsfrei erörtern, ob eine bessere Usability Ursache für eine höhere Nutzungshäufigkeit ist - oder sehe ich das falsch?
Oder: Wäre es in einer wissenschaftlichen Arbeit erlaubt, einfach aus dem Sachverhalt darzulegen, dass nur die Usability die Häufigkeit beeinflussen kann und die Häufigkeit ja nicht die Usability beeinflusst? Wobei ich mich da schon schwer tue - Wenn ich es genau nehme, kann die empfundene Usability schon auch von der Nutzungshäufigkeit beeinflusst werden, da ich bei häufiger Benutzung eine Suchmaschine effizienter verwende und somit die empfundene Usability (Einfachheit und Geschwindigkeit der Nutzung zur Informationsbeschaffung) steigt.

Sollte ich da einen Denkfehler haben, lasst es mich bitte wissen.


Da die andere Frage aus meinem vorherigen Beitrag vielleicht untergegangen ist:
Die andere Variable mit den Ausprägungen "Stimme voll zu, Stimme eher zu, stimme eher nicht zu oder stimme nicht zu" könnte man aber als Ausprägungen mit gleichem Abstand sehen und somit auch bei Analysen für metrische Variablen verwenden?

Grüße!
Reineke
Grünschnabel
Grünschnabel
 
Beiträge: 6
Registriert: Mi 16. Mai 2018, 14:21
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post

Re: Regressionsanalyse nicht signifikant

Beitragvon PonderStibbons » Mi 16. Mai 2018, 20:02

Nun, die Spearman Korrelation gibt doch soweit ich weiß keine Kausalität an - Folglich kann ich mit dieser nicht begründen, dass die UEsability (Schnelle und einfache Informationsbeschaffung über Suchmaschinen) einen Einfluss auf die Nutzungshäufigkeit hat, oder?
Sprich ich kann nicht zweifelsfrei erörtern, ob eine bessere Usability Ursache für eine höhere Nutzungshäufigkeit ist - oder sehe ich das falsch?

Das ist doch gar keine Frage der Auswertungsmethode Regression versus Korrelation, sondern des
Studiendesigns. Du hast ein komplett korrelatives Erhebungsdesign, nirgends wird eine Variable A
aktiv manipuliert, um zu beobachten, wie sich in der Folge Variable B verändert. Das eine in der
Regression zur "abhängigen" Variable zu machen und das andere zur "unabhängigen", ist eine willkürliche
Setzung des Nutzers. "Einfluss" lässt sich damit nicht belegen, da müsste das Regressionsverfahren schon
eine Art Zauberei leisten. Insofern ist einfache Regression und Korrelation im Vergleich egal.

Falls es sich tatsächlich nur um jeweils 2 (ordinale) Variablen handelt, die miteinander in Beziehung gesetzt
werden sollen, also gar keine multiple Regression (mit mehreren Vorhersagevariablen zugleich),
wäre die vorgeschlagene Rangkorrelation das Mittel der Wahl.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11364
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2503 mal in 2487 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Reineke

Re: Regressionsanalyse nicht signifikant

Beitragvon Reineke » Mi 16. Mai 2018, 23:04

Danke für Deine Mühen und die regen Erklärungen, allerdings weiß ich nicht recht, ob ich Dich richtig verstehe - vor allem, was mit korrelativem Erhebungsdesign gemeint ist.

Ich erkläre mal genauer, was ich beim Beispiel Suchmaschine alles so abfrage, vielleicht verdeutlicht das mein Problem.
Zunächst habe ich die Häufigkeit der Nutzung wie oben beschrieben abgefragt mit "täglich - mehrmals pro woche - mehrmals pro Monat - 1x pro monat, weniger als 1x pro monat - nie"

Dann habe ich mehrere Aussagen getroffen, denen der Teilnehmer der Befragung entweder voll zustimmen, eher zustimmen, eher weniger zustimmen oder gar nicht zustimmen konnte.
Folgende Aussagen:
- Ich finde durch Suchmaschinen schnell relevante Informationen.
- Ich sorge mich bei der Verwendung von Suchmaschinen um meine Privatsphäre.
- Ich klicke die obersten Ergebnisse der Suche an, unabhängig davon, ob diese Anzeigen sind oder nicht.
- Durch Suchmaschinen wird mein interaktives Erlebnis mit den gefundenen Unternehmen verbessert.

Meinst Du mit korrelativem Erhebungsdesign, dass die Fragen schon vorab so gestellt sind, dass ich eine Korrelation der Variablen ergibt?
Dies ist nämlich nicht der Fall. Die Variable "Sorge um die Privatsphäre" korreliert zum Beispiel überhaupt nicht mit irgendeiner anderen Variable. Dabei habe ich das Ziel verfolgt, festzustellen ob die "Privatsphäre" ein Einflussfaktor auf zum Beispiel die Nutzungshäufigkeit ist. Viele Teilnehmer nutzen Suchmaschinen häufig / täglich und haben gleichzeitig Bedenken um Ihre Privatsphäre. Eine Korrelation nach Spearman war im Test nicht signifikant.
Wenn ich doch untersuche, welche Einflusfaktoren es auf etwas gibt, dann muss ich doch vorab definieren, welche die unabhängigen Variablen (Einflussfaktoren) und welche die abhängige Variable ist (also das " Einfluss worauf")
Das Thema der Arbeit gibt ja sozusagen bereits her, dass die Einflussfaktoren auf etwas bestimmtes, die unabhängige Variable, gesucht werden.

Bitte nicht falsch verstehen, ich bin sehr dankbar für die Beiträge in so kurzer Zeit, das ist echt klasse! ich bin nur durch den ganzen Input etwas verwirrt. Ist dann etwa doch die Korrelation (nach Spearman) das Maß meiner Wahl und ich kann damit ausdrücken, ob z.B. die Privatsphäre oder die Usability Einflussfaktor auf die Nutzungshäufigkeit von Suchmaschinen, QR-Codes oder Apps sind?

Wenn Ihr mir diese Frage noch einmal abschließend beantworten könntet, wäre ich Euch echt dankbar.

Vielen Dank, ich weiß Eure Hilfe echt zu schätzen.
Reineke
Grünschnabel
Grünschnabel
 
Beiträge: 6
Registriert: Mi 16. Mai 2018, 14:21
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post

Re: Regressionsanalyse nicht signifikant

Beitragvon PonderStibbons » Mi 16. Mai 2018, 23:43

Meinst Du mit korrelativem Erhebungsdesign, dass die Fragen schon vorab so gestellt sind, dass ich eine Korrelation der Variablen ergibt?

Korrelativ = nicht-experimentell, im Sinne von "es gibt keine experimentelle Manipulation einer unabhängigen Variable". Es gibt in Deinem Design keine Möglichkeit, kausale Beziehungen zu belegen . A könnte B verursachen oder B könnte A verursachen, oder beide können gemeinsam von C verursacht sein (Scheinkorrelation).

Ist dann etwa doch die Korrelation (nach Spearman) das Maß meiner Wahl und ich kann damit ausdrücken, ob z.B. die Privatsphäre oder die Usability Einflussfaktor auf die Nutzungshäufigkeit von Suchmaschinen, QR-Codes oder Apps sind?

Egal ob mit Korrelation oder Regression, Du kannst "Einfluss" (= Kausalität) nicht belegen, sondern nur untersuchen, ob ein korrelativer Zusammenhang besteht. Solange nicht mehrere Variablen simultan eine abhängige Variabe vohersagen sollen, wäre die Rangkorrelation hier aber das einfachere Mittel.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11364
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2503 mal in 2487 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Reineke

Re: Regressionsanalyse nicht signifikant

Beitragvon Reineke » Do 17. Mai 2018, 08:04

Okay vielen Dank, jetzt habe ich es auch verstanden.

Aus Interesse für die Zukunft:
Wie hätte denn die Studie designed sein müssen, damit ich den Einfluss belegen könnte?
Hätte ich die Probanden dann stets direkt fragen müssen: "Wenn X besteht, wirkt sich das auf Y aus?" oder am Beispiel: Eine schnellere und intuitivere Bedienung (Usability) führt dazu, dass ich Suchmaschinen häufiger nutze"?

Beste Grüße
Reineke
Grünschnabel
Grünschnabel
 
Beiträge: 6
Registriert: Mi 16. Mai 2018, 14:21
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post

Nächste

Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 18 Gäste

cron