STATISTIK-FORUM.de

[Jonny05]

Hallo zusammen,

ich möchte 2 Erhebungsmethoden miteinander vergleichen. Ziel ist es signifikante unterschiede im Antwortverhalten festzustelen, die auf die Erhebungsmethode zurückführen sind z.B. sozial wünschenswertes Verhalten.
Ich habe mich für ein Splitt Ballot Design entschieden, da die Ergebnisse die ich erhoben habe auch inhaltlich für ein anderes Projekt genutzt werden sollen und ein Test Retest einen zu experimentellen Charakter hätte, was die Datengüte negativ beeinflussen könnte.
Durch dieses Design ergeben sich zwei zufällig ausgewählte Substichproben, die sich in der Erhebungmethode voneinander unterscheiden. Ein Problem ist jedoch, dass sich die Stichproben wie zu erwarten nicht nur in der Methdoe, sondern auch über "Erhebungsinstrummentspezifische Strukturvariablen" der Demographie(Alter, Geschlecht, Bildung, Erwerbstätigkeit,...) unterscheiden. Von einer Gleichverteilung dieser Merkmale ist leider nicht auszugehen.
Diese Merkmale jedoch haben auf meine Untersuchungsitems, die potenziell von der Methode beeinflusst werden, einen verzerrenden Einfluss. Mich interessiert jedoch primär der "konservierete" Einfluss der Methode und nicht z.B. indirekte Einfluss des Alters welches sich über die Methode stark variiert.

Zu diesem Zweck habe ich Regressionsmodelle gerechnet mit den Strukurvariablen und einem Methodendummy als unabhängige Variablen. Dies führte zu interessanten Ergebnissen.

Diese Ergebnisse würde ich noch gerne auf eine andere Art und Weise prüfen/untermauern. Hat evtl jemand Anregungen, Tips oder Erfahrungen?

Ich dachte da z.B. an ein Matching (suchen eines "Statistischen Zwillings" bzgl. dieser Strukturvariablen in der jeweils anderen Methode). Hat jemand mit so etwas Erfahrung oder Literatur. Ich arbeite zur Zeit mit SPSS, bin aber was die Programnutzung angeht offen für anderes um mein Ziel zu erreichen

Hat jemand eine andere Idee wie ich die Methodeneffekte konserviert testen könnte?


Vielen Dank für die Hilfe im Voraus!

Gruß J.

[PonderStibbons]

Ein Problem ist jedoch, dass sich die Stichproben wie zu erwarten nicht nur in der Methdoe, sondern auch über "Erhebungsinstrummentspezifische Strukturvariablen" der Demographie(Alter, Geschlecht, Bildung, Erwerbstätigkeit,...) unterscheiden.

Wie kann das sein, wenn Du eine zufällige Aufteilung hast? Bzw. was meinst Du mit
'unterscheiden', kleinere Unterschiede sind natürlich auch durch Zufall zu erwarten?

Diese Merkmale jedoch haben auf meine Untersuchungsitems, die potenziell von der Methode beeinflusst werden, einen verzerrenden Einfluss.

Verstehe ich nicht. Was konkret meinst Du?

Gruß

P.

[Jonny05]

Also, sorry wenn ich mich nicht klar ausgedrückt habe. Ich habe die eine Gruppe online und die 2. Gruppe telefonisch betragt. Somit unterscheiden sich leider die Substichproben totz der Zufallsauswahl und der zufälligen Zuordnung zur Methode in demographischen Variablen(Stichwort digitale Kluft z. B.).
Ich will zeigen dass die Unterschiede nicht nur durch die demographischen Unterschiede zurueckzufuehren sind sondern auch auf die Erhebungsmethode. Deswegen habe ich wie oben erwähnt versucht den methodeneffekt wie oben beschrieben zu isolieren.

[PonderStibbons]

Matching liegt da nahe. Allerdings gerät man oft bereits nach 3 bis 4 Kriterien an die
Grenzen, passende Partner zu finden. Propensity Scoring würde alle Kovariaten einbeziehen.
Ein kurzer Abriss des Vorgehens ist in http://pareonline.net/pdf/v11n9.pdf gegeben
(dort geht es meistens um "treatment groups", aber die Logik passt auch auif Deine Studie).

Gruß

P.

[Jonny05]

Hi PonderStibbons,

danke für die Quelle und deine Anmerkungen.
Prospensity Gewichting ist mir ein Begriff als mehr oder minder erfolgloser Ansatz um Oninebefragungenen repräsentativ zu machen. Aber in dem Fall hast, geht es ja hier nicht um Repräsentativität. Diesen gedanken werde ich mal "weitersprinnen"! Wie festgefahren man doch manchmal ist
Was das Mathing angeht so war das ja auch eine Idee von mir (siehe erster Post). Jedoch ist es bei mir ein wenig an der Ausführung gescheitert. Die Theorie dahinter ist mir soweit klar, jedoch die Durchführung überfordert mich gerade. Gibt es spezielle Programme für sowas? Kann SPSS das?( ich habe unter den gängigen Funkionen und beim googlen nicht wirklich überzeugendes gefunden).
Eine Programmierung einer Syntax die ein Distanzmaß zwischen den Fällen der Subgruppe 1 und denen der Subgruppe 2 berechnet und die jeweiligen fälle mit der geringsten Distanz einander zuordnet wäre ein Ansatz an den ich gedacht habe (ähnliche einer Clusteranalyse, wo jedoch die Cluster nur aus 2 Fällen bestehen, welche jeweils auch 2 verschiedenen Subgruppen entstammen müssen). Über Anregungen würde ich mich sehr freuen.

Gruß
J.

[PonderStibbons]

Für matching anhand propensity scores gibt es eine SPSS-Systax von Raynald Levesque
http://www.spsstools.net/Syntax/RandomS ... Scores.txt .
Die scores selber kann man mit einer logistischen Regression ja relativ einfach berechnen und
abspeichern lassen.

Was Distanzmaße angeht, wäre ich skeptisch, da Du anscheinend Kovariaten gemischten
Skalenniveaus hast. Die müsstest Du wohl erst einmal alle auf das niedrigste Niveau
transformieren, und das wäre ein herber Informationsverlust.

Gruß

P.

[Jonny05]

Danke schonmal!

Ich werde den Vorschlag direkt mal aufgreifen und mich mal in die Richtung ein wenig orientieren. Was das das Distanzmaß angeht so war das nur ein Ansatz, den ich auch noch nicht wirklich durchdacht habe. Was den Infoverlust angeht so gebe ich dir recht.
U.a. aus diesem Grund habe ich das auch noch nicht weiter verfolgt. Es sollte nur einen Denk/Diskussionsansatz bieten.

[daniel]

Soweit ich sehe lässt sich mit dem SPSS Code nur ein "einfaches" Matching durchführen. Wenn Dir das genügt ist es ok.

Falls nicht, kannst Du Dich (falls es Dir nicht zuviel Arbeit ist, oder Dein Zeitkontingent es nicht erlaubt) mit Stata befassen. Dort gibt es das Programm -psmatch2-, dass PSM mit verschiedenen Matching Algorithmen erlaubt. Ich kann mir vorstellen, dass es auch für R Packete gibt, die das erlauben.

Grundsetzlich halte ich PSM für geeignet Deiner Forschungsfrage nachzugehen. Die verschiedene Algorithmen führen assymptotisch übringens zum selben Ergebniss.

[Jonny05]

Hallo Daniel,

auch dies werde ich mir mal ansehen. HAst du evtl. nen Literaturtip?

[Holgonaut]

Hi Leute,
hier noch etwas Literatur zu matching und dem R-Paket "matchIt":

Shadish, W.R., & Steiner, P.M. (2010). A primer on propensity score analysis. Newborn & Infant Nursing Review, 10(1), 19-26.

Heinrich, C., Maffioli, A., & Vázquez, G. (2010). A primer for applying propensity-score matching. Impact-Evaluation Guidelines, Technical Notes No. IDB-TN-161. Office of Strategic Planning and Development Effectiveness, Inter-American Development Bank.
http://idbdocs.iadb.org/wsdocs/getdocum ... m=35320229
(Enthält am ende eine Auflistung der R-Pakete)

Harder et al. (2010) Propensity score techniques and the assessment of measured covariate balance to test causal associations in psychological research.  Psychological Methods 15(3) 234-249. 

Sekhon, J.S. Multivariate and propensity score matching software with automated balance optimization: the Matching package for R. Journal of Statistical Software
http://psfaculty.ucdavis.edu/bsjjones/MatchingJSS.pdf

Hoshino, T., Kurata, H., & Shigemasu, K. (2006). A propensity score adjustment for multiple group structural equation modeling.  Psychometrika, 71(4), 691-712. 

Haviland, A., Nagin, D.S., & Rosenbaum, P.R. (2007). Combining propensity score matching and group-based trajectory analysis in an observational study. Psychological Methods, 12(3), 247–267

MatchIt - guide: http://gking.harvard.edu/node/4355/rbui ... atchit.pdf

Gruß
Holger