STATISTIK-FORUM.de

[bele]

Hallo,

ich bin in einem frühen Planungsstadium einer möglichen Untersuchung und stelle fest, dass ich gar nicht weiß, wie ich das anstehende Problem statistisch angehen soll. Wir wollen einen Nahrungsmittelzusatz für Patienten untersuchen, der in ähnlicher Form von verschiedenen Firmen geliefert wird. Ich will feststellen, ob diese Präparate sich in Geschmack/Mundgefühl/wasauchimmer wesentlich unterscheiden und oder ob das alles das gleiche ist.

Wir nehmen Vanilleeis als Beispiel: Es wird von vielen Firmen hergestellt, es unterscheidet sich eher im Detail als im Groben und ähnelt dem tatsächlichen Nahrungszusatz in folgendem: wenn ich Laien-Testpersonen ein Vanielleeis vor die Nase stelle, wird es ihnen schwer fallen, das zu beurteilen (schmeckt halt nach Vanilleeis). Stelle ich zwei Sorten Vanilleeis hin, werden sie durchaus entweder eines lieber mögen als das andere oder beide gleich gut/schlecht finden. Stelle ich zehn Sorten Vanilleeis hin, wird kaum jemand den Überblick behalten, weil alles irgendwie kalt, süß und nach Vanille schmeckt.

Mein Plan ist folgender: Ich akquiriere mehrere Sorten Vanilleeis (eine liebe Kollegen recherchiert noch, wieviele auf dem Markt sind) und gesunde Laien-Tester. Jetzt stelle ich den verblindeten Testern der Reihe nach immer zwei Sorten Eis hin und frage, ob ihnen eines lieber ist und wenn ja welches. Durch einen schlauen Versuchsplan und eine geschickte Auswertung, bringe ich die Eissorten nachher in die richtige Beliebtheitsreihenfolge, vor allem aber, ich quantifiziere, wie groß die Unterschiede überhaupt sind (toll wäre, wenn die Unterschiede geringfügig wären und man einfach das Eis kaufen könnte, dass der Supermarkt um die Ecke da hat).
Hinsichtlich des Versuchsablaufs ist noch alles offen. Vielleicht kann ein Tester ja auch drei Sorten oder vier Sorten auf einmal beurteilen.


Nun stellt sich die Frage, wie ich das von der Auswertungsseite angehe, damit ich dann prüfen kann, welche Zahl von Produkten und welche Zahl von Ratern ich realistisch erreichen kann. Ich dachte erst, das ginge in Richtung Conjoint-Analyse, aber die scheint für die kompliziertere Frage da zu sein, was ein gutes Produkt ausmacht. Ich will nur wissen, ob ein Produkt besonders gut ist und wenn ja, welches.

Die Auswertung würde ich bevorzugt in R machen, aber erstmal geht es um den Algorithmus, der mir aus einer Reihe von Paarvergleichen (etc.) eine Rangfolge erstellt, wobei es wichtig ist, dass die Paarvergleiche auch eine Gleichwertigkeit ergeben können.

Hat jemand einen Vorschlag für mich?

Viele Grüße,
Bernhard

[strukturmarionette]

Hi,

Wir wollen einen Nahrungsmittelzusatz für Patienten untersuchen
Mein Plan ist folgender: Ich akquiriere mehrere Sorten Vanilleeis und gesunde Laien-Tester.

- Was ist Zielpopulation: Kranke Patienten /Patientinnen oder Gesunde?
- Worum geht konkret?

Gruß
S.

[PonderStibbons]

Bei einem vollständige Versuchsplan (alle Objekte werden mit allen gepaart)
wäre am einfachsten ein Vorgehen wie beim Sport. Aus jedem Vergleich
ergibt sich für ein Vanilleis entweder 0 Punkte ("schlechter als das andere")
oder 1 Punkt ("unentschieden") oder 2 oder 3 Punkte ("besser"). Am Ende
ergibt sich für jeden Rater eine Abschlusstabelle. Von Interesse wäre dann
noch, wie konsistent die Tabellen (Rangfolgen, Punkteabstände) über mehrere
Rater hinweg sind.

Mit freundlichen Grüßen

PonderStibbons

[bele]

@strukturmarionette:
Es geht konkret darum, dass Kranke sich das Zeugs in ihre Lebensmittel mischen sollen und die Behauptung ist, dass es den Genuss kaum stört. Nachdem in einem Krankenhaus durch Anweisung der Klinikapotheke das Produkt gewechselt wurde (d. h. wohl, dass es billiger im Einkauf ist) behaupten die Krankenschwestern, dass das vorherige Produkt geschmacklich neutraler (ist gleich angenehmer) und haptisch weniger störend, war als das neue (großes Placebo/Nocebo-Potenzial, denn was nichts kostet, ist auch nichts und denen da oben sind unsere Patienten eh egal und außerdem haben wir das immer anders gemacht). Da die Patienten oft sehr alt und oft auch hinfällig sind, möchte ich die Blindverkostung mit gesunden Probanden durchführen. Stellen die keinen Unterschied fest, ist das Thema für mich durch. Bestätigen die einen nicht nur marginalen Unterschied, dann überlege ich mir, ob ich eine "Verkostung" mit echten Patienten mache.
Die Zielgruppe der eigentlichen Forschungsfragestellung wären also kranke Patienten, die Studienpopulation wahrscheinlich eher junge, gesunde Studierende. Falls ich die so finde, wie ich hoffe und falls ein paar andere Dinge klappen, die nicht meine Aufgabe im Projekt sind.
Unabhängig von der konkreten Fragestellung würde ich gern wissen, wie man aus fehlerbehaufteten Paarvergleichen eine Rangreihe schätzen kann. Das Problem scheint so Grundlegend, da müssen schlauere Leute als ich mal drüber nachgedacht haben.


@PonderStibbons:
Vielen Dank für den konstruktiven Vorschlag. Ich hatte eigentlich an was komplexeres gedacht, aber das ist so schlicht, dass es schon wieder Freude macht. Wäre auch dem Leser leicht zu erklären. Wenn ich 8 Produkte zu vergleichen hätte, wären das 8 + 7 + 6 + ... + 1 = 36 Produktpaare, wenn ich 18 Probanden finde, könnte jeder 4 Paarvergleiche machen und dann hätten wir jedes Produktpaar 2 Mal. Damit könnte man eine Art Retest-Reliabilität bestimmen. Wenn man weiß, in wieviel Prozent die Tester einen Unterschied finden und in wieviel Prozent sie keinen finden, dann kann man eine Simulation rechnen, welche Punktwerte bei zufälligen Urteilen herauskommen und damit eine Art Signifikanztest für die tatsächlich beobachteten Punktwerte erstellen. Oder vielleicht könnte man auch eine Art Permutationstest machen. Da muss ich noch viel drüber nachdenken.

Was mir an dem Vorschlag (noch?) nicht so gefällt: [list=]
[*] Ich vermute, dass dieses einfache Punktesystem Information verschenkt. Nehmen wir das Fußballbeispiel: Wenn der FC Schalke gegen Borussia Dortmund gewinnt, dann sagt dass doch mehr über seine Leistung, als wenn er gegen Sportsfreunde Bumsbach gewinnt. Das einfache Punktesystem bewertet aber beides gleich. Oder denke ich hier falsch?
[*] Ein vollständiger Versuchsplan ist noch keine vollständige Versuchsdurchführung. Wenn irgendeiner der Rater nicht auftaucht oder vorzeitig abbricht oder das Antwortformat nicht einhält, dann hätte ich gerne einen guten Plan B in der Tasche, damit nicht die ganze Auswertung zusammen bricht.
[*] Ich hätte gerne auf ein fertiges statistisches System zurückgegriffen, in dem ich die Prüfung auf Über-Zufälligkeit nicht selbst erfinde und die von Dir angesprochene Konsistenzprüfung der entstehenden Reihung geklärt ist, und so weiter. Wenn ich veröffentliche, dass das Produkt X schlecht war, muss ich gegen Anwürfe von Vertretern der Firma X gewappnet sein bzw. der Reviewer, der dem zustimmt, weiß, dass da noch eine Marketingabteilung sehr genau drauf schauen wird und wird selbst entsprechend kritisch. Selbstgestricktes verkauft sich da schlechter.
[*] In der Rasch-Analyse wird ja irgendwie gleichzeitig ein Schwierigkeitsgrad eines Items und auch ein Leistungsniveau eines Prüflings erhoben. Es könnte ja sein, dass einige Rater leichtfertig Unterschiede feststellen und andere nur Unterschiede angeben, wenn sie sich sehr, sehr sicher sind. Dann wären die Beobachtungen nicht mehr i. i. d.. Ich muss nochmal darüber nachdenken, wie problematisch ich das finde.
[/list]

Gibt es dazu Gedanken?

Viele Grüße,
Bernhard

[PonderStibbons]

Ich vermute, dass dieses einfache Punktesystem Information verschenkt. Nehmen wir das Fußballbeispiel: Wenn der FC Schalke gegen Borussia Dortmund gewinnt, dann sagt dass doch mehr über seine Leistung, als wenn er gegen Sportsfreunde Bumsbach gewinnt. Das einfache Punktesystem bewertet aber beides gleich. Oder denke ich hier falsch?

Wenn alle gegen alle paarweise verglichen werden, stellt sich das Thema nicht. Das wäre eher so bei der Tennis-Weltrangliste, oder bei der Fifa-Rangliste der Nationalmannschaften, weil in diesen Fällen nicht alle mit allen verglichen werden.

[*] Ein vollständiger Versuchsplan ist noch keine vollständige Versuchsdurchführung. Wenn irgendeiner der Rater nicht auftaucht oder vorzeitig abbricht oder das Antwortformat nicht einhält, dann hätte ich gerne einen guten Plan B in der Tasche, damit nicht die ganze Auswertung zusammen bricht.

Alternativ könnte man eine Rangreihe dadurch bilden, dass für jeden Paarvergleich alle vorhandenen Beurteilungen
herangezogen werden. Bei 8 Ratern geht vielleicht das Präferenzvoting A vs. B mit 7:1 aus, das von B versus C geht
5:2 aus, weil 1 Rater hier nicht mitgemacht hat. Wie man die unterschiedlichen Quoten verrechnet, weiß ich aber
nicht auf Anhieb.

Wenn ich veröffentliche, dass das Produkt X schlecht war, muss ich gegen Anwürfe von Vertretern der Firma X gewappnet sein bzw. der Reviewer, der dem zustimmt, weiß, dass da noch eine Marketingabteilung sehr genau drauf schauen wird und wird selbst entsprechend kritisch. Selbstgestricktes verkauft sich da schlechter.

Ich räume ein, ich bin nicht auf dem besten Stand, was das Thema angeht. Es gibt eine Menge ausgefuchster mathematischer paper dazu,
welche Lösungen in der Marktforschung akzeptiert werden, weiß ich nicht.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Hallo Forum,

ich bin gerade mit meiner Suche ein gutes Stück weiter gekommen und über einen Umweg ("MaxDiff") vorläufig erst einmal beim "Bradley–Terry model" gelandet. Noch beschränkt sich mein Wissen auf die Lektüre dieser Wikipedia Seite: https://en.wikipedia.org/wiki/Bradley%E ... erry_model und dieser Einführung in ein geeignetes R Paket: https://cran.r-project.org/web/packages ... lable.html

Meine obige Ahnung, dass es doch irgendwie so ähnlich wie bei der Rasch-Analyse gehen könnte, war anscheinend gar nicht so falsch. Das Bradley-Terry modell modelliert eine Wahrscheinlichkeit, dass meine Tester das eine Produkt gegenüber dem anderen bevorzugen könnten und findet dazu einen Lageparameter für jedes Item. Dafür sind Paarvergleiche erforderlich, wohl aber kein vollständiger Versuchsplan.

Ich werde mich noch schlauer machen, aber das sollten erstmal brauchbare Hinweise sein, wenn das hier später mal jemand mit ähnlichem Problem lesen sollte.

Viele Grüße,
Bernhard