ich würde gerne von mir erhobene Daten auswerten und Gruppen auf signifikante Unterschiede vergleichen. Allerdings bin ich mir nicht ganz sicher, ob ich die richtigen Tests anwende. Vielleicht kann mir ja jemand von euch Feedback geben, ob ich komplett in die falsche Richtung gehe (und evtl. auch anmerken, was die richtige Richtung ist
) oder ob das so ok ist. Und zwar geht es um folgendes:1. Ich will die Prognosegenauigkeit in Form von Hit-Rates in zwei Gruppen miteinander vergleichen. Insgesamt prognostiziere ich 5 Werte und schaue bei jedem Probanden, wieviele "Treffer" ich erzielt habe, also wie oft ich richtig prognostiziert habe. D. h. jeder Proband kann die Ausprägungen 0%, 20%, 40%, 60%; 80% und 100% annehmen. Das kann ich für alle Probanden der zwei Gruppen berechnen und dann für jede Gruppe eine durchschnittliche Hit-Rate bilden. Bei n=50 vs. n=40 Probanden kann ich doch dann auf Basis eines einfachen t-Tests die Mittelwerte der beiden Gruppen vergleichen oder?
2. Nun mache ich noch eine zweite Prognose, bei der ich über die zwei Gruppen jeweils nur einen Wert vorhersage, d.h. die einzigen Möglichkeiten sind 0% oder 100% bzw. Treffer vs. kein Treffer. Auch heir kann ich pro Gruppe leicht berechnen wie hoch mein Trefferanteil pro Gruppe ist. Allerdings scheidet hier ein t-Test zum Gruppenvergleich doch aus? Ich würde hier entweder einen approximativen Binomialtest durchführen, um die Anteilswerte ("Treffer pro Gruppe") miteinander zu vergleichen oder einen Chi^2-Test, wobei hier evtl. auch der exakte Test nach Fisher auf Grund der kleinen Stichprobengröße sinnvoll wäre oder?
3. Kann ich meine Werte auch mit der reinen Zufallsprognose vergleichen? Also bspw. wenn die Trefferwahrscheinlichkeit bei reinem Zufall 25% wäre und ich sie mit der durchschnittlichen Trefferquote einer Gruppe vergleichen will von z. B. 75%. Dies würde ich auch über einen Vergleich zweier Anteilswerte vornehmen. In diesem Fall benötige ich allerdings ein "n" für die reine Zufallsprognose. Kann ich das n einfach so groß wählen, wie das n der Gruppe, mit welcher ich die reine Zufallsvorhersage vergleichen will?
4. Abschließend würde ich gerne RMSE Werte miteinander vergleichen. Ist es hier zulässig, dass ich einfach die MSE-Werte zweier Gruppen via t-Test miteinander vergleiche und dies auch für denn RMSE gültig ist, da der RMSE ja lediglich eine monotone Transformation des MSE darstellt?
Vielen Dank für eure Hilfe schon einmal im Voraus!
