STATISTIK-FORUM.de

[Stetik]

Hallo,
ich habe eine Frage die zwar einfach ist aber ich komme einfach nicht weiter.

Und zwar möchte ich Zahlen (etwa 2500 Stück wären es jedesmal) prüfen können ob sie Normalverteilt sind oder nicht, mehr nicht.
Ich hab der Einfachheit halber mal diesen Test online genutzt, der reicht völlig aus
https://statistikguru.de/rechner/normal ... chner.html

Keinen propability-plot und kein Histogramm usw. Nur die Aussage Ja/Nein ist völlig ausreichend.

Leider funktioniert dieser Test aber nicht an einem Offline-Computer.

Gibt es etwas das ich diese Tests auch in Excel machen kann oder in HTML / JS, whatever?
Es sollte halt ohne Installation einfach auf jedem System laufen können.
Und praktisch wärs wenn das dann in einer Exceltabelle geht, also ohne drölf Exceltabellen zu öffnen, muss aber nicht unbedingt.

Wär echt schick wenn ihr mir da was empfehlen könnt.

Ich hoff ich konnte mich verständlich ausdrücken.

LG, Stefan

[PonderStibbons]

Und zwar möchte ich Zahlen (etwa 2500 Stück wären es jedesmal) prüfen können ob sie Normalverteilt sind oder nicht, mehr nicht.
Ich hab der Einfachheit halber mal diesen Test online genutzt, der reicht völlig aus
https://statistikguru.de/rechner/normal ... chner.html

Der prüft nicht, ob die 2500 Zahlen normalverteilt sind. Das kannst Du per grafischer Methoden machen.

Der prüft, ob man die Nullhypothese verwerfen kann, dass die Zahlen eine Stichprobe aus einer exakt (!)
normalverteilten Grundgesamtheit sind.

Ist das für Dich überhaupt von Interesse?

Keinen propability-plot und kein Histogramm usw. Nur die Aussage Ja/Nein ist völlig ausreichend.

Die ist eigentlich wertlos bei n=2500. In fast allen Szenarios sorgt die sehr große statistische Power einer
solch großen Stichprobe dafür, dass die Normalverteilungsannahme verworfen wird. In der Wirklichkeit
gibt es keine völlig exakte Normalverteilung https://media.gradebuddy.com/documents/ ... 45022a.pdf

Allerdings kenne ich die Natur Deiner Daten nicht.

Und praktisch wärs wenn das dann in einer Exceltabelle geht, also ohne drölf Exceltabellen zu öffnen, muss aber nicht unbedingt.

Das verstehe ich nicht so ganz.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Hallo,

ich glaube auch, dass man vorrangig die Fragestellung hinterfragen sollte. Ansonsten habe ich gerade "excel test normality" in Ecosia eingegeben und eine ganze Reihe von Treffern angezeigt bekommen. Sowohl Texte als auch Youtube Videos. Die Autoren können bestimmt sehr viel mehr Excel als ich.

LG, Bernhard

[PonderStibbons]

Excel kann das nicht, soweit ich weiß, aber die entsprehcneden (kostenpflichigen?) Statistik-Plugins.

[Stetik]

Der prüft nicht, ob die 2500 Zahlen normalverteilt sind. Das kannst Du per grafischer Methoden machen.

Der prüft, ob man die Nullhypothese verwerfen kann, dass die Zahlen eine Stichprobe aus einer exakt (!)
normalverteilten Grundgesamtheit sind.

Ist das für Dich überhaupt von Interesse?

Die ist eigentlich wertlos bei n=2500. In fast allen Szenarios sorgt die sehr große statistische Power einer
solch großen Stichprobe dafür, dass die Normalverteilungsannahme verworfen wird. In der Wirklichkeit
gibt es keine völlig exakte Normalverteilung https://media.gradebuddy.com/documents/ ... 45022a.pdf

Allerdings kenne ich die Natur Deiner Daten nicht.

Ok ich kann nicht soo weit ausholen weil das dann zu völligen Abwegen führt.
Die 2500 war falsch, aber ähnlich. Mein Fehler, war heut derb beschäftigt.

Ich habe Zahlen von 1 bis 2048 und die werf ich durcheinander mit einem CSPRNG. Davon wähle ich dann 23 aufeinanderfolgende Zahlen aus.

In beiden Fällen, also die 2048 zerwürfelten Zahlen wie auch die 23 folgenden Zahlen möchte ich prüfen ob sie Normalverteilt oder Nicht Normalverteilt sind
Denn speziell die 23 Zahlen können durchaus wieder Normalverteilt sein, je nachdem aus welchem Bereich der zerwürfelten Zahlen man sie herausnimmt.

Und diese 23 Zahlen sind halt wichtig. Das man da Nichtnormalverteilte Zahlen rausbekommt ist halt deutlich schwieriger.

Hallo,

ich glaube auch, dass man vorrangig die Fragestellung hinterfragen sollte. Ansonsten habe ich gerade "excel test normality" in Ecosia eingegeben und eine ganze Reihe von Treffern angezeigt bekommen. Sowohl Texte als auch Youtube Videos. Die Autoren können bestimmt sehr viel mehr Excel als ich.

LG, Bernhard

Pff ja es gibt schon einiges. Ich hab mir heute auch schon sechs verschiedene Exceltabellen zum auswerten gestrickt. Aber das klappt noch nicht Reibungslos und ich muss da noch nacharbeiten.
Speziell der Anderson-Darling ist ein bisschen kompliziert.

Im englischen Excel gibts die Funktion ANDERSON, im deutschen denselben. Aber im deutschen Excel fehlen die restlichen Anderson-Funktionen offenbar. Oder es liegt an der Version. Konnt ich noch nicht genau eruieren was da die Ursache ist.

Ich hab auch noch eine Vorlage von dem Six Sigma Blackbelt, aber nur noch die Vorlage die man im internet runterladen kann. Seit ich bei der Arbeit schon zwei neue Computer (Alle drei Jahre) bekommen habe ist der ganze Krempel weg. Die IT meint das Minitab und die Blackbelt so teuer sind das ich die nicht mehr bekomme Total schräg.

Aber nun brauch ich das halt mal privat weil ich was machen will denn in dieser Vorlage ist ein Anderson-Darling-Test mit drin um die eingegebenen Werte auf Normalverteilung zu prüfen.
Ich würd daher natürlich gern wissen welche Berechnung in der Vorlage drin ist, ich kann mir die nicht anschauen weil der Bereich von der Vorlage geschützt ist.
Das ist diese Vorlage: https://www.sixsigmablackbelt.de/wp-con ... 30428.xlsm

Excel kann das nicht, soweit ich weiß, aber die entsprehcneden (kostenpflichigen?) Statistik-Plugins.

Doch das geht mit Excel. Es gibt allerdings verschiedene Wege, also auch alternative Berechnungsmethoden. Einmal mit der Funktion ANDERSON usw. aber auch "zu Fuß".
Mit Plugins wärs sicher einfacher, aber ich muss das in Excel machen weil das dann überall funktioniert. Ich mach die Aktion nicht nur für mich sondern das sollen auch andere nutzen können wenn sie möchten. Daher muss das mit normalem Excel laufen ohne zusätzliche Sachen.

Zusätzlich will ich dasselbe später auch in HTML auf einer Seite umsetzen die offline funktioniert damit es auch für Leute funktioniert die kein Excel haben, oder eine andere Tabellenkalkulation oder oder oder.
Das ist dann aber noch ne völlig andere Baustelle.

Also jedenfalls hab ich mich zuletzt vor gefühlt Tausend Jahren intensiv mit Excel und Minitab beschäftigt bei der Arbeit.
So hab ich dann heute zuhause echt übel rumgequält bis ich die ersten 6 Analysen zusammengestrickt hatte.

Aber der verfluchte Anderson-Darling-Test fehlt mir. Der klappt halt mit dem deutschen Excel bzw. der vorhandenen Version nicht.

Aber mit der Six Sigma Vorlage gehts, also ist es möglich. Ich muss nur wissen wie ich das in Excel machen muss.
Da hoffe ich halt das ihr mir da weiterhelfen könnt.

[PonderStibbons]

In beiden Fällen, also die 2048 zerwürfelten Zahlen wie auch die 23 folgenden Zahlen möchte ich prüfen ob sie Normalverteilt oder Nicht Normalverteilt sind

Das kann wie gesagt der statistische Signifikanztest nicht prüfen, weil es dort nicht um Aussagen zur Verteilung der Stichprobe geht,
sondern zur Verteilung in der Grundgesamtheit. Der Test sagt aus, wie wahrscheinlich die Stichproben-Daten wären, wenn die
Grundgesamtheit exakt normalverteilt sein sollte.

In der Natur wird diese Nullhypothese stets verworfen, wenn die Stichrprobe groß ist (= große statistische power, Verwerfung auch
bei kleinen Abweichungen der Stichprobendaten von der Normalverteilung) und sehr oft fälschlich beibehalten, wenn die
Stichprobe klein ist (= geringe statistische power).

Insofern liest es sich so, als würden Deine Fragestellung und die Lösung (inferenzstatistischer Test) nicht zusammenpassen.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Ich habe Zahlen von 1 bis 2048 und die werf ich durcheinander mit einem CSPRNG.

Ich verstehe vielleicht nicht, was hier genau gemeint ist. Sind die Zahlen gleichverteilt oder kommt jede genau einmal vor? Dann weißt Du, dass die Zahlen aus einer Gleichverteilung o. ä. stammen und dass sie nicht aus einer Normalverteilung stammen. Punkt.

Denn speziell die 23 Zahlen können durchaus wieder Normalverteilt sein, je nachdem aus welchem Bereich der zerwürfelten Zahlen man sie herausnimmt.

Nein, können Sie nicht. erstmal sind Stichproben nicht normalverteilt sondern nur Grundgesamtheiten. Zweitens sind das hier diskrete Werte während Normalverteilung stetigen Variablen vorbehalten ist und drittens weißt Du, aus welcher Verteilung die Zahlen stammen und dass die nicht normal ist. Das stimmt also mindestens aus diesen drei Gründen nicht.

Formulieren wir also vorsichtiger: Die 23 Zahlen können zufällig mal so aussehen, als könnten sie aus einer ungefähren Normalverteilung gezogen sein. Ist es das, was Du meinst?

Und diese 23 Zahlen sind halt wichtig. Das man da Nichtnormalverteilte Zahlen rausbekommt ist halt deutlich schwieriger.

Also willst Du vorrangig ausschließen, dass ein 23 Zahlen-Set nicht allzusehr nach normalverteilt aussieht? Muss es denn ein bestimmter Test sein oder könnte man auch einfach einen Cutoff für Schiefe und Wölbung festlegen und solchermaßen "selbstgestrickt" mit einfachen Mitteln allzu normal anmutende Sample ausschließen?

LG,
Bernhard

[Stetik]

Boh Schwede...die Zitatfunktion ne...


Für Statistische Auswertungen werden ja eigentlich Normalverteilte Zahlen genutzt.
Daher will ich nochmal erklären das ich das Gegenteil suche, ich will Nicht-Normalverteilte Zahlen. Daher ist meine Vorgehensweise vielleicht auch etwas anders als gewohnt.

In beiden Fällen, also die 2048 zerwürfelten Zahlen wie auch die 23 folgenden Zahlen möchte ich prüfen ob sie Normalverteilt oder Nicht Normalverteilt sind

Der Test sagt aus, wie wahrscheinlich die Stichproben-Daten wären, wenn die
Grundgesamtheit exakt normalverteilt sein sollte.

Ja ganz genau. Und das will ich herausfinden. Die Aussage das die Zahlen Warscheinlich Normalverteilt / Warscheinlich nicht Normalverteilt sind ist die Aussage die gewünscht ist.
Und da verschiedene Tests ja die Warscheinlichkeit prüfen das die Zahlen aus einer Normalverteilung stammen, kann ich daraus die Aussage Normalverteilt / Nicht Normalverteilt ableiten.

Mittlerweile habe ich festgestellt das die Tests eher dazu tendieren die Zahlen als Normalverteilt auszuwerten. Das ist ja alles nur Warscheinlichkeit und dementsprechend unscharf in der Aussage. Wenn ich nach den Tabellen gehe die es für die verschiedenen Tests ja gibt dann musste ich tatsächlich die Werte abändern damit mir da nicht mit zu hoher Warscheinlichkeit Normalverteilte Zahlen reinrutschen. Ich verwerfe also eher Zahlen wenn die Warscheinlichkeit der Nicht-Normalverteilung zu hoch ist.

Dafür musste ich erstmal mit vielen vielen Testreihen ermitteln wie die Ergebniswerte sind und ab wann es Normalverteilt / Nicht Normalverteilt bewertet wird. Das ist echt ein wenig schwierig und da bin ich auch noch nicht mit durch.

In der Natur wird diese Nullhypothese stets verworfen, wenn die Stichrprobe groß ist (= große statistische power, Verwerfung auch
bei kleinen Abweichungen der Stichprobendaten von der Normalverteilung) und sehr oft fälschlich beibehalten, wenn die
Stichprobe klein ist (= geringe statistische power).

Ja das ist das Phänomen das ich wohl festgestellt habe, was ich oben erwähnte.
Wobei es aber auch einfach ist bei sehr großen Stichprobenumfang (z.b. alle 2045 Zahlen) eine Nicht-Normalverteilung zu haben. Während innerhalb dieser Stichprobe aber Bereiche existieren die wieder Normalverteilt sind. Wenn man aus diesen 2048 Zahlen also die erforderlichen 23 Zahlen herausnimmt kann es sein das diese Normalverteilt sind.

Noch weitaus schwieriger ist es mit 11 Zahlen, diese Variante gibt es auch. Da eine nicht-Normalverteilung zu bekommen hat sich als Sysiphusaufgabe erwiesen.

Insofern liest es sich so, als würden Deine Fragestellung und die Lösung (inferenzstatistischer Test) nicht zusammenpassen.

Ja hab ich mir schon gedacht. Das ist halt schwierig. Vor allem für euch
Ich kann euch aber auch nicht wirklich in das einweisen um das es geht weil das umfangreich ist. Und das wird zu abscheulichen Diskussionen führen die sich auf totalen Abwegen fern dieses Themas befinden. Das kenne ich schon zu gut und hab das viele Jahre schon durch.

Ich verstehe vielleicht nicht, was hier genau gemeint ist. Sind die Zahlen gleichverteilt oder kommt jede genau einmal vor? Dann weißt Du, dass die Zahlen aus einer Gleichverteilung o. ä. stammen und dass sie nicht aus einer Normalverteilung stammen. Punkt.

Ganz simpel, die Zahlen sind 1 2 3 4 ..... 2045 2046 2047 2048
Und diese werfe ich mit einem CSPRNG durcheinander, einem Kryptografisch Sicherem Pseudo-Zufallsszahlen-Generator. Cryptographic Secure Pseudo-Random Number-Generator.
Diese Zahlen sind dann in der Grundgesamtheit Nicht-Normalverteilt.

Das ist aber leider nur ein Anfang.

Dieses Zerwürfeln der Zahlen mache ich zehnmal, zwanzigmal. Immer von Anfang an, also 1 2 3 4 5... 2045 2046 2047 und dann durcheinanderwerfen mit dem CSPRNG.
Denn würde ich bereits zerwürfelte Zahlen nochmal zerwürfeln dann könnt das nach hinten losgehn.

So und diese Zahlen mache ich mir Spaltenweise in einer Excelliste.
Daraus kann ich mir dann aus den Spalten immer wieder eine Reihe mit 23 Zahlen von Hand rauskopieren um sie zu verwenden. Diese 23 sind dann ja schon einmal schön durcheinander.
Mit dieser Methode kommt jede Zahl also auch nur einmal vor.
Es wäre aber zulässig das dieselbe Zahl mehrfach vorkommt, sie dürfte sogar 23 mal vorkommen. In der Theorie.
Nur das macht halt keinen Sinn.

Für diese Verwendung müssen die 23 Zahlen idealerweise auch mit grösster Warscheinlichkeit Nicht-Normalverteilt sein.
Daher muss ich diese 23 Zahlen anschliessend prüfen um möglichst sicher zu sein das sie nicht vielleicht doch Normalverteilt sind.

Denn bei den zerwürfelten Zahlen von 1 - 2048 können dennoch Bereiche drin sein wo 23 aufeinanderfolgende Zahlen wieder mit hoher Warscheinlichkeit Normalverteilt sind.
Weil 23 aus 2048 eben wieder sehr wenig sind.

Formulieren wir also vorsichtiger: Die 23 Zahlen können zufällig mal so aussehen, als könnten sie aus einer ungefähren Normalverteilung gezogen sein. Ist es das, was Du meinst?

Ja genau, habe versucht das zu beschreiben.
Ich habe Zahlen von 1 bis 2048 und die werf ich durcheinander mit einem CSPRNG.

Also willst Du vorrangig ausschließen, dass ein 23 Zahlen-Set nicht allzusehr nach normalverteilt aussieht?

Yes Sir!

Ich habe Zahlen von 1 bis 2048 und die werf ich durcheinander mit einem CSPRNG.

Ich verstehe vielleicht nicht, was hier genau gemeint ist. Sind die Zahlen gleichverteilt oder kommt jede genau einmal vor? Dann weißt Du, dass die Zahlen aus einer Gleichverteilung o. ä. stammen und dass sie nicht aus einer Normalverteilung stammen. Punkt.

Muss es denn ein bestimmter Test sein oder könnte man auch einfach einen Cutoff für Schiefe und Wölbung festlegen und solchermaßen "selbstgestrickt" mit einfachen Mitteln allzu normal anmutende Sample ausschließen?

LG,
Bernhard

[/quote]

Genau da bin ich heute bei.
Es muss kein bestimmter Test sein. Ich habe mir heute viele verschiedene Tests zusammengebaut mit dem ich 23 Zahlen in einem Rutsch mit diesen verschiedenen Tests prüfen kann. Bin noch dabei das alles auf einer einzigen Excelseite unterzubringen. Dann muss ich wieder prüfen ab wann die Aussage Normalverteilt / Nicht-Normalverteilt herauskommt und warscheinlich wieder ein wenig die Vorgabewerte verändern um die Angsttoleranz reinzubringen.

Das praktische ist das es drölf Fantastillionen Tests gibt die in vorangehenden Schritten erstmal mit sehr verschiedenen Methoden die Verteilung der Zahlen prüfen. Und diese Methoden sind für meine Zwecke schon ganz gut geeignet.

Ist aber schwierig das in Excel alles umzusetzen wenn man das schon 89343 Jahre nicht mehr gemacht hat. Ich hab vorgestern mit ersten unbeholfenen Versuchen angefangen und dann gestern zwei erste Tests gestrickt. Da hab ich heute dann weitergemacht. Da hab ich jedesmal locker 5 Stunden dran rumgeschraubt und bissel was anderes hab ich zuhause ja auch noch zu tun wa.

[PonderStibbons]

Für Statistische Auswertungen werden ja eigentlich Normalverteilte Zahlen genutzt.

Das ist komplett falsch.

Der Test sagt aus, wie wahrscheinlich die Stichproben-Daten wären, wenn die
Grundgesamtheit exakt normalverteilt sein sollte.

Und da verschiedene Tests ja die Warscheinlichkeit prüfen das die Zahlen aus einer Normalverteilung stammen, kann ich daraus die Aussage Normalverteilt / Nicht Normalverteilt ableiten.

Die Tests sagen nichts über die Wahrscheinlichkeit, dass eine Zahlenmenge aus einer wie auch immer gearteten Verteilung stammt. Das wäre eine Aussage p(Normalverteilung|Daten). Vielmehr ist ihre Aussage p(Daten|Normalverteilung). Es handelt sich um ein Entscheidungsverfahren. Ist p(Daten|Normalverteilung) klein, dann kann man sich entschließen, die Nullhypothese fallen zu lassen.

Ich verstehe leider weder Deine Fragestellung noch die Natur Deiner Daten noch Deine Vorgehensweise, aber sollte es um p(Normalverteilung|Daten) gehen, dann ist das der Bayes-Statistik zuzuordnen, nicht den Signifikanztestereie.

Mit freundlichen Grüßen

PinderStibbons

[bele]

Für Statistische Auswertungen werden ja eigentlich Normalverteilte Zahlen genutzt.

Liegt halt daran, dass man Fußball nur in weißen t-Shirts mit schwarzen Hosen spielen kann.

Und da verschiedene Tests ja die Warscheinlichkeit prüfen das die Zahlen aus einer Normalverteilung stammen, kann ich daraus die Aussage Normalverteilt / Nicht Normalverteilt ableiten.

Nein, nein und nochmal nein. Weder das eine noch das andere.

Mittlerweile habe ich festgestellt das die Tests eher dazu tendieren die Zahlen als Normalverteilt auszuwerten.

Wieder falsch: Weil Du nur kleine Stichproben auswertest gelingt es oft nicht, die Normalverteilungshypothese zu widerlegen. Das ist eine ganz, ganz andere Aussage.

Pass auch, ich sehe das in drei Sätzen so:

1. Es ist inzwischen deutlich geworden, dass PonderStibbons und ich uns für Excel als Statistiktool nicht so richtig begeistern können und Dir Deine Originalfrage nicht beantworten werden.
2. Wir können versuchen, Deine Fragen entweder sinnverstehend oder dem Wortlaut nach zu beantworten. Sinnverstehend geht aber nicht, da Du den dahinterstehenden Sinn nicht enthüllen willst. Das ist fair, das brauchst Du nicht zu tun, aber dann wundere Dich nicht, wenn wir im Nebel stochern.
3. Wenn wir versuchen, Deine Frage nach dem Wortlaut zu beantworten dann sind wir fertig bevor Du Excel gestartet hast. Du willst Stichproben auf Normalverteilung prüfen, Stichproben sind nie normalverteilt. Bei deinen Stichproben ist bekannt, dass sie nicht aus einer normalverteilten Grundgesamtheit stammen also erübrigt sich jeder Test, ob sie aus einer normalverteilten Grundgesamtheit stammen. Punkt. Solange Du weiter davon sprichst, dass Sets aus 23 Zahlen normalverteilt seien, kommen wir hier im exakten Wortlaut-Modus nicht weiter.

So, ich muss mal schnell eine Simulation rechnen, dann melde ich mich nochmal.

LG,
Bernhard

Nachtrag: So ich habe jetzt Stichproben aus den Zahlen 1 bis 2048 ohne zurücklegen vom Stichprobenumfang 23 gezogen und das eine Million mal. Dann habe ich den Betrag der Schiefe zu jeder dieser Stichproben berechnet und davon verschiedene Quantile berechnet. In R sieht das dann so aus:

Code: Alles auswählen

library(e1071)

replicates <- abs(replicate(1000000, skewness(sample.int(2048, 23))))
hist(replicates)
quantile(replicates, c(.5, .75, .9, .95, .99))


Im Ergebnis kommt heraus, dass bei 50% dieser Stichproben der Betrag der Schiefeschätzung unter 0,188 liegt. Wenn Du also alle Stichproben mit Betrag der Schiefeschätzung unter 0,188 rausschmeißt, dann hast Du schon die "normalverteilteste Hälfte" der Samples aussortiert. Wenn Du Stichproben mit Betrag des Schiefeschätzers unter 0,323 'rausschmeißt, dann hast Du die "normalsten" 3/4 der Stichproben aussortiert und wenn Du die Grenze bei 0,561 ziehst, dann hast Du die 95% "normalsten" aussortiert und um auf 99% aussortierte zu kommen läge die Grenze bei 0,757.

Die entsprechenden Cut-off-Vorschläge für den Stichprobenumfang von elf lauten dann so:

Code: Alles auswählen

  50%   75%   90%   95%   99%
0.250 0.434 0.636 0.772 1.066

Zehn Beispiele für n = 11 Stichproben die an dem 0,772-Kriterium gesiebt wurden könnten dann so aussehen:

Code: Alles auswählen

      [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10]
[1,]  504  858  793 1056  584 1586 1070  856  808   778
[2,] 1559  256  571 2041  642 1456 1725 1882  947   446
[3,] 1995    2  635   82  625   87  265 1099  939    94
[4,]  996  330  698   86  553  891  479  602   22  1098
[5,]  992   13  671  473 1021  352  496 1413  524   763
[6,] 1297   44 1417 1910 1990  566  609  957  882  1948
[7,]  698  544 1200  557  371  183  491  605  517   256
[8,]  784  557  872  856  202  573   31  638  376   243
[9,]  588 1224 1014  225  532  649  357  407 2019  1824
[10,] 1034    9  605  786 1920  501  677  541  548    49
[11,]  710 1591  556  426 1099  293 1995  796  131   301