Normalverteilung prüfen als Excel oder Offlineprogramm?

Fragen, die sich auf kein spezielles Verfahren beziehen.

Re: Normalverteilung prüfen als Excel oder Offlineprogramm?

Beitragvon Stetik » Sa 6. Mai 2023, 09:08

Hmm, ok ich komme aus der Messtechnik und da werden nur Daten akzeptiert die Normalverteilt sind.
Das gilt z.b. bei Fähigkeitsuntersuchungen für Machinen und für gemessene Teile.
Bei Nicht Normalverteilten Daten kommt beim Auswerten nur Kokolores raus und das wird auch sofort mit Rot angezeigt.
Ich kenn das nur so.

PonderStibbons hat geschrieben:Der Test sagt aus, wie wahrscheinlich die Stichproben-Daten wären, wenn die
Grundgesamtheit exakt normalverteilt sein sollte.


Genau das meine ich. Nur das ich eben ausschliessen muss das die Daten aus einer Normalverteilung stammen. Daher gibt so ein Test mir halt die Möglichkeit dazu.

Und da verschiedene Tests ja die Warscheinlichkeit prüfen das die Zahlen aus einer Normalverteilung stammen, kann ich daraus die Aussage Normalverteilt / Nicht Normalverteilt ableiten.
[/quote]
Die Tests sagen nichts über die Wahrscheinlichkeit, dass eine Zahlenmenge aus einer wie auch immer gearteten Verteilung stammt. Das wäre eine Aussage p(Normalverteilung|Daten). Vielmehr ist ihre Aussage p(Daten|Normalverteilung). Es handelt sich um ein Entscheidungsverfahren. Ist p(Daten|Normalverteilung) klein, dann kann man sich entschließen, die Nullhypothese fallen zu lassen.

Ich verstehe leider weder Deine Fragestellung noch die Natur Deiner Daten noch Deine Vorgehensweise, aber sollte es um p(Normalverteilung|Daten) gehen, dann ist das der Bayes-Statistik zuzuordnen, nicht den Signifikanztestereie.

Mit freundlichen Grüßen

PinderStibbons[/quote]

Bayes-Statistik geht aber doch von Experimentell ermittelten Daten aus?
Hab mir das grad einmal durchgelesen, das ist aber nicht das was ich benötige, glaub ich.

Ich weiss nicht so recht wie ich das erklären soll.
Es gibt eine Wortliste mit 2048 Wörtern und jedes Wort hat eine Nummer. Es kann immer nur diese Wortliste verwendet werden, sie ist immer und überall gültig.
Aus diesen 2048 Wörtern muss man 23 zufällig auswählen.
Da der Mensch ungeeignet ist was Zufälligkeit angeht erzeugt der Mensch bei so einer Auswahl in der Regel ein Muster.
Dieses Muster ist heute leicht erratbar, also mit dem Computer erratbar.

Daher muss man diese Nummern (Wörter) mit Hilfsmitteln auswählen.
Daher werden diese 2048 Zahlen mit einem CSPRNG durcheinandergeworfen und dann wählt man einfach 23 aufeinanderfolgende Wörter daraus aus.

Da es aber schwierig ist das tatsächlich mit den Wörtern zu machen.... Muss man es mit den Nummern der Wörter machen.
Denn die Wörter kann man schlecht auf eine Verteilung hin prüfen. Die Zahlen hingegen schon.

So, aus diesen 23 Wörtern wird dann ein 24. Wort als Prüfsumme errechnet.
Damit hat man dann einen kompletten 24 Wort-Seed, oder den Mnemonic Code.
Aus diesem werden dann Privatekeys und Publickeys mit Adressen abgeleitet.

Es ist also höchst wichtig das diese 23 Zahlen (Wörter) keinem leicht erratbarem Muster entstammen. Z.b. dem Muster einer Normalverteilung.

Okay, also momentan gibt es weltweit Hinweise das vor 10 Jahren solche Seeds mit Generatoren erzeugt wurden die keine ausreichende Zufälligkeit hatten. Diese wurden nun kompromittiert.
Also habe ich mich mit mehreren Leuten daran gemacht das mal zu testen.
Wir haben die Wörter wieder den Zahlen zugeordnet und diese Zahlen dann auf ihre Verteilung geprüft.
Dabei kam heraus das sie fast alle Normalverteilt waren.

Dies bestätigt die schon seit Jahren existierende These das ein bestimmter Generator unsicher ist weil er die Möglichkeit beinhaltet händisch eine Entropie durch Mauszeigerbewegungen hinzuzufügen. Die Zufälligkeit der Wörter wird hierdurch unnötig herabgesetzt. Aber damals war dieser Generator sehr beliebt WEIL er die Möglichkeit einer manuell hinzufügbaren Entropie bietet.
Als Gegenprobe haben wir natürlich Seeds mit diesem Generator auf diese Weise mit zusätzlicher Entropie mittels Mauszeigerbewegungen erzeugt und geprüft. Die entsprachen wieder fast alle einer Normalverteilung.

Warum ist das so?
Weil der Mensch ungeeignet ist mit den Händen einen Zufall zu erzeugen.

So und das ist der Grund wieso ich diese Tests machen möchte. Ich will das mit den anderen Leuten zusammen prüfen damit wir uns was überlegen können. Und deswegen soll das halt in Excel sein weil das dann eben weitestgehend auf jedem Computer läuft.
Stetik
Beobachter
Beobachter
 
Beiträge: 11
Registriert: Do 4. Mai 2023, 16:21
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Normalverteilung prüfen als Excel oder Offlineprogramm?

Beitragvon Stetik » Sa 6. Mai 2023, 09:30

bele hat geschrieben:
Code: Alles auswählen
      [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10]
[1,]  504  858  793 1056  584 1586 1070  856  808   778
[2,] 1559  256  571 2041  642 1456 1725 1882  947   446
[3,] 1995    2  635   82  625   87  265 1099  939    94
[4,]  996  330  698   86  553  891  479  602   22  1098
[5,]  992   13  671  473 1021  352  496 1413  524   763
[6,] 1297   44 1417 1910 1990  566  609  957  882  1948
[7,]  698  544 1200  557  371  183  491  605  517   256
[8,]  784  557  872  856  202  573   31  638  376   243
[9,]  588 1224 1014  225  532  649  357  407 2019  1824
[10,] 1034    9  605  786 1920  501  677  541  548    49
[11,]  710 1591  556  426 1099  293 1995  796  131   301


Ja du hast da in der Hinsicht völlig Recht.

11 Zahlen sind unsicher, schon seit einer Ewigkeit. Es ist zu leicht erratbar.
Du siehst ja an deinen Zahlen das es Häufungen gibt und das bestimmte Bereiche zum Teil gar nicht vorkommen, z.b. zweistellige Zahlen.
Das MUSS nicht ein Ausschlusskriterium sein, aber 11 sind eben auch in der Anzahl einfach zuwenig.

Man bevorzugt eigentlich 23. Plus das 24. als Prüfsumme.

bele hat geschrieben:
Stetik hat geschrieben:Und da verschiedene Tests ja die Warscheinlichkeit prüfen das die Zahlen aus einer Normalverteilung stammen, kann ich daraus die Aussage Normalverteilt / Nicht Normalverteilt ableiten.


Nein, nein und nochmal nein. Weder das eine noch das andere.


Kannst du das erklären?


bele hat geschrieben:
Stetik hat geschrieben:Mittlerweile habe ich festgestellt das die Tests eher dazu tendieren die Zahlen als Normalverteilt auszuwerten.


Wieder falsch: Weil Du nur kleine Stichproben auswertest gelingt es oft nicht, die Normalverteilungshypothese zu widerlegen. Das ist eine ganz, ganz andere Aussage.


Richtig, es sind kleine Stichproben. Da schrieb ich ja bereits zu das dies schwierig ist. Die Tests ergeben dann oft das diese 23 Zahlen Normalverteilt sind.
Aber es müssen 23 Stück sein. Mehr geht eben nicht. Das macht es eben schwierig das auszuwerten.

Im Beitrag oben hab ich was dazu geschrieben wie das zustandekommt.



bele hat geschrieben:1. Es ist inzwischen deutlich geworden, dass PonderStibbons und ich uns für Excel als Statistiktool nicht so richtig begeistern können und Dir Deine Originalfrage nicht beantworten werden.
2. Wir können versuchen, Deine Fragen entweder sinnverstehend oder dem Wortlaut nach zu beantworten. Sinnverstehend geht aber nicht, da Du den dahinterstehenden Sinn nicht enthüllen willst. Das ist fair, das brauchst Du nicht zu tun, aber dann wundere Dich nicht, wenn wir im Nebel stochern.
3. Wenn wir versuchen, Deine Frage nach dem Wortlaut zu beantworten dann sind wir fertig bevor Du Excel gestartet hast. Du willst Stichproben auf Normalverteilung prüfen, Stichproben sind nie normalverteilt. Bei deinen Stichproben ist bekannt, dass sie nicht aus einer normalverteilten Grundgesamtheit stammen also erübrigt sich jeder Test, ob sie aus einer normalverteilten Grundgesamtheit stammen. Punkt. Solange Du weiter davon sprichst, dass Sets aus 23 Zahlen normalverteilt seien, kommen wir hier im exakten Wortlaut-Modus nicht weiter.


Es muss Excel sein damit es auch bei anderen auf dem Computer läuft die das ebenfalls versuchen zu testen und ausprobieren mit welchen Mitteln sich sowas möglichst einfach und schnell prüfen lässt.
Ich versuche es halt zur Zeit mit dem prüfen der Verteilung.
Wenn das schlussendlich nicht weiterführt wird es halt verworfen und was anderes probiert. Aber erstmal muss es eben probiert werden.

Wieso ich auf die Idee gekommen bin das überhaupt so zu prüfen schrieb ich ja im Beitrag oben.
Stetik
Beobachter
Beobachter
 
Beiträge: 11
Registriert: Do 4. Mai 2023, 16:21
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Normalverteilung prüfen als Excel oder Offlineprogramm?

Beitragvon Stetik » Sa 6. Mai 2023, 10:14

Ich kann euch mal was geben wo ihr das selber ausprobieren könnte.
Eigentlich wollt ich das vermeiden weils zu abwegigen Diskussionen führt aber vermutlich könnt ihr es dann besser verstehen.

Das hier ist ein Mnemonic Code Converter:
https://iancoleman.io/bip39/

Das hier ist der Rechner für das 24. Wort das die Prüfsumme bildet:
https://seedpicker.net/calculator/last-word.html

Das hier ist die Wortliste:
https://www.blockplate.com/pages/bip-39-wordlist

So, nun könnt ihr mal mit iancoleman 12 Wörter erzeugen.
Das letzte Wort lasst ihr weg, also das 12. weglassen. Das ist nur die Prüfsumme.
Die übrigen 11 Wörter ordnet ihr dann mithilfe der Wortliste den Zahlen zu.
Dann prüft ihr diese Zahlen auf ihre Verteilung. Es kommt quasi immer eine Normalverteilung heraus.

Dasselbe macht ihr dann mal mit 24 Wörtern, das letzte weglassen.
Da ist es dann schon etwas besser. Es kommt sowohl Normal- wie auch Nicht-Normalverteilung heraus. Mehr nicht-Normal als Normal.

Aber da ist für mich eben der Haken. Ich möchte lieber Nicht-Normalverteilte als Normalverteilte haben. Denn Normalverteilte 11 Wörter sind seit kurzem zu unsicher.
Da ist also die Befürchtung das 23 Normalverteilte in Zukunft auch unsicher sein könnten.

Das bedeutet dann das auch die daraus abgeleiteten Schlüssel unsicher sein würden. Denn man muss ja nur die 23 Wörter herausfinden um so auch die Schlüssel zu haben. Denn die werden immer auf die gleiche Weise erzeugt. Egal wo man die 23 / 24 Wörter verwendet, es werden immer die gleichen Schlüssel daraus hergestellt.
Stetik
Beobachter
Beobachter
 
Beiträge: 11
Registriert: Do 4. Mai 2023, 16:21
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Normalverteilung prüfen als Excel oder Offlineprogramm?

Beitragvon bele » Sa 6. Mai 2023, 12:09

Du siehst ja [...] das bestimmte Bereiche zum Teil gar nicht vorkommen, z.b. zweistellige Zahlen.


So langsam frage ich mich, ob wir aneinander vorbei reden oder ob Du trollen willst. Zweistellige Zahlen kommen vor in Spalte 2, 4, 6, 7, 9 und 10 alsp in 6 von zehn Spalten. "Gar nicht" ist also gar nicht richtig.


Das MUSS nicht ein Ausschlusskriterium sein, aber 11 sind eben auch in der Anzahl einfach zuwenig.


Du hast schon gesehen, dass ich meine Rechnung mit 23 und mit 11 gemacht habe und Dir Code vorgelegt habe, in den man jede andere Zahl auch eintragen könnte? Dass elf zuwenig ist hat als gar nichts mit meinem Vorschlag zu tun.

bele hat geschrieben:
Stetik hat geschrieben:Und da verschiedene Tests ja die Warscheinlichkeit prüfen das die Zahlen aus einer Normalverteilung stammen, kann ich daraus die Aussage Normalverteilt / Nicht Normalverteilt ableiten.


Nein, nein und nochmal nein. Weder das eine noch das andere.


Kannst du das erklären?


Die Funktionsweise eines Nullhypothesen-Signifikanztests kann man auf Wikipedia nachlesen, aber ich versuche es noch einmal: Wenn die Stichprobe aus eine Normalverteilung gezogen würde, dann würde der p-Wert eine Wahrscheinlichkeit angeben. Wenn die Stichprobe nicht aus einer Normalverteilung gezogen ist, dann gibt es keine allgemeine Definition für den p-Wert. Der Test kann es also unwahrscheinlich machen, dass die Stichprobe aus einer Normalverteilung gezogen wurde, aber das Gegenteil kann er grundsätzlich nicht. Dafür ist er nicht gemacht. Man kann also ggf. Nachweisen, dass die Stichprobe nicht aus einer Normalverteilung gezogen wurde aber man kann nie nachweisen, dass sie aus einer Normalverteilung gezogen wurde. Ein p-Wert von 1 bedeutet noch lange nicht, dass die Stichprobe aus einer Normalverteilung gezogen wurde. In Deinem Fall bedeutet es nur, dass die (statistische) Power des Tests nicht stark genug war.


Die Tests ergeben dann oft das diese 23 Zahlen Normalverteilt sind.


Genau das kann ein Signifikanztest nicht ergeben. Er kann nur sagen, dass die Anzahl der Zahlen zu klein ist, um Normalverteilung auszuschließen. Das ist die wahre Bedeutung von p > 0,05.

Es muss Excel sein damit es auch bei anderen auf dem Computer läuft die das ebenfalls versuchen zu testen und ausprobieren mit welchen Mitteln sich sowas möglichst einfach und schnell prüfen lässt.


Ist völlig in Ordnung, manchmal muss es Excel sein. Ich habe nur festgestellt, dass dies ein Forum ist, in dem Excel eine untergeordnete Rolle spielt und es zur Frage, wie man Excel bedient, da draußen besssere Foren geben muss.

Ich versuche es halt zur Zeit mit dem prüfen der Verteilung.


Und ich habe Dir einen Vorschlag gemacht, wie Du die Verteilung ganz leicht prüfen kannst, indem Du über die Excel-Funktion =SKEW() filterst. Wenn Dich dieser Vorschlag nicht interessiert, dann ist das ok. Aber hör auf mir zu erzählen, ein Anderson-Darling-Test könnte Normalverteilung bestätigen.

Wenn Du mir nicht glaubst, dann glaubst Du vielleicht der Wikipedia:

https://de.wikipedia.org/wiki/Anderson-Darling-Test hat geschrieben:Demgegenüber bedeutet ein p-Wert größer als 0,05 jedoch nicht zwangsläufig, dass die Häufigkeitsverteilung der Daten der vorgegebenen Verteilung entspricht.


oder ganz allgemein:

https://de.wikipedia.org/wiki/Statistischer_Test#Signifikanztest hat geschrieben:Ein Signifikanztest ist ungeeignet, eine Nullhypothese im Fall der Nichtablehnung mit statistischer Signifikanz zu bestätigen oder zu sichern


So, und nun habe ich beigetragen, was ich hier beitragen kann. Nutze es oder auch nicht.

Gruß,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5916
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1399 mal in 1385 Posts

Re: Normalverteilung prüfen als Excel oder Offlineprogramm?

Beitragvon Stetik » Sa 6. Mai 2023, 16:52

Ich schrieb ja das zweistellige Zahlen TEILS gar nicht vorkommen.

Der Nachweis das sie nicht aus einer Normalverteilung gezogen wurde reicht ja auch.

Du jast das falschrum verstanden. Ich brauche nicht die Aussage Normalverteilt oder Nicht Normalverteilt.
Es reicht hier zu wissen wenn sie NICHT aus einer Normalverteilung stammt um den Umkehrschkuss zu ziehen das sie Nicht Normalverteilt ist.
Einen anderen Schluss kann ich eben nicht daraus ziehen. Deswegen muss ich mir eben so damit behelfen.

Es geht ja auch nicht darum aus was für einer Verteilung sie exakt stammrn, Glockenkurve, Links, Rechts usw.

Die Schiefe wird natürlich auch geprüft.

Ich hab nicht behauptet das der Anderson Darling Test etwas bestimmtes tut.
Sondern ich habe geschrieben das der Anderson Darling Test un der Vorlage drin ist die ich habe und das der also mit Excel machbar ist.

Und deswegen würd ich den auch gern in Excel haben, klappt nur noch nicht.

Du hast ein bissel was reininterpretiert was ich so eigentlich nicht gemeint hatte.
Ich kann dir halt nicht live zeigen was ich meine.
Stetik
Beobachter
Beobachter
 
Beiträge: 11
Registriert: Do 4. Mai 2023, 16:21
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Normalverteilung prüfen als Excel oder Offlineprogramm?

Beitragvon Stetik » Sa 6. Mai 2023, 20:51

Ich hab das auf eine Seite gklöppelt. Die Zahlen kommen links in die Spalte mit der gelben Zelle.
Der Einfachheit halber hab ich darunter die Zahlen 1-2048 zum rauskopieren eingefügt.

Und da muss ich dann noch rausexperimentieren welche der Tests am geeignetsten sind.
Heute hab ich mehrmals Zahlen damit getestet und da gabs z.b. von 10 Versuchen meist nur 2 oder 3 Zahlenkolonnen bei denen alle Tests eine Nichtnormalverteilung ergaben.
Das ist also so schwierig wie ich eingangs schon schrieb.

Ich habe das auch mit allen 2048 Zahlen schon ausprobiert die Tage und da war es immer eindeutig bei allen Tests.
Aus dem CSPRNG waren sie immer Nicht Normalverteilt und aus herkömmlichen Generatoren die es z.b. in HTML/JS bzw. CSS mit der Funktion MATH machen sind sie immer Normalverteilt gewesen. Das ist also auf jeden Fall zuverlässig zu ermitteln für 2048 Zahlen.

EDIT:
Hab da jetzt einen Anderson-Darling Test da reingemacht und im Anhang hochgeladen. Einen kleinen Bug hab ich auch noch weggemacht.

https://filehorst.de/d/evfFJmth

MD5:
6cb5292b01a8d696138cc3e25c888740

SHA256:
3ea55fcc842e9b432fbfe356ab850f83c1cc90b379b56479251c8977a65c5399
Stetik
Beobachter
Beobachter
 
Beiträge: 11
Registriert: Do 4. Mai 2023, 16:21
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Normalverteilung prüfen als Excel oder Offlineprogramm?

Beitragvon Stetik » Mo 8. Mai 2023, 09:02

Und damit die Windows-Nutzer auch was für ihr Excel haben noch eine im Excel 2007-365-XLSX- und im Excel 97-2003-XLS-Format.
Vergisst man als Linux-Nutzer mit OpenOffice gern mal.

https://filehorst.de/d/ebrHDkkc
Stetik
Beobachter
Beobachter
 
Beiträge: 11
Registriert: Do 4. Mai 2023, 16:21
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Vorherige

Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 14 Gäste

cron