STATISTIK-FORUM.de

[floryan]

Hallo miteinander!

mit meinem ersten Post darf ich mich (hoffentlich) gleich Hilfe suchend an euch wenden:
Und zwar würde ich gerne zwei Listen miteinander vergleichen um eine Aussage darüber zu machen, wieviele Elemente gleich zw wie ähnlich sich die Listen sind. Alle String-Elemente aus den Listen kommen aus einer geschlossenen Menge. In den Listen können aber müssen nicht gleich viele Elemente enhalten sein. Das Ganze ist vergleichbar mit zwei Einkaufslisten, auf denen verschiedene Güter stehen.

Ich würde nun wie gesagt diese zwei Listen gerne vergleichen. Ein simpler manueller Vergleich der Anzahl der Übereinstimmungen wäre mein erster primitiver Ansatz gewesen. Nachdem ich aber leider nicht vom Fach bin, hatte ich mich gefragt, ob es da vielleicht statistische Methoden gibt, um eine Aussage über die Ähnlichkeit zweier String-Listen zu machen. Nachdem ich nicht weiß, ob bzw. welches Verfahren zutrifft, habe ich jetzt einmal ins allgemeine Forum gepostet.

Vielen Dank im Vorhinein!
Flo

[strukturmarionette]

Hi,

sowas kann jede 'normale' Programmiersprache.
Vielleicht könnte es für Dich auch ausreichen, dass Du Dir mit irgendeiner Standardsoftware (Mikrosoft Word oder Excel) die zwei Listen (jeweils in einer Spalte) nebeneinander sortieren lässt.

Gruß
S.

[bele]

Hallo Flo,

Nachdem ich aber leider nicht vom Fach bin, hatte ich mich gefragt, ob es da vielleicht statistische Methoden gibt, um eine Aussage über die Ähnlichkeit zweier String-Listen zu machen

Schau Dir mal diesen Link an und entscheide dann selbst, ob die cosine similarity ein passendes Ähnlichkeitsmaß für Deine Fragestellung ist: http://blog.datascienceheroes.com/text- ... tice-in-r/

Ein ausgewiesener Text Mining-Spezialist hat sich meines Wissens bisher im Forum nicht hervorgetan, aber vielleicht meldet sich ja doch jemand.

HTH,
Bernhard


Nachtrag: Absatz 3 in diesem Paper führt einige Ähnlichkeitsmaße für Texte auf: http://nzcsrsc08.canterbury.ac.nz/site/ ... tering.pdf (Anna Huang, Similarity Measures for Text Document Clustering, 2008)

[floryan]

Hi,

danke für die Antworten!

Vielleicht könnte es für Dich auch ausreichen, dass Du Dir mit irgendeiner Standardsoftware (Mikrosoft Word oder Excel) die zwei Listen (jeweils in einer Spalte) nebeneinander sortieren lässt.

Ja, das hätte bzw habe ich ohnehin gemacht. Mir ging es eher darum, ob es hier Methoden gibt die etwas mehr 'sophisticated' sind.

Schau Dir mal diesen Link an und entscheide dann selbst, ob die cosine similarity ein passendes Ähnlichkeitsmaß für Deine Fragestellung ist: http://blog.datascienceheroes.com/text- ... tice-in-r/

Das sieht sehr interessant aus - an Text Mining hatte ich noch gar nicht gedacht. Danke!

LG