STATISTIK-FORUM.de

[gonte]

Hallo liebe Forumsmitglieder,

ich möchte im Rahmen meiner Bachelorarbeit in Wirtschaftsinformatik die Genauigkeit von Schätzungen in SW-Entwicklungsprojekten untersuchen. Dabei soll eine Stichprobe mit einer zweiten verglichen werden. In der zweiten Stichprobe kommt es zur Anwendung einer speziellen Methode, von der erwartet wird, dass sie die Genauigkeit beinflusst.

Anhand mehrer hunderter Schätzungen sowie Messung der tatsächlich benötigten Zeit pro Gruppe soll dieser Effekt nachgewiesen werden.
Genauigkeit wird dabei definiert als tatsächlich gearbeitete Zeit / geschätze Zeit. Das könnte man dann natürlich auch in Prozentzahlen ausdrücken.

Ich bräuchte dahingehend ein wenig Statistik-Nachhilfe bzw. einen Hinweis zu möglichen statistischen Auswertungen, da wir an der Uni Statistik nicht wirklich als Fach hatten:
Mit welchem Verfahren lassen sich die beiden Gruppen mit ihren Genauigkeits-Werten vergleichen, so dass ich am Ende sagen kann, ob ein signifikanter Unterschied besteht oder eben nicht?

Ich würde mich sehr freuen, wenn sich jemand erbarmt und ein paar Stichworte liefern könnte, von denen ausgehend ich micht dann weiter einlesen kann.

Vielen Dank für eure Unterstützung!!!

[PonderStibbons]

ich möchte im Rahmen meiner Bachelorarbeit in Wirtschaftsinformatik die Genauigkeit von Schätzungen in SW-Entwicklungsprojekten untersuchen. Dabei soll eine Stichprobe mit einer zweiten verglichen werden. In der zweiten Stichprobe kommt es zur Anwendung einer speziellen Methode, von der erwartet wird, dass sie die Genauigkeit beinflusst.

Beschreibe zunächst Dein Untersuchungsdesign. Wer wird rekrutiert, was wird wie oft
bei wem gemessen, wie groß ist die Stichprobe?

Mit freundlichen Grüßen

P.

[bele]

Hallo,

es macht bestimmt Sinn, wie von PonderStibbons empfohlen, die Untersuchung genauer darzustellen und die geplante Untersuchungszahlen, typische Auswahlprozeduren der einzubeziehenden Entwicklungsprojekte und dergleichen zu beschreiben. Dann bekommst Du die besten Hinweise.

Vorläufig hast Du nach ein paar Stichworten gefragt zum selber einlesen.

Ich würde mich sehr freuen, wenn sich jemand erbarmt und ein paar Stichworte liefern könnte, von denen ausgehend ich micht dann weiter einlesen kann.

Du willst in zwei Gruppen je einen Bruch geschätzte Zeit durch geplante Zeit erheben und nach Unterschieden der Lage dieser Werte in beiden Gruppen suchen. Die beiden sich aufdrängenden Stichworte heißen "t-Test" und "Wilcoxon Rangsummentest".

LG,
Bernhard

[gonte]

Vielen Dank für eure Antworten!!!! Ich werde mich mal in t-Tests und Wilcoxon Rangsummentest einlesen.

Zum Untersuchungsdesign:

Ein Team von ca. 15 Softwareentwicklern bearbeitet im Quartal etwa 550 Kundenanforderungen. Die Kundenanforderungen werden vor dem Bearbeiten (d.h. Implementieren in Form von Software) geschätzt hinsichtlich Zeitaufwand. Während der Bearbeitung wird die tatsächlich geleistete Arbeitszeit pro Anforderung erfasst. Man könnte also einen Soll-Ist-Vergleich damit machen und die Genauigkeit der Schätzungen berechnen (Ist-Wert/Soll-Wert). Anforderungen bewegen sich zeitmässig typischerweise im Rahmen von ca. 3 bis 30 Stunden. Geschätzt wird auf Integer-Niveau, also nur Ganzzahlen. Ist-Werte (also geleistete Arbeitszeit) werden typischerweise auch mit Ganzzahlen erfasst.

1. Ein Quartal lang sollen die Anforderungen ohne Variatonen in der Schätzmethode geschätzt werden.
2. Im Folgequartal wird dann die Schätzmethode variiert, indem ein zusätzliches Schätzwerkzeug verwendet wird.

Die Genauigkeit in den Quartalen wird verglichen. Die Stichprobengrößen (ich hoffe, ich verwende den Begriff richtig) dürften pro Quartal 550 Anforderungen betragen, also in Summe etwa 1100 Anforderungen. 550 davon ohne Variation, 550 mit Variation.

Auswahlprozeduren hätte ich keine eingeplant. Ich würde einfach alle Anforderungen in die Auswertung aufnehmen.

Ich hoffe, ich konnte mein Vorhaben etwas klarer machen.

LG

[bele]

Hallo gonte,

Das Auswahlkriterium ist das Quartal, in dem der Auftrag eingeht. Für die Signifikanztestung bleibe ich bei t-Test oder Wilcoxon Rangsummentest. Beim t-Test müsste man hinsichtlich der Voraussetzungen ein Augue zudrücken, was man aber bei der Stichprobengröße machen darf. Dafür hast Du es dann nachher leichter bei der Bestimmung eines Effektstärkemaßes und bei Power-Analysen und Du testest ein allen Rezipienten Vertrautes Maß: Den Mittelwert.

LG,
Bernhard

[PonderStibbons]

Die 2x550 Kundenanforderungen sind innerhalb der 15 Entwickler
genestet, man kann sie nicht einfach wie 2x550 unabängige
Beobachtungen behandeln. Am simpelsten wäre es, pro Entwickler
die über seine Aufträge hinweg aggregierte (durchschnittliche oder
mediane) Abweichung im ersten Quartal mit der im folgenden Quartal
zu vergleichen (Wilcoxon Vorzeichenrangtest). Ansonsten wäre ein
Mehrebenenmodell denkbar, aber das ist nichts für Anfänger.

Mit freundlichen Grüßen

P.

[bele]

Ja, da gebe ich PonderStibbons Recht geben: Wenn die (wahre) Vorhersagegenauigkeit bei verschiedenen Entwicklern unterschiedlich sein kann, dann kann man es sich nicht so leicht machen, wie ich in meinem Posting oben. Dann suchst Du Dir am besten für die Auswertung jemanden, der Dir hilft.

LG,
Bernhard

[gonte]

Vielen Dank für eure aufschlußreichen Antworten und Hinweise!

Schätzungen werden generell im Team gemacht, um vom kollektiven Wissen zu profitieren. Individuelle Schätzungen werden zwar abgegeben, jedoch zu einer Teamschätzung durch Diskussionen aggregiert. Da wir mit einem sehr erfahrenen und reifen Entwicklungsteam arbeiten, variieren die Schätzungen interindividuell aber sowieso nur minimal - und wenn mal doch einigt man sich eben durch Abstimmung auf eine gemeinsame Teamschätzung.

Es gibt aber 3 Teams, zwischen denen natürlich Unterschiede exisitieren könnten.

Auf jeden Fall habe ich jetzt mal einiges an Material, in das ich mich einarbeiten kann. Ich denke, dass ich mit den gewonnen Erkenntnissen dann ein Konzept für meinen Betreuer erstellen kann, das für eine Bachelorarbeit angemessen ist.

Vielen Dank nochmal für eure tolle Unterstützung!