Bewertungssystem-Vorschlag fürs Nordmanöver 2010

@Vovin

Frage zu Softscoreranking:


Softskills:
Es gibt 4 Softskill- Wertungskategorien (1x Bemalung, 2x Styleaspekte und 1x eine Mischung aus Bemalung und Style), wobei bei jedem Spieler mindestens drei in die Bewertung mit einfließen. In jeder Kategorie sind bis zu 10 Punkte zu holen. Auch in der Kategorie, die gestrichen wurde, erhält eine Armee Punkte um das System nicht zu verzerren, diese werden aber natürlich nicht mit in die Endauswertung einbezogen.

Grundsätzlich werden je Kategorie entweder von der Orga oder der Spieler-Jury 0-20 Bewertungspunkte vergeben. (Anm.: Man könnte auch hier wie bei den Turnierpunkten 0-10 Punkte nehmen, aber um Verwechslungen auszuschließen, bietet es sich an, eine andere Obergrenze zu nehmen) Das sind aber nicht die Turnierpunkte, die der Spieler letztendlich bekommt. Diese vorläufigen Bewertungspunkte werden dazu benutzt um alle Spieler miteinander zu vergleichen und eine Reihenfolge festzulegen. Anhand dieser Reihenfolge werden dann die Turnierpunkte festgelegt.

Egal in welcher Kategorie, ein Juror oder Juror-Team gibt einer ganzen Anzahl an Armeen eine Bewertung zwischen 0 und 20. Die Ergebnisse werden dann jeweils normiert (siehe
http://tinyurl.com/kur453 ) und der Mittelwert aller Ergebnisse der Juroren oder Juror-Teams gebildet (geht mit Excel ganz einfach). Jede Armee auf diese Weise eine einzelne Bewertung zwischen -1 und 1 erhalten. Damit werden alle teilnehmenden Spieler in absteigender Reihenfolge geordnet. Nach dem nachfolgenden Schlüssel wird bestimmt, wie viele wirkliche Turnierpunkte die Armee bekommt.

(Anm.: das dient dazu um zu kontrollieren, wie viele Punkte im Umlauf sind. Bei den Generalpunkten werden, egal wie die Spiele ausgehen, gleichviel Punkte an die Spieler ausgeschüttet. Der Punktepool bleibt also auch bei den Softscores konstant und es gibt keine Punkteinflation. (Die einzige Fluktuation gibt es bei der Progamer Wertung oder bei Gleichstand) )

Zitat:
Platz 1= 10 Punkte
Platz 2-10= 9 Punkte
Platz 11-20= 8 Punkte
Platz 21-30 = 7 Punkte
Platz 31-40 = 6 Punkte
Platz 41-60 = 5 Punkte
Platz 61-70 = 4 Punkte
Platz 71-80 = 3 Punkte
Platz 81-90 = 2 Punkte
Platz 91-99 = 1 Punkte
Platz 100 = 0 Punkte

Extrembeispiel.
Wenn alle Spieler mit der selben Liste spielen und/oder die Figuren alle im selben Standard bemalt sind, kommt es dann trotzdem zu einem Ranking bzw. bekommen die Spieler unterschiedlich viele Turnierpunkte obwohl es zwischen den Armeen keinen Unterschied gibt?
 
Zuletzt bearbeitet:
Extrembeispiel.
Wenn alle Spieler mit der selben Liste spielen und/oder die Figuren alle im selben Standard bemalt sind, kommt es dann trotzdem zu einem Ranking bzw. bekommen die Spieler unterschiedlich viele Turnierpunkte obwohl es zwischen den Armeen keinen Unterschied gibt?

Was passiert wenn alle Spieler mit der genau gleichen Armee und/oder der gleichen Spielstärke antreten und alle immer Unentschieden mit 10:10 spielen?
A) Wie hoch ist die Wahrscheinlichkeit dafür?
B) Welche Platzierung bekommen die Spieler - Alle 1.Platz? Keiner?
C) Wenn es ganz minimale Unterschiede gibt. (einer spielt 11:9) - ist er dann der Gewinner und die andern die Verlierer? Was passiert wenn es ganz minimale Unterschiede bei den Softscore gibt? Bekommt der der minimal besser ist mehr Punkte und ist der Gewinner?
 
a) Nicht sehr hoch.
b) Beim Judo (um mal vom Fussball wegzukommen) gibt es keinen dritten Platz, sondern zwei vierte Plaetze. Beim Segel (wo auch alles gleich ist) gewinnt man nach der Reihenfolge des Zieldurchlaufes.

Aus dem Grund, dass immer so etwas Unvorhergesehenes passiert haben wir auf dem NM bisher unsere Gutschein flexibel gehalten, um darauf zu reagieren. Notfalls wird dann fair geteilt - und das Turnier geht als mathematisch einmaliges Beispiel in die Weltgeschichte ein.

c) Ich denke schon. Dann kann man ja Kommastellen heranziehen. Mathematisch absolut transparent, wie es immer gewuenscht wurde.
 
a) noch unwahrscheinlicher weil kategorien gestrichen werden können

b) sobald die wertungen nur minimal unterschiedlich sind, kann man die zahlen nach reihenfolge ordnen. sollten wirklich mal spieler gleiche stylepunkte haben, wären wahrscheinlich auch gleiche turnierpunkte angebracht. aber dazu auch siehe a)

bei komplett gleichen armeen (und gleichen wertungen) haben alle armeen den wert 0 ob und wie man diese wertet ist dann sache der orga (was wäre das für ein turnier. w40k mit schachfiguren). ich würde allen den gleichen platz geben.

@freder: ich dachte immer das wären 2 dritte plätze. liegt aber am paarungssystem und das man in siege (1 turnierpunkt) und niederlagen(0 turnierpunkte) wertet, welches hier anders ist.

@vovin: viel arbeit und vor allem 2 neue ideen. gut gemacht.... nu geh lernen.
 
1. Es ist gut, wenn das System von möglichst vielen Usern kritisch in Frage gestellt wird. So wirds gut auf Schwachstellen abgeklopft.
2. Aber das System muss nicht so konstruiert sein, dass es auch für jeden 0,0000000001%igen Extremfall perfekt ist.

Wenn alle Spieler mit der selben Liste spielen und/oder die Figuren alle im selben Standard bemalt sind, kommt es dann trotzdem zu einem Ranking bzw. bekommen die Spieler unterschiedlich viele Turnierpunkte obwohl es zwischen den Armeen keinen Unterschied gibt?
Wenn alle Spieler die gleiche Liste haben, die alle von einer Horde indischer Kinder im gleichen Standard bemalt wurden, bekommen alle Armeen die gleichen Punkte und liegen damit alle auf dem ersten Platz, bekommen alle gleichviel Punkte und das Turnier wird alleine auf dem Spieltisch entschieden. So sollte es ja auch sein, wenn alle mit den gleichen Voraussetzungen antreten.

Was passiert wenn alle Spieler mit der genau gleichen Armee und/oder der gleichen Spielstärke antreten und alle immer Unentschieden mit 10:10 spielen?
Keine Ahnung. Das ist es aber auch nicht wert, weiter drüber nachzudenken. Ich nehme an, dann haben alle den ersten Platz und wir feiern alle ne Riesenparty.

C) Wenn es ganz minimale Unterschiede gibt. (einer spielt 11:9) - ist er dann der Gewinner und die andern die Verlierer? Was passiert wenn es ganz minimale Unterschiede bei den Softscore gibt? Bekommt der der minimal besser ist mehr Punkte und ist der Gewinner?
Wenn alle Spiele 10:10 ausgehen und nur ein 11:9, dann gibt es gibt es einen ersten, 98 zweite und einen dritten Platz.

Ich hab ja auch im Entwurf geschrieben, dass es nur zwei Ursachen für Punktefluktuationen geben kann: einmal die Programer-Wertung. Und einmal, wenn es in einer Kategorie einen Gleichstand gibt. Dann rückt ja einer Spieler auf und es werden geringfügig mehr Punkte verteilt als normalerweise. Das macht aber nichts.

@System Ich nehme meinen Hut vor Vovin für diese Mühe!
Merci :hat:

@vovin: viel arbeit und vor allem 2 neue ideen. gut gemacht.... nu geh lernen.
user_online.gif
Jwaoll! Aber auf Arbeit lässt sich schlecht lernen, dafür umso besser tippen. Ich sollte aber in der Tat wieder dazu übergehen, abends nichts zu posten!!!
 
Zuletzt bearbeitet:
Mut zur Mathematik

Drei Dinge:
1.)

Jetzt bilde ich den Durchschnitt, und vergleiche den Durchschnitt mal mit dem Durchschnitt von deinem System:

Normaler Schnitt:
4/5/11/11/16

Dein Schnitt:
4/6/11/12/17

Die Abweichungen sind also minimal - was bringt das System?! (vorausgesetzt ich konnte dem System folgen und muss den Durchschnitt immer noch bilden nach der Bewertung der Gruppen...)

2.) Ich konnte es scheinbar nicht, denn:

Die Lösung ist, die Bewertungsergebnisse zu normieren. Also der Mittelwert aller Bewertungen der Gruppe wird vom Ergebnis eines Spielers abgezogen und dann durch die Standardabweichung geteilt.
...
Dadurch werden sozusagen die Eigenheiten der verschiedenen Gruppen „rausgewaschen“. Heraus kommt jeweils ein Wert zwischen -1 und 1, die dann auch vergleichbar sind.

Eine Gruppe bewertet: 9/10/10/10/11 (Durchaus realistische Situation)

Mittelwert: 10
Standardabweichung: 0,707

Neubewertung Spieler 1: (9[Ergebnis eines Spielers]-10[Mittelwert aller Bewertungen der Gruppe])/0,707 = 1,41 (liegt nicht zwischen 1 und minus 1)

Was habe ich falsch gemacht?
Vermutlich bin ich einfach nur dumm...

3.) Schreibt mir ein echt komplexes Bewertungssystem hin, und ich werde nicht zum Turnier fahren. (Das mit deiner Normierung habe ich offensichtlich nicht kapiert) Zu komplexe Missionen oder Beschränkungen haben eine ähnlich abschreckende Wirkung - da such ich mir doch lieber einfache Turniere, lege 20-30% der zu vergebenden Punkte in die Hände der Orga und spiele ein paar schöne Spiele, ohne großartig nachzudenken, was ich denn kann und soll und darf und muss...
 
@Jaquilein
1.) Ich bin nicht sicher, wer mehr Alkohol intus hatte... ICH bin jedenfalls nicht aus dem Club geworfen worden und MICH hat auch keiner weggeschubst an beiden Abenden. Aber gut, ich hatte auch heimvorteil 😛

Und 2.) (Und du bist nicht der erste dem ich diese Frage stelle)
Weißt du eigentlich zufällig ob es sich lohnt, Centroid Localization als Verteilungsschätzer umzuprogrammieren und anhand einer 2-dimensionalen Matrix Erwartungswert und Standardabweichung zu bestimmen? Immerhin kann man so schließlich Kanalinformationen in die Lokalisierungsberechnung einfließen lassen, erhöht aber auch immens den Rechenaufwand... Wenn es nur effiziente Methoden gäbe, die Wahrscheinlichkeitsmatrix zu verkleinern...

...oder: Nur weil ich viel schreibe und außergewöhnliche Wörter verwende, muss ich noch lange keine Ahnung haben. Ich will dem Threaderöffner natürlich nichts unterstellen, mag er doch einfach nicht imstande sein, einem dummen Menschen wie mir klar zu machen, was er will!

Ich fand das von Denis ziemlich gut:
Extrembeispiel.
Wenn alle Spieler mit der selben Liste spielen und/oder die Figuren alle im selben Standard bemalt sind, kommt es dann trotzdem zu einem Ranking bzw. bekommen die Spieler unterschiedlich viele Turnierpunkte obwohl es zwischen den Armeen keinen Unterschied gibt?

Ändere ich das einfach in ein realistisches Beispiel:
Jaq, ich und money sitzen beim Bier (immerhin theoretisch möglich!) und überlegen zum Nordmanöver zu fahren, und, um uns endlich zu beweisen wer der Beste von uns dreien ist, entscheiden wir: Verdammt, wir nehmen alle die selbe imperiale Armee! Wir schreiben also auf, was wir so mitnehmen, und machen zu Hause unsere Listen. Der erste schreibt sie per Hand, der zweite per online-codex, der dritte nimmt den Armybuilder. Sie reichen die Listen zu unterschiedlichen Zeiten ein...

Was meint ihr, werden wir dieselben Punkte kriegen?!
 
Zuletzt bearbeitet:
Ich kann mich ehrlich gesagt Amasec nur anschließen - obwohl das System mit den Bewertungskriterien gut ist, ist die mathematische Abhandlung zur Punktemittlung leider nur unnötig kompliziert, etwas fragwürdig und überflüssig.

1. Standartabweichungen bei so wenigen Datenpunkten sind prinzipiell nicht aussagekräftig.

2. Der Unterschied zwischen der ganzen Normiererei und dem einfachen arithmetischen Mittel ist minimal - der Aufwandsunterschied aber erheblich.

3. Bei 3 Gruppen wird man auch durch einen einfachen Mittelwert die Spitzen rausglätten - zumindest ist der Fehler nicht größer als der Systemfehler, der dadurch kommt, das ich immer 5 Armeen relativ zueinander bewerte.


Zwei Gleiche Listen werden, wenn sie in unterschiedliche Konkurrenzgruppen antreten, deutlich verschiedene Punkte bekommen können.
 
@ Amasec81:
Was meint ihr, werden wir dieselben Punkte kriegen?!
Bei der Orgabewertung: ja, klar.
Bei der Spielerbewertung: da jeweils die Bemalung auch eine Rolle spielt: nein. Und den hypothetischen Fall, dass die Armeen auch noch gleich angemalt sind, braucht das System nicht abdecken - das System ist für die Realität gemacht und nicht für Was-Wäre-Wenn-Szenarien.

3.) Schreibt mir ein echt komplexes Bewertungssystem hin, und ich werde nicht zum Turnier fahren. (Das mit deiner Normierung habe ich offensichtlich nicht kapiert) Zu komplexe Missionen oder Beschränkungen haben eine ähnlich abschreckende Wirkung - da such ich mir doch lieber einfache Turniere, lege 20-30% der zu vergebenden Punkte in die Hände der Orga und spiele ein paar schöne Spiele, ohne großartig nachzudenken, was ich denn kann und soll und darf und muss...
Das stimmt prinzipiell und ist auch etwas, wodran ich immer wieder erinnert werden sollte. Ich gehe aber mal davon aus, dass die meisten lieber ein etwas komplexeres Bewertungssystem haben wollen, wenn sie dafür eine gewisse Sicherheit haben, was die 20-30% der Punkte angehen anstatt wie jetzt sich völlig dem Glücksfaktor hinzugeben. Die aktuelle Entwicklung zeigt ja, dass das jetzige System nicht allzu beliebt ist.

Die Abweichungen sind also minimal - was bringt das System?!
Die Armeen werden jeweils von 3 unterschiedlichen Gruppen bewertet. Wenn man ne tolle Armee hat, da aber eine Gruppe drunter ist, die sehr knausrig mit den Punkten umgeht, hat man am Ende weniger Punkte als jemand, der ne mittelmäßige Armee hat, aber das Glück hatte, von 3 Gruppen bewertet zu werden, die gut drauf waren.
Nach dem Normierungssystem sind die Unterschiede in der Bewertungsphilosophie nicht mehr so gravierend. Man kann auch nicht mehr so leicht manipulieren, indem man einfach eine Armee schlechter oder besser bewertet. Man müsste dazu schon die Bewertung aller Armeen manipulieren.
Durch das Normieren wird die Armee sozusagen in Relation zu 24 anderen Armeen, immerhin ein Viertel des Gesamtfeldes gestellt. Man bedenke, dass keine zwei Gruppe jeweils die gleichen 9 Armeen bewertet. Es gibt eine Schnittmenge von 3 Armeen, aber mindestens die anderen 6 Armeen sind aus einem anderen Pool. Ich schreib morgen mal ein Beispiel für 27 Armeen auf.

Was habe ich falsch gemacht?
Nichts. Ich hab das mit dem Intervall -1 bis 1 schlicht falsch geschrieben. Der Großteil der Ergebnisse bei einer Standard-Normalverteilung liegt darin, aber im Prinzip geht der Bereich von minus unendlich bis plus unendlich, jeweils mit sehr kleiner Wahrscheinlichkeit. Ich korrigiere das im Ausgangspost.

@ Ossa:
Dein erster Post war zweifellos nützlich, aber wenn Du nicht liest, was ich als Antwort gebe, dann kann ich auch nichts machen.

Also nochmal:
2. Der Unterschied zwischen der ganzen Normiererei und dem einfachen arithmetischen Mittel ist minimal - der Aufwandsunterschied aber erheblich.
Nein, ist er nicht. Wir leben im 21. Jahrhundert. Ich denke, der Unterschied insgesamt betägt einige Milisekunden.

3. Bei 3 Gruppen wird man auch durch einen einfachen Mittelwert die Spitzen rausglätten - zumindest ist der Fehler nicht größer als der Systemfehler, der dadurch kommt, das ich immer 5 Armeen relativ zueinander bewerte.
Es sind nicht 5 Armeen, sondern 9. Hab ich aber auch schon geschrieben.

Zwei Gleiche Listen werden, wenn sie in unterschiedliche Konkurrenzgruppen antreten, deutlich verschiedene Punkte bekommen können.
Das ist ja beim jetzigen System sehr stark der Fall.
 
@Jaquilein
1.) Ich bin nicht sicher, wer mehr Alkohol intus hatte... ICH bin jedenfalls nicht aus dem Club geworfen worden und MICH hat auch keiner weggeschubst an beiden Abenden. Aber gut, ich hatte auch heimvorteil 😛
Das schreibste nur weilde da eh schon mit jedem geschlafen hast. 😛

Tja... hmmm... scheint hier ja doch mehr abzugehen als ich dachte. Nun is aber die Frage... verdeutlicht dies dann doch nur wieder meine Befürchtung... Styleturniere sind out bzw. es gibt vielleicht doch kein gutes Stylesystem!?!
 
@Vovin
ich checks leider nicht (und ich gebe mir ernsthaft Mühe)

Bei kleinen Standardabweichungen erzielt man eine Spreizung, bei großen Stds eine Stauchung der Werte. Das könnte doch ebenso eine Verfälschung wie ein "Geradebiegen" sein, oder irre ich mich!?

Und wie kann ich bei einem Intervall das ich nicht kenne rückskalieren auf die 0 bis 20?!

@Jaq
Lass uns das woanders ausdiskutieren 😉
 
Das Interval -1 bis 1 wird durch y=x*10+10 auf 0-20 umskaliert.

@Vovin:

Ich hab gelesen, was du geschrieben hast, aber meine Meinung dazu ist immer noch die gleiche - der zusätzliche Arbeitsaufwand ist die weniger Prozente nicht wert.

Und meine Meinung, dass eine Standartabweichung bei so wenigen Datenpunkten blödsinnig ist, hat mir auch noch keiner widerlegt. Standartabweichungen und statistische Betrachtungen machen Sinn, aber nicht bei so wenigen Daten. Das ist einfach quatsch und das wird dir jeder Mathematiker bestätigen.
 
Naja, muß man als Spieler die Normierung denn überhaupt 100% verstehen. Ich stell die Frage einfach mal so in den Raum, denn ich sehe dafür keinen Bedarf.

Die Botschaft an die Spieler ist doch primär folgende:

- Meine Armee wird nicht von einer Person bewertet oder worst case direkt von dem Gegenspieler, den ich eben vernichtend geschlagen habe, sondern von 3 Teams.
- Zusätzlich dazu wird mit Hilfe einer statistischer Tricks diese Armee ins Verhältnis zu ~1/4 des Teilnehmerfelds gesetzt und damit Extremwertungen etwas abgefedert
- Das System ist transparent, egal ob man nun das Prinzip hinter der Normierung verstanden hat oder nicht.

Ich finde dieses AXE Prinzip recht gut, wenigstens für die Spieler. Es wäre jetzt war für mich kein Anreiz so nach dem Motto "wegen dem System muß ich da hin", aber es ist def. auch kein Ausschlußkriterium im negativen Sinne. Wenn die Infrastruktur erst einmal steht, dürfte es (bis auf die Sache mit der Listenvorbewertung) im Vergleich zum aktuellen NM-System auch keinen massiv erhöhten Zeitaufwand darstellen.