Diskussion über neues Bewertungssystem

[SHOKer]

Da wir ja beim letzten Wettbewerb festgestellt haben, dass das neue Bewertungssystem zwar vom Gedanken her gut war, es mit der Umsetzung aber noch ein paar Probleme gab, rufe ich hier mal zur Diskussion auf.

Also nennt einfach mal ein paar Gedanken oder macht Vorschläge.

Was gefällt euch bisher gut, kann also bleiben?
Was funktioniert eurer Meinung nach nicht?
Was findet ihr unsinnig oder unnötig?
Was sollte man ändern? Wie sollte man es besser machen?

usw. usf.

Ich würde mich über eine ordentliche Beiteilung sehr freuen.

 

[glorin]

Was gefällt euch bisher gut, kann also bleiben?

Es gibt eine Rangfolge, auch in dem unteren Bereich. Es sind nicht nur 5Geschichten die bewertet werden und alle anderen sind gleich.

Was funktioniert eurer Meinung nach nicht?

Der Strafabzug hat zu große Wirkung und ist nur sehr schwer auszugleichen. Es entsteht schneller der Verdacht auf Betrug. Und dieser wird auch erleichtert.

Was findet ihr unsinnig oder unnötig?

Das bestimmte Geschichten durch weniger Bewertung besser sind, als manche mit vielen Bewertungen...

Was sollte man ändern? Wie sollte man es besser machen?

Es muss eine min. Grenze geben, bei den zubewertenen Geschichten. Das Ergebnis sollte durch den Mittelwert und den Durchschnitt ermittelt werden.
Das ganze Bewertungssystem sollte ausserdem noch einmal überdacht werden und mit Proben auch geprüft werden. Proben könnten so aussehen. Ein Member veröffentlicht in einem Thread 15Sätze und jeder soll ähnlich wie die Geschichten bewertet werden. Dadran sehen wir ob das Bewertungssystem in diesem Fall mehr taugt, oder aber auch nicht.

 

[Rabenfeder]

Zu den negativen Aspekten:

€.: Zahlen ungenau.

Eine bessere Idee habe ich natürlich nicht. Vielleicht kann man gewisse Ungerechtigkeiten ausgleichen, wenn wir die letzten beiden Systeme mischen: jeder bewertet Geschichten mit maximal fünf Punkten, wie er will - und zusätzlich bestimmt er noch die ersten drei Plätze.
Das würde auch noch ermöglichen, ganz oben stärker zu differenzieren, eben zwischen der 1.-Platz-5-Punkte-Geschichte, der 2.-Platz-5-Punkte-Geschichte...

 

[Blackorc]

Ahoi,
ja es ist wirklich eine schwierige Sache mit dem Bewertungssystem. Ich habe leider auch kein Patentrezept parat. -_-


Bevor ich auf die einzelnen Fragen eingehe, einige Grundgedanken:

• Es wird Fakt bleiben, dass sich v.a. die Autoren untereinander bewerten
• Eine Schwäche der Durchschnittsbewertung ist die geringe Anzahl an Stimmen
• Das System bei den vorangegangenen Wettbewerben war auch nicht optimal
• Ein Hundertpro ausgewogenes System wird sich warscheinlich nicht finden lassen

Was gefällt euch bisher gut, kann also bleiben?

Was mir sehr gut gefallen hat war, dass durch das neue System alle Geschichten bewertet wurden. Vorher war es ja so gewesen, das man immer nur seine Lieblinge nominiert hat und der Rest unter den Tisch gefallen hat.

Auch fand ich die Diskussionen zu den Geschichten sehr schön. Für mich sind die mindestens genauso wichtig wie die Abstimmung.

Sehr gut finde ich nach wie vor, dass es bei diesem Wettbewerb nicht um Sachpreise geht. Da sich v.a. die Autoren untereinander Bewerten wäre da sonst ein zu starker Interessenskonflikt zwischen einer fairen Bewertung und dem eigenen Abschneiden.

Was funktioniert eurer Meinung nach nicht?

Die Durchschnittsbildung hat leider nur so lala funktioniert. Zum einen weil es insgesamt zu wenig Stimmen gab (das können wir aber warscheinlich nicht ändern) und zum anderen aufgrund der ungleichen Verteilung.

Was sollte man ändern? Wie sollte man es besser machen?

Der wichtigste Punkt wäre in meinen Augen wohl ein Bewertungszwang. Ich finde es zwar auch ein bißchen schade, wenn man damit arbeiten muss, aber so ist es halt nun mal. Die Autoren müssen alle Geschichten bewerten, alle Anderen mindestens die Hälfte. Bewertet ein Autor nicht alle Geschichten, fliegt er aus der Abstimmung raus, bewertet jemand Anderes nicht wenigstens die Hälfte, werden seine Stimmen nicht gezählt.

Der Abzug für Überlänge ist ebenfalls zu hart. Statt diesen zu ändern, wäre es vielleicht aber auch drin, wieder auf ein Maximum von 3.000 Zeichen hoch zu gehen.Wer da dann immer noch drüber ist hat eben Pech gehabt. ^_^

 

[Sarash]

Zwei Punkte hab ich anzumerken.

1: Zwang. Was Blackorc da gesagt hat, halte ich für gut. Ein Bisschen fühle ich mich, als jemand der sämtliche Geschichten bewertet, und somit die eigene noch weiter vom Sieg entfernt hat, veräppelt. Wenn wir schon so ein umständliches System einführen, müssen wir wohl auch mehr Regeln schaffen.

2: Durchschnittsermittlung. Von dieser halte ich nämlich nichts. Wie fändet ihr stattdessen einfach wie vorher alle Punkte zu einer Gesamtpunktzahl zusammenzuzählen. Dann wird jede Geschichte bewertet und Geschichten mit weniger Bewertung können nicht besser sein als welche mit vielen Bewertungen. Das ist mMn repräsentativer als Ergebnis.

Rabenfeders Vorschlag klingt zu sehr nach noch mehr Differenzierung. Wie soll man denn als Durchschnittsautor/ -leser noch durchblicken, wo man jetzt steht?

 

[Rabenfeder]

Gesamtpunktzahl ist Schmarrn und belohnt Autoren, die keine anderen bewerten bzw. die anderen schlecht bewerten. Außerdem benachteiligt es massiv Geschichten, die durch welche Umstände auch immer weniger Stimmen erhalten haben.

 

[Blackorc]

Wie fändet ihr stattdessen einfach wie vorher alle Punkte zu einer Gesamtpunktzahl zusammenzuzählen. Dann wird jede Geschichte bewertet und Geschichten mit weniger Bewertung können nicht besser sein als welche mit vielen Bewertungen. Das ist mMn repräsentativer als Ergebnis.

Grundsätzlich ist es eine gute Idee. Die Aussagekraft wäre tatsächlich höher.

Das Konzept würde aber nur funktionieren, wenn wir auch für Nicht-Autoren den Zwang einführen, alle Geschichten zu bewerten. Ansonsten geht die Sache schief, denn sie erlaubt keinerlei Abweichung, was die Anzahl der Stimmen angeht.

 

[glorin]

Hm, Gesammtpunktzahl würde gehen, wenn wir z.B. 10Plätze für die Punkte geben. Jeder darf 10Geschichten bewerten mit jeweils 1-10Punkten. Diese Zahlen werden dann zusammen gezählt und wir haben dann die gewünschte Punktzahl. Bei diesem Abstimmungsverfahren wird es dann nur leider evtl. dazu kommen das jemand durch mogeln sich um 3-4Plätze verbessern könnte und es sehr starke Schwankung zwischen den Punktzahlen der einzelnden Geschichten gibt. Ausserdem könnte keiner mehr alle Geschichten bewerten. Und das würde ich eigentlich schade finden. Hat mir eigentlich Spaß gemacht jede Geschichte zubewerten.

Sollten wir bei den Durchschnitt bleiben bin ich allerdings für die Einführung von 0Punkten und 0,5Schritten.

 

[Blackorc]

Sollten wir bei den Durchschnitt bleiben bin ich allerdings für die Einführung von 0Punkten und 0,5Schritten.

Ist dir das echt so schwer gefallen, die Geschichten in eine von 5 Kategorien zu packen?

Oder geht es hier nur um das untere Ende der Skala? Was das angeht, würde ich´s jetzt nicht verstehen. Denn die Bewertung mit 1 und 2 Punkten war doch eh schon eine Watsche für die betreffenden Autoren.

 

[glorin]

Blackorc schau dir mal meine Bewertung an. Ich habe so zimmlich nur eine Standartbewertung (3Punkte) abgegeben. Es fehlten mit echt Zwischenstufen. Auch andere haben geschrieben das sie stark zwischen Noten geschwankt haben. 0,5Punkte hätte mich echt stark geholfen. 15Geschichten auf nur 5Punkte aufzuteilen ist echt schwer. Normalerweiße wird ja sogar auf ner Skala von 10Punkten gemacht. In unserem Fall halte ich aber 5Punkte für besser. Nur Zwischenstufen fehlen mir.

 

[Blackorc]

In unserem Fall halte ich aber 5Punkte für besser. Nur Zwischenstufen fehlen mir.

Roger, roger ^_^

 

[Rabenfeder]

Grundsätzlich ist es eine gute Idee. Die Aussagekraft wäre tatsächlich höher.

Das Konzept würde aber nur funktionieren, wenn wir auch für Nicht-Autoren den Zwang einführen, alle Geschichten zu bewerten. Ansonsten geht die Sache schief, denn sie erlaubt keinerlei Abweichung, was die Anzahl der Stimmen angeht.

... nicht, dass dann der Schnitt deutlich anders wäre 😀

 

[Blackorc]

... nicht, dass dann der Schnitt deutlich anders wäre 😀

Ach, das fällt nur bei genau 10 Abstimmungsteilnehmern so richtig auf :lol:

 

[SHOKer]

Hm, ich fasse mal das bisherige zusammen:

1. Es sollte Abstimmungszwang für Autoren geben
2. Es sollte eine Mindestbewertung von 50% geben
3. Es sollte Zwischenstufen geben
4. Über eine alternative "Bestrafung" zum Thema Überlänge sollte nachgedacht werden.

Ein paar Gedanken von mir:

1 + 2 segne ich so ab. Gefällt mir zwar auch nicht, zumal es beim letzten Mal deshalb noch Protest gab, aber das Ergebnis hat gezeigt, dass es manchmal einfach nicht anders geht.

3: Verstehe ich ehrlich gesagt nicht ganz. Bei 15 Geschichten 10 Bewertungsstufen ist meiner Meinung nach zu viel. (Ob jetzt 1-10 mit 1-er-Schritten oder 1-5 mit 0,5-Schritten läuft ja aufs Gleiche hinaus).
Dann könnten wir vielleicht doch lieber darüber nachdenken, Kategoriepunkte zu geben.

4. Ich denke 3000 wäre durchaus ok. Und dann ohne "Punktepuffer". Also entweder drunter oder eben nicht.

Gesamtpunktzahl funktioniert bei dem System nicht. Und Plätze 1-10 ist auch Quatsch, denn dann ist es bis zu einer Bewertung aller Storys eh nicht mehr weit. Zumal es ja auch einer der Vorteile dieses Systems ist, dass man Geschichten gleichrangig bewerten kann.

 

[1Stein]

Also ich finde das mit der Gesamtpunktzahl kann schon funktionieren und zwar wie folgt: Zwang für alle Autoren alle Geschichten zu bewerten! Wären bei 15 Autoren maximal 70 Punkte( hab die scheinbewertung mal gleich abgezogen) für die beste Geschichte. Innerhalb des Autorenkreises gehe ich auch mal von keinen Betrugsversuchen aus. Also sollte die Punkteverteilung relativ fair möglich sein. Die Fremdleser können nur ihren Favoriten bestimmen oder ihre 3 Favoriten die GEschichte mit den meisten Fremdstimmen bekommt 5 Bonuspunkte die mit den Zweitmeisten stimmen 4 etc. finde das ganze übersichtlich und nicht ganz so anfällig für Mogelei wie das bisherige

 

[Rabenfeder]

Macht den Wettbewerb aber gleichzeitig auch zu einer unheimlich exklusiven Veranstaltung. Dagegen.

 

[Blackorc]

Also ich finde das mit der Gesamtpunktzahl kann schon funktionieren und zwar wie folgt: Zwang für alle Autoren alle Geschichten zu bewerten! Wären bei 15 Autoren maximal 70 Punkte( hab die scheinbewertung mal gleich abgezogen) für die beste Geschichte. Innerhalb des Autorenkreises gehe ich auch mal von keinen Betrugsversuchen aus. Also sollte die Punkteverteilung relativ fair möglich sein. Die Fremdleser können nur ihren Favoriten bestimmen oder ihre 3 Favoriten die GEschichte mit den meisten Fremdstimmen bekommt 5 Bonuspunkte die mit den Zweitmeisten stimmen 4 etc. finde das ganze übersichtlich und nicht ganz so anfällig für Mogelei wie das bisherige

Ich finde den Vorschlag ziemlich gut. 🙂

Macht den Wettbewerb aber gleichzeitig auch zu einer unheimlich exklusiven Veranstaltung. Dagegen.

Das ist er doch eh.
Wir können natürlich in der Hoffnung leben, das irgendwann mehr Leute dazustoßen und eine Bewertung da lassen. Aber ich halte es für unwarscheinlich.

Ganz ehrlich - bevor ich die erste Geschichte hier im Forum gepostet hatte war ich auch zu faul, das alles zu lesen. Ist einfach eine Frage des Interesses.

 

[1Stein]

1. Danke Blackorc hätte genauso argumentiert plus

2. Rabenfeder erklär mir doch mal bitte warum es exclusiver wird wenn "Fremdleser" doch immernoch abstimmen dürfen? Will mir absolut nicht in den Kopf! Wenn ich durchs Board klicke und lese ein paar Geschichten intressiert mich gelinde gesagt mal kaum wie meine Stimme denn ausgewertet wird. Und mal zurück zur psychologischen Komponente (Glorin wir können uns gern wieder "streiten") Wer wirklich einfach nur ein paar Geschichten lesen möchte der liest mit oder ohne Abstimmung!

 

[Rabenfeder]

Sie können aber nur noch eingeschränkt abstimmen und nicht mehr alles abstimmen, wenn sie wollen - und das gab es beim den letzten Wettbewerben durchaus.
Einfach auch ein falsches Zeichen.

 

[POHLlitiker]

Lieber spät als nie. ^^"

Mal ehrlich Jungs, warum so viel Lärm um "Fremdleser" (das Wort gehört verboten...)? Wir brauchen erst einmal ein besseres Regelwerk! Ich bin definitiv dafür, dass Stimmen erst gezählt werden, wenn der Abstimmende mindestens ein Drittel der Geschichten bewertet. Autoren natürlich alle. Dann muss ein Mathematiker unter uns herausfinden, wie man den besten Durchschnitt unabhängig von der Stimmenanzahl herausfindet.

Am liebsten wärs mir aber, dass jeder der für eine Geschichte abstimmt auch zum Kommentieren gezwungen wird. Feedback und so! Dann werden wir auch das Problem mit Freundschaftsbewertungen los, da man aus dem Postverhalten viel rauslesen kann.

Es gibt noch ne Menge zu verbessern. Und wir können auch nur Anbieten, dass andere Lesen und Bewerten. Diejenigen, die sich die Mühe machen und alle Geschichten Lesen, stimmen auch ab. Dann müssen wir halt damit Leben, dass wir ein paar Stimmen weniger haben - ich glaube die überbleibenden Stimmen haben mehr Aussagekraft.

MFG
Robert