[Statistisches] Spielspass braucht keine Grafik? (Vgl. mit kommerziellen Spielen)

[Kaltblut]

Um was gehts: Um Spielereviews aus diesem Thread

Ich habe gerade die Aufgabe in der Arbeit Daten aus Quellcodes von Http:// Steiten in Tabellenform zu bringen. Üben macht den Meister und ich bin nicht mal Lehrling. Deswegen hab ich das Wochenende getüftelt und versucht die Bewertungen von Wert(Spielpass), Handlung, Spielmechanik, Grafik und Sound aus den Spielereviews in Datenformat zu bringen. Ich hab also meinen PC so lange angefaucht, bis er mit das gegeben hat was ich wollte. Jetzt hab ich eine Datenauflistung ... und was macht der bekloppte Statistiker in seiner Freizeit mit Daten ... genau... . Ich hab mich bei der nachfolgenden Statistik möglichst verständlich und kurz versucht. Und - ja - ich weiß, dass Statistik ein Langweilerfach ist. Aber nur die coolen Langweiler werden Statistiker .

1. Gute Reviews

In den Reviews gibt es eine Menge gute Wertungen. Knapp 70 Prozent aller Reviews haben Spielspass-Bewertungen (Wert) größer gleich 7. Etwas mager ist es bei den schlechten Spielen, was wohl auch zu erwarten war. Wer müht sich schon gern mit Spielereviews, wenn sie eh keinen Spaß gemacht haben.

2. Je mehr, desto besser

Je höher die Bewertungen bei Spielmechanik und Handlung, desto höher waren auch die Wertungen bei "Wert" (Spielspass). Weniger eindeutig, aber dennoch vorhanden ist das bei Grafik und Sound. Das erklärt - find ich - auch ganz gut, warum Grafik für uns Spieler so wichtig ist. Handlung, Sound und Mechanik kann ich erst beurteilen, wenn’s schon zu spät ist. Die Grafik erkenn ich auch schon vor der Spielinstallation.

3. Spielspass braucht keine Grafik

Es gibt in der Statistik Rechenmethoden, die mir abschätzen, wie viel die Durchnittsbewertung vom Spielspass-"Wert" steigt, wenn Handlung, Spielmechanik, Grafik oder Sound höhere Bewertungen bekommen. Konkret heißt das

Durchschnittswert vom Spielspass = 0.45 x Handlung+ 0.38 x Spielmechanik + 0.07 x Grafik + 0.19 x Sound

Grave Spirit Review #2
Handlung: 7,5 - Spielmechanik: 6 - Grafik: 7,5 - Sound: 10 - (Wert: 9)

0.45 x 7.5 + 0.38 x 6 + 0.07 x 7,5 + 0.19 x 10 = 8.08 (Geschätzter Wert)

Ich schätze also, dass etwa 8 rauskommen sollte. Tatsächlich hat Kelven 9 gegeben, ich hab somit einen Fehler gemacht, der ist aber nicht so groß. Im Durchschnitt lieg ich bei vielen Spielen ganz gut.

Durch die obige Formel weiß ich, wie stark die Kategorien und die Spielspaßwertung zusammenhängen:

• Steigt die Handlung um einen Bewertungspunkt, dann ist der Spielspass (im Durchschnitt) um 0.45 Punkte höher
• Steigt die Spielmechanik um einen Bewertungspunkt, dann ist der Spielspass (im Durchschnitt) um 0.38 Punkte höher
• Steigt der Sound um einen Bewertungspunkt, dann ist der Spielspass (im Durchschnitt) um 0.19 Punkte höher
• Steigt die Grafik um einen Bewertungspunkt, dann ist der Spielspass (im Durchschnitt) um 0.07 Punkte höher.

Die Grafik hat den geringsten Zusammenhang zum Spielspass, fast gar keinen eigentlich, denn selbst bei einer Grafikwertung von 10 Punkten, erhöht sich der Spielspass nicht mal um 1 Punkt (genauer: 0.7 Punkte). Das scheint jetzt vielleicht wie ein Widerspruch zu der obigen Grafik, ist aber keiner.

Wenn ich den Zusammenhang von Grafik und Spielsass betrachte, aber nur für Spiele, die bei Handlung Wert größer als 5 bekommen habe, dann erhöht sich mit steigender Grafik die Spielspaßwertung nicht unbedingt.

Ähnliches gilt, wenn ich Spiele mit Handlung kleiner gleich 5 ansehe, nur dass Spiele mit schlechter Handlung insgesamt etwas schlechtere Spielspaßwertungen bekommen haben. Da Spiele mit guter Handlung im Durchschnitt eine bessere Grafik haben, steigt bei besserer Grafik der Spielspaßwert. Sieht man sich aber nur Spiele an, bei denen die Handlungswertung etwa gleich ist, steigt der Spielspass nicht mehr, wenn sich die Grafik verbessert.

_________________________________
Nachtrag: Eine etwas zu mutige Verständnishilfe

• Wenn ich vor dem Downloadfenster stehe und mir überlege welche Spiel ich lade, dann ist Grafik eine verdammt gute Entscheidungshilfe, weil ich über Handlung, Spielmechanik und Sound nix weiß. Wer will dass man sein Spiel spielt, sollte gute Grafik machen.
• Wenn ich am spielen bin, macht mich die Grafik aber nicht glücklicher. Da braucht es dann eine gute Handlung und Spielmechanik, sonst wird das Spielchen abgebrochen, egal wie gut die Grafik ist. Wer will dass das Spiel Spass macht, kommt auch mit einer mittelmäßigen Grafik bestens aus.

_________________________________

01.08.09: Kleine Fortsetzung: Vergleich der PGR Maker Reviews mit Reviews von der Seite www.gameswelt.de

Ich hab alle Reviewbewertungen (PC Spiele) von Gameswelt für Spielspaß, Grafik, Sound und Gameplay ausgelesen, um RPG Maker Reviews mit kommerziellen Reviews zu vergleichen.

Probleme beim Vergleich

• Ein ganz genauer Vergleich mit unseren Reviews ist nicht wirklich möglich, da Handlung und Spielmechanik nicht bewertet werden. Ich hab nun unterstellt, dass wenn jemand bei den RPG Reviews das Gameplay bewertet hätte, dann wär es der Durchschnitt von Spielmechanik und Handlung. D.h RGP-Maker-Gameplay = (Spielmechanik + Handlung) / 2.
• Die Reviewwerte von Gameswelt sind bei Grafik, Gameplay und Sound nicht perfekt vergleichbar, da Gameswelt immer Ratings zwischen 1 und 8 vergibt. Für die untere Formel, hab ich deswegen eine Korrektur gemacht, d.h. die Gameswelt Reviewwerte sind bei Punkt 2. zwischen 1 und 10.

1. Je mehr desto besser

Je höher die Wertung bei Grafik, Sound oder Gameplay, desto höher ist auch im allgemeinen der Spielspaß.

2. Gameplay > Grafik

Formel RPG Maker mit Gameplay:

Durchschnittliche Spielspaßwertung = -0.18 + 0.84 x Gameplay + 0.07 x Grafik + 0.19 x Sound

Formel Gameswelt Reviews:

Durchschnittliche Spielspaßwertung = +1.54 + 0.46 x Gameplay + 0.20 x Grafik + 0.14 x Sound

Die Einflussstärke von Gameplay (Handlung und Spielmechanik) auf Spielspaß ist bei RPG-Maker-Spielen deutlich stärker, als bei kommerziellen Spielen. Umgekehrt gilt es bei Grafik, die ist im kommerziellen Bereich deutlich wichtiger. Der Sound unterscheidet sich nicht großartig.

RPG Maker Reviews:

• Steigt das Gameplay um einen Bewertungspunkt, dann ist der Spielspaß (im Durchschnitt) um 0.84 Punkte höher
• Steigt die Grafik um einen Bewertungspunkt, dann ist der Spielspaß (im Durchschnitt) um 0.07 Punkte höher.
• Steigt der Sound um einen Bewertungspunkt, dann ist der Spielspaß (im Durchschnitt) um 0.19 Punkte höher
• Sind Gameplay, Grafik und Sound Null (was nicht passieren kann), dann sollte im Durchschnitt ein Spielspaßwert von -0.18 vorliegen.

Gameswelt Reviews:

• Steigt das Gameplay um einen Bewertungspunkt, dann ist der Spielspaß (im Durchschnitt) um 0.46 Punkte höher
• Steigt die Grafik um einen Bewertungspunkt, dann ist der Spielspaß (im Durchschnitt) um 0.20 Punkte höher.
• Steigt der Sound um einen Bewertungspunkt, dann ist der Spielspaß (im Durchschnitt) um 0.14 Punkte höher
• Sind Gameplay, Grafik und Sound Null (was nicht passieren kann), dann sollte im Durchschnitt ein Spielspaßwert von +1.54 vorliegen.

Wenn die Statistik stimmt, dann sind wir sind anders als die Anderen. Vor allem achten wir mehr auf Handlung bzw. Spielmechanik und deutlich weniger auf die Grafik.

[Ineluki]

Sehr toller Thread \o/

Allerdings wuerde mich doch wirklich mal die Groesse des Basissatzes, das R² deiner Regression, das Leave-1-Out q², die Varianz-Covarianz-Matrix als auch die Fehlermargen der Regressionsparameter interessieren. So ist das ganze naemlich hochradig nichtssagend und statistisch unaussagekraeftig.

Trotz allem, danke fuer die viele Muehe. Weiter so !

[Kaltblut]

Danke. Freu mich wie ein Karnickel vor dem Paarungstanz, wenn ich so einen Post bekomm. Die Maßzahlen etc. kann ich liefern, hab ich aber bewusst nicht aufgenommen. Zahlenwirrwarr verschreckt eher - daher auch im Spoiler. Und da ich eigentlich nur die Daten beschreibe, ist das so schon ok. Wer will kann die Formel ja bei weiteren Bewertungen aus dem Reviewthread ausprobieren. Es dürfte kaum Fehler geben, die größer als 2 Spielpasspunkte sind.

Code:

Multiple R-squared: 0.8349,     Adjusted R-squared: 0.8282

Covarinazmatrix unskaliert
             (Intercept)          Hand          Spie          Graf          Soun
(Intercept)  0.246077841 -0.0019654337 -0.0019920192 -0.0166638902 -0.0131697545
Hand        -0.001965434  0.0038105082 -0.0025980695 -0.0005031699 -0.0003099366
Spie        -0.001992019 -0.0025980695  0.0056461131 -0.0017805796 -0.0009735037
Graf        -0.016663890 -0.0005031699 -0.0017805796  0.0069678015 -0.0024283939
Soun        -0.013169755 -0.0003099366 -0.0009735037 -0.0024283939  0.0055981575

Regression:
Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.18443    0.42818  -0.431  0.66760    
Hand         0.45139    0.05328   8.472 2.32e-13 ***
Spie         0.38626    0.06486   5.955 3.97e-08 ***
Graf         0.07380    0.07205   1.024  0.30819    
Soun         0.19599    0.06458   3.035  0.00308 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.8632 on 99 degrees of freedom


           1            2            3            4            5            6            8            9           10           11           12 
 0.968013593  1.397977490  0.586296890  0.702863070  0.155162065 -0.001068144 -0.241331957  0.308654149  0.267815410 -1.259739390  1.702465249 
          13           14           15           16           17           18           19           20           22           23           24 
 0.980354260  0.836786432 -0.329374742 -0.034037281 -0.822505767  0.733597749 -1.299543842  1.233966328  1.470128532  2.074335291 -0.702458235 
          25           26           27           28           29           30           31           32           33           34           35 
-0.226685948 -0.376195802 -0.626515180 -0.164323961  0.423349256 -0.308467971 -0.920298865 -0.436818876 -1.624386710 -0.274471257  0.397200602 
          36           37           38           39           40           41           42           43           44           45           46 
-0.557454520 -0.757774373 -0.067326503 -0.552714014 -0.847697730 -0.291899466  0.152594103 -0.646771152  0.473677980 -0.527742998  1.868965261 
          47           48           49           50           51           52           53           54           55           56           57 
 0.247860911 -0.262243148 -0.130251141 -0.913636004 -0.714387802 -0.784931353  0.548214889 -0.004980978 -1.970682791 -0.763670836  1.407348735 
          58           59           60           61           62           63           64           65           66           67           68 
 0.204489173 -0.107617499 -0.748925548 -0.612711751  0.488777013  0.029538156  0.879544736  0.446711293  1.695596273  0.349669760  2.446759786 
          69           70           72           74           76           77           79           80           81           83           85 
-0.369738065  0.278728389  0.537080963  1.365884519 -0.291225635 -0.858732519 -0.116289451 -0.135187132 -0.785428311 -0.766033672 -0.622583734 
          86           87           88           89           92           93           94           95           96           97           98 
-1.035115642 -0.796633263  0.059022021 -0.429949900  0.098874966 -0.217321412 -1.208093519 -0.282745389 -0.187009875 -0.346490989 -0.325237182 
          99          103          104          106          107          108          109          110          111          112          113 
 0.233966328  0.171505203 -0.137446911 -0.120795591  0.781209116 -0.632234769 -0.543486121  0.166992354 -0.717439302 -0.683354440  1.922767853 
         114          115          116          117          118 
-0.299897587 -0.785428311  2.295738789  0.399030529 -0.183973207

Die Test sind hier etwas nichtssagend, da ich nicht weiß was für eine Grundgesamtheit vorhanden ist, daher kannst du eigentlich die Kovarianzmatrix ignorieren. Das Modell beschreibt lediglich die Daten, Inferenzschlüsse sind hier wohl Unsinn. Den Intercept hab ich der Verständlichkeit zuliebe weggelassen, da er sowieso nur minimal wirkt. Fallzahl ist bei 118. R² ist mit 0.83 bzw. korrigiertes R² mit 0.82 verflixt gut . Leave One Out hab ich nicht verfügbar und wär mir gerade zu mühseelig.

Kurze PN Frage: Was ist "Groesse des Basissatzes"?

[Ianus]

Ich verstehe nichts, aber mach auf jeden Fall weiter. Die Auswertung wird vielleicht für mich als Banausen verständlich und interessant sein.

[Ineluki]

Eigentlich haette ich bezueglich Handlung und Graphik eine groessere kreuzkorrelation erwartet, vor allem da du ja beschreibst, dass Spiele mit guter Handlung auch tendentiell bessere Graphik besitzen ... Sollte sich das nicht in der Varianz-Covarianz-Matrix niederschlagen ?

Ansonsten .. danke fuer die Daten. R² von 0.86 ist schon ein moderat guter Ansatz, ja. Vor allem bei der groesse des Datensatzes ...
Allerdings haben einige Parameter mit >30% noch recht grosse relative Fehler. *Schulterzuck*

[Wischmop]

Ich verstehe nichts, aber mach auf jeden Fall weiter. Die Auswertung wird vielleicht für mich als Banausen verständlich und interessant sein.

...

Dem muss ich mich anschließen.

[Xia]

Ich habe keine Ahnung was du da genau tust und wie du das alles machst, aber das Endergebniss finde ich toll. :3

[Kaltblut]

@ Ineluki
Banause. Soziologen bekommen ab einem R² von 0.3 multiple Orgasmen. Ich steh gerade voll auf der Matte und mal mir meine Zukunft als Weltsoziologe aus. Und wir hatten ein kleines Missverständnis. Ich hab dir die Kovarianz der Schätzer gegeben, nicht der Variablen/Parameter. Daher eine Nachlieferung für den Statitiknerd. Da korreliert alles mit allem.

Code:

Korrelationsmatrix

          Hand      Spie      Graf      Soun      Wert
Hand 1.0000000 0.6938291 0.4797974 0.4186108 0.8363404
Spie 0.6938291 1.0000000 0.5774506 0.5003520 0.8196911
Graf 0.4797974 0.5774506 1.0000000 0.5703861 0.5932152
Soun 0.4186108 0.5003520 0.5703861 1.0000000 0.5778892
Wert 0.8363404 0.8196911 0.5932152 0.5778892 1.0000000

@ Ianus, Wischmop, Xia: . Ich fass es kurz zusammen.

• Wenn ich vor dem Downloadfenster stehe und mir überlege welche Spiel ich lade, dann ist Grafik eine verdammt gute Entscheidungshilfe, weil ich über Handlung, Spielmechanik und Sound nix weiß. Wer will dass man sein Spiel spielt, sollte gute Grafik machen.
  
• Wenn ich am spielen bin, macht mich die Grafik aber nicht glücklicher. Da braucht es dann eine gute Handlung und Spielmechanik, sonst wird das Spielchen abgebrochen, egal wie gut die Grafik ist. Wer will dass das Spiel gut wird, kommt auch mit einer mittelmäßigen Grafik bestens aus.

Die Interpretationen sind sehr mutig und gehen über die Auswertung hinaus. Aber besser kann ich es nicht erklären ^^.

[Ianus]

D.h. das Cover muss auf jeden Fall hübscher als der Inhalt sein, sofern der Inhalt dann aus mehr als blos hübschen Bildern besteht?

[Kaltblut]

Genau das . Screenshotthread olé!

[Ineluki]

Ich bin ja nicht sonderlich in Statistik bewandert, deshalb moege man mir verzeihen, aber wie rechnet man eigentlich nochmal die Kovarianz der Schätzer in die Kovarianz der Variablen/Parameter um ?

Ansonsten wundert mich trotzdem die geringe Kreuzkorrelation zur graphik .. nun ja, egal ^^

Auf Arbeit (ich arbeit in einem wissenschaftlichen Institut) sind unsere Modelle mit R² > 0.92 gut und R² > 0.95 angestrebt. Und das auf einem Datensatz von 1000 Stoffen mit so wenig Parametern, wie moeglich.

In deinem Fall hast du 6 Parameter (wenn du den Achsabschnitt mit optimierst) auf 118 Datenwerte. Das macht rund 20 Punkte pro Parameter. Das ist schon super. Bei meinem aktuellen Datensatz waere ich ueber so eine Ratio froh ..

[Kaltblut]

@ Ineluki: Hab mir schon gedacht, dass du aus den Naturwissenschaften kommst. Da ist alles viel viel exakter - ich werd dabei immer grün vor Neid. Die Gesellschaftswissenschaften können nichts wirklich genau, schon allein weil der Mensch selbst nicht weiß wie er zu seinem Wohlstandfett kommt.

Die Korrelation entsteht nicht aus den Schätzern, sondern einfach über die Variablen. D.h. das hat nicht direkt mit der Regression zu tun. Die Kovarianz der Schätzer ist ungenau, weil das eigentlich unterstellt, dass meine Daten normalverteilt um die Regression streuen und darüber berechnet wird. Deswegen ist die Inferenzstatistik auch ein bisschen unsinnig (bei Handlung und Spielmechanik dürfte es dennoch stimmen). Es ginge zwar, dass ich das korrigiere, aber ist zu aufwenig und bringt wahrscheinlich gerade auch nix.

Ich würd vorschlagen, dass wir die statische Kaffeerunde auf PNs verlagern. Ich hab nämlich die Befürchtung, dass sich sonst meine Leserschaft nicht von der Genialität der Ergebnisse blenden lässt.

[Ineluki]

Das mit der impliziten Gaussverteilung ist ja ein notwendiges Uebel der Least-Squares-Methode. ... daher hab ich die schon angenommen.

Aber ja, du hast recht, das wir das auf PM verlagern sollten.
Wollte ich eigentlich schon im letzten Post mit dazu schreiben

Waere trotzdem froh, wenn du mir sagst, wie man die zwei Matrizen in (einander ?) umrechnen kann.

[Spongie *W*]

Toller Thread, absolute Sahne für einen Statistikfetischisten wie mich. Weiter so, sehr interessant ...

Deinen Erkenntnissen bezüglich Spielspaß und Grafik stimme ich restlos zu.

[Davy Jones]

Spielspass braucht... keine Grafik?!



...

ne im ernst, das war doch sowieso schon immer klar. Grafik trägt allerdings zur Atmo bei und kann im Ernstfall ein Durchschnitts-RPG gehörig aufwerten. Außerdem ist es die persönliche Note die sich von allem anderen abhebt, ist eben was fürs Ego und den Wiedererkennungswert (wenn man sich schon an nichts anderes mehr aus dem Game erinnern würde).

[Vilvy]

hm............ schon irgendwie logisch.............
ich glaube allerdings, dass das einzige, was mir aus deiner Rechnerei hängen geblieben ist, "Spiele mit guter Grafik haben ja meistens sowieso bessere Spielmechanik und Handlung" ist *gg* Denn das wusste ich in einem hinteren Teil meines Bewusstseins schon
Wobei ich bei der Auswahl neuer Spiele meistens zuerst nur nach den Screens gehe, später ist das dann Grafik tatsächlich nicht mehr so wichtig.
(...Also auf jeden Fall immer nur die schönsten und besten Screens reinstellen!)

[TrueMG]

Höchst aufschlussreich.
Mei, jetzt gibt es sogar schon eine formel um den Spielspaß zu berechnen.
Ein Hoch auf die Statistiker!
(ernsthaft)

[TM]

[Kelven]

Die Statistik hat aber eine Schwachstelle: Die Ehrlichkeit der Bewertungen. Kann man voraussetzen, dass alle Ausgangsdaten wirklich dem entsprechen, was der Spieler empfunden hat? Ich denke nicht. Hat einem das Spiel insgesamt gefallen, bewertet man häufig automatisch alle Bewertungskategorien höher. Das Extrembeispiel ist der Fall, bei dem ein Fan sagt, dass sein Lieblingsspiel in allen Kategorien nahezu perfekt ist, obwohl jemand ohne den Fanbonus die Grafik oder die Handlung nur als durchschnittlich ansehen würde. Andersherum funktioniert es genauso; ein Spiel, das man schlecht findet, zieht oft die anderen Bewertungskategorien nach unten.

[Ianus]

dass das einzige, was mir aus deiner Rechnerei hängen geblieben ist, "Spiele mit guter Grafik haben ja meistens sowieso bessere Spielmechanik und Handlung" ist *gg*

...

Nein? Denk nur mal an Doom: Ravolutionäre Grafik, total dröge Spielmechanik. Oder an Myst: optisch geil, praktisch eine Logikrätzselsammlung. Weiters gab es da noch so ein Prügelspiel mit Robotern auf dem SNES: Wiederum, großartige Optik, aber total lahme Steuerung und Spielmechanik....es gibt noch viel mehr Beispiele.

[Kaltblut]

@ Kelven: Jupp stimmt, eigentlich kann man nur versuchen die Bewertung des Spielspass aus den restlichen Bewertungen vorherzusagen, nicht den tatsächlichen Spielspass. Das ist aber nicht so schlimm, wenn du nur vergleichst, was einen starken bzw. schwachen Einfluss hast und nicht die exakte Formel zur Berechnung von Spielspass benutzt.

Wenn die Werte aller Kategorien sich grunsätzlich ein bisschen hin zum Spielspass verschieben, dann ist die Spielspass-Formel etwas falsch. Wenn ich z.B. Grafik und Handlung betrachte und deren Wirkung auf den Spielspass miteinander vergleiche, dann wird der Unterschied von Grafik und Handlung als zu gering eingeschätzt

Ich persönlich würde vermuten, dass bei guten Spielen die Hochkorrektur stärker ist, als die Runterkorrektur bei schlechten Spielen (Fanbonus eben). Dann wär der Grafikeffekt noch schwächer als hier angenommen, d.h. Grafik wär, verglichen mit den anderen Faktoren, noch unwichtiger. Wär es umgekehrt (Runter > Hoch bzw. Runter = Hoch), dann wär meine Grafikprognose weniger richtig. Der Unterschied zwischen den Kategorien reduziert sich, bleibt aber etwas schwächer bestehen.

Egal ob man es nun exakt sieht oder schwammig, die Tendenz, dass Grafik den Spielspass nur gering fördert bleibt wohl. Dafür ist der Unterschied zu Handlung und Spielmechanik zu deutlich. Für die Entwickler hat das ja durchaus einen nützliche Empfehlung parat, da - meinem Eindruck nach - sehr viel Zeit auf Grafik verwendet (wenn ich recht hab verschwendet) wird.

EDIT: Es gibt aber vielleicht eine Kelven-verzerrung. Ich schätz mal etwa ein Viertel aller Bewertungen sind von dir