min-fps...Frage vor allem an die Redakteure

[boxleitnerb]

Alles Folgende soll sich natürlich sowohl auf GPU- als auch auf CPU-Benchmarks beziehen!

Wird außer dem avg-Wert noch ein fps-Wert angegeben, sind es eigentlich immer die Minimum-fps.

Erachtet ihr eine Reduktion der fps-Informationen auf zwei Werte für sinnvoll? Ist das aussagekräftig (genug)?
Da ich generell dafür bin, soviel Informationen in ein Benchmarkergebnis zu packen wie möglich (ohne dass es zu kompliziert wird), frage ich mich, ob nicht der Ansatz sinnvoller wäre, den damals Fear mitgebracht hat:

Zusätzlich zu den Absolutwerten, mit denen man alleine recht wenig anfangen kann, eine prozentuale Information über die fps-Verteilung. Das geht natürlich nur, wenn man selbst mit fraps bencht und jede Sekunde einen Wert hat. Ein netter Nebeneffekt wäre auch, dass man somit fast gezwungen wäre auf Timedemos und vorgefertigte Benches zu verzichten und "echte" Ergebnisse zu generieren.

PCGH hat sowas glaub ich mal gehabt in Form eines Balkendiagramms. Eine Tabelle fände ich hier fast besser (zusätzlich zu den normalen avg- und min-fps Balken), da man sonst ein extra Diagramm mit 3 Balken pro CPU/GPU (die Bereichsgrenzen, z.B. 25, 40, 60fps) anschauen muss, was je nach Anordnung recht verwirrend sein kann.

Man könnte zumindest die Prozentwerte, die unter einem gewissen Komforniveau liegen (25 oder 30 fps), der Anschaulichkeit halber in einem Graphen darstellen. Natürlich muss man dann deutlich hinschreiben, dass mehr hier nicht besser ist.

Diese Methode würde auch wertvolle Praxisinformationen liefern, nämlich über die Spielbarkeit und sogar teilweise den subjektiven Anforderungen gerecht werden:

Je nachdem, welche Ansprüche man hat, kann man sich an den verschiedenen Grenzen orientieren. Dem einen reichen 30 fps für ein flüssiges Spielerlebnis, dem anderen erst 60. Dementsprechend schaut man dann eben auf die Prozentwerte für >30 oder >60.

Umsetzbar, oder will das niemand sehen? In Printmedien, bei denen der Platz begrenzt ist, vielleicht eher nicht? Aber Online ist es ja kaum Mehraufwand, das durch eine Exceltabelle ausrechnen zu lassen.

[Leonidas]

Frameratenverläufe sind unter den Spezis sehr beliebt, haben aber keine so gute Aussagekraft für die Masse - und vor allem sind relative Unterschiede schwerer erkennbar. Man irrt sich dann eben schnell, ob eine Karte 10 oder 20% vor der anderen liegt.

Thema min-fps: Ich bin immer dagegen, den Wert eines einzelnen Frames zu nehmen, weil das kann immer die Ausnahme von der Regel sein - ein Fehler im Code, eine CPU-Limitierung, was weiss ich. Besser wäre ein Min-Wert in folgender oder ähnlicher Form:

Von allen aufgestellten Werten die niedrigsten 20%, wobei das niedrigste Prozent herausgelassen wird. Davon der Durchschnitt. Das wäre dann der Durschschnitt der langsamsten 20 Prozent, ohne die extremen Ausreißer nach unten hin.

Ein solcher Wert wäre sogar besser als der allgemeine Durchschnittswert, weil der alle Unterschiede bei hohen und sowieso mehr als ausreichend schnellen Frameraten abschneidet und sich genau dort auf die Unterschiede konzentriert, wo es drauf ankommt.

Um so etwas zu erreichen, muß der Spieleprogrammierer aber mitspielen. Die Fraps-Werte reichen hierfür nicht aus, denn das sind ja schon jeweils Durchschnittswerte einer Sekunde. Als Datenbasis benötigt man aber die Frametimes jedes einzelne Frames.

[boxleitnerb]

Das mit den langsamsten 20 Prozent ist ein sehr interessanter Ansatz!
Ich kann dir aber nicht folgen, warum dafür Frametimes nötig wären. Klar, mit fps glättet man wieder, aber ist das wirklich so dramatisch?

Was spricht gegen den FEAR-Ansatz? Zwar vernichtet man auch hier Informationen, stellt das Ganze aber so dar, dass es analytisch schnell erfassbar ist. Und auch die geringe Aussagekraft eines einzigen min-Wertes wird relativiert.

[Tesseract]

am sinnvollsten wäre es sowieso sowas wie quantilen anzugeben. min-fps können je nach race-conditions totale statistische ausreißer sein.
auch avg-fps sind nicht gerade optimal im vergleich zum median.

[Leonidas]

Ich kann dir aber nicht folgen, warum dafür Frametimes nötig wären.

Was spricht gegen den FEAR-Ansatz?


Frametimes: Ich meine den fps-Wert jedes einzelne Frames und nicht den fps-Wert einer Sekunde. Man braucht die Originaldaten - die fps-Werte einer Sekunde sind ja letztlich auch wieder nur Zusammenfassungen.


FEAR-Ansatz: Deutlich zu ungenau. Reicht, um eine einzelne Grafikkarte zu beurteilen, aber für exakte Vergleiche vieler Grafikkarten reicht die Genauigkeit nicht aus. Es handelt sich auch wieder nur um Zusammenfassungen.

[y33H@]

Sofern man Benchmarks nutzt, die reproduzier- sowie messbar die CPU oder Grafikkarte als limitierende Komponente eingrenzen, spricht nichts gegen Min-Fps. Selbst Balken-Werte kapieren viele Leute schon nicht, Frame-Diagramme teils erst Recht nicht. Und prozentuale Fps-Verteilungen schon mal gar nicht. Leider.
Umsetzbar, oder will das niemand sehen?Hatte PCGH mal geraume Zeit, aber die Leute wollen offenbar einfach nur stumpfe, debile Balken. Am besten noch MGPU mit SGPU mischen und AF und Treiber-Versionen durcheinander würfeln ...

[Tesseract]

Von allen aufgestellten Werten die niedrigsten 20%, wobei das niedrigste Prozent herausgelassen wird. Davon der Durchschnitt. Das wäre dann der Durschschnitt der langsamsten 20 Prozent, ohne die extremen Ausreißer nach unten hin.
das ist statistisch allerdings ziemlicher unsinn. das was du haben willst erreichst du am besten in dem du einfach das entsprechende quantil dieses bereichs berechnest. das ist wesentlich robuster und mehraussagender als irgendein seltsam abgehackter durchschnitt.

so könnte man z.B. mit ebenfalls nur 1-3 werten einen sehr zuverlässigen indikator des verhaltens wärend der messung abgeben.

[pest]

keine Sorge, Tesseract redet zwar von Quantilen aber ihr meint alle so ziemlich das Selbe

[Leonidas]

Es geht nicht um die Methode (die kann man mathematisch ausfuchsen bis zum geht nicht mehr), sondern darum, was man zeigen will. So ein ds-Wert der niedrigsten 20% (oder ähnliches) hat eine hohe Aussagekraft und läßt sich trotzdem als einzelne Zahl ausdrücken, ist also Balkendiagramm-kompatibel.

[AwesomeSauce]

Hatte PCGH mal geraume Zeit, aber die Leute wollen offenbar einfach nur stumpfe, debile Balken. Am besten noch MGPU mit SGPU mischen und AF und Treiber-Versionen durcheinander würfeln ...

War das wirklich der einzige Grund? Sehr schade. Ich mochte die Verteilungsdiagramme sehr und richtete mich sogar eher nach diesen. Wenn ich mich recht erinnere, sah das ungefähr so aus:
http://www.abload.de/img/fpsdiagjil2.png (http://www.abload.de/image.php?img=fpsdiagjil2.png)

+1 für die Wiedereinführung dieser Diagramme!

Die AVG/MIN-Penisbalken dürfen natürlich koexistieren.

PS: Die Werte sind natürlich frei erfunden und dienen nur der Veranschaulichung!

[boxleitnerb]

Finde das in Verbindung mit einem Ampelsystem hervorragend und schneller erfassbar als Frameverläufe (die natürlich vollständiger sind!).

Der FEAR-Ansatz bzw. die Verteilungsdiagramme sind wieder eine Zusammenfassung und ungenauer wie ein Frameverlauf, ja. Aber ich denke, es ist ein guter Kompromiss zwischen einem Avg-Balken und eben dem Frameverlauf, was die Vermittlung von Informationen angeht.

[y33H@]

@ AwesomeSauce

Die Online-Version sah anno 2008 so aus:

http://www.abload.de/thumb/10_sp_ut3_1680_x4xaainb3.png (http://www.abload.de/image.php?img=10_sp_ut3_1680_x4xaainb3.png)

Kann man natürlich hübscher gestalten wenn man es wiederbelebt.
Finde das in Verbindung mit einem Ampelsystem hervorragend und schneller erfassbar als Frameverläufe (die natürlich vollständiger sind!).Wie definierst du "vollständig"? Egal ob Balken, Verlauf oder Ampel - alle Werte finden Verwendung [nur eben in einer Form, die zB keine Rückschlüsse auf AVG oder prozentuale Verteilung zulässt]

[boxleitnerb]

In einem Frameverlauf, der auf Frametimes basiert, stecken alle Informationen, die man erhalten kann. Da wird nichts gemittelt, geglättet oder sonstwie vernichtet. In dem Verteilungsdiagramm gehen im Vergleich Informationen verloren, es ist also per se nicht "vollständig" vom Informationsgehalt her.

Aber eben einfacher lesbar mMn. Btw die Variante mit einem Balken statt 3 finde ich weitaus besser. Sieht irgendwie sauberer aus und verwirrt die armen Leser nicht so :)

[y33H@]

Man könnte das schön auswalzen: Ein Verlaufsdiagramm, welches einen Querbalken für die AVG-Fps trägt und zudem in grün-gelb-rot die prozentual Verteilung. Mal ein arg zusammen gestümmeltes Bsp:

http://www.abload.de/thumb/unbenannthrbc.jpg (http://www.abload.de/image.php?img=unbenannthrbc.jpg)

[derguru]

ich finde AwesomeSauce diagramm übersichtlicher als bei post #12 vor allem wenn es viele karten werden.

[boxleitnerb]

Hey, das sieht ja mal richtig...schick aus ;D

Ich glaube, die Leute kapieren es erst recht nicht mehr, wenn man so viele verschiedene Darstellungsformen in ein Diagramm packt.

[Tesseract]

auf die gefahr hin, dass ich weiterhin ignoriert werde:
warum nicht einfach einen mehrstufigen balken wie den von AwesomeSauce, nur eben mit den 3 quantilen anstatt avg-, min- oder unter-20%-werten. eventuell vielleicht sogar nur das untere quartil und den median. das wären dann 2 werte pro messung die man bequem in einen balken bekommt.

das wäre viel sinnvoller als min-fps, untere-20% oder sogar die avg-fps.

[boxleitnerb]

Wenn du die Fachbegriffe mal bitte erklären würdest, ich bin kein Mathematikprofi :)

[Tesseract]

das sind zentralwerte eines bestimmten bereichs. der bekannteste quantil, den vermutlich die meisten aus der schule kennen, ist der median.
also nicht die summe aller werte des bereichs durch die anzahl sondern alle werte sortieren und davon den zentral gelegenen wert nehmen.

diese werte haben im gegensatz zu mittelwerten vorteile wie z.B. eine größere robustheit gegenüber ausreißern und werden zumindest im akademischen bereich der statistik oft verwendet. damit erspart man sich auch automatisch solche krücken wie das weglassen bestimmter werte (z.B. des untersten 1%) um keine unbrauchbaren werte zu bekommen.
gerade wenn man viele verschiedene karten durch den selben parkour schickt sollte man damit brauchbarere vergleichswerte bekommen.

im prinzip kannst du z.B. die median-fps im artikel genau so verwenden wie momentan die avg-fps, nur, dass der wert in gewisser weise "besser" ist.

[boxleitnerb]

Thx! :)

[pest]

warum nicht einfach einen mehrstufigen balken wie den von AwesomeSauce, nur eben mit den 3 quantilen

das kann ich dir sagen...da jedes p-Quantil das q-Quantil mit q<p beinhaltet!
Was willst du damit Aussagen sobald du mehr als einen Wert nimmst?
Das muss man schon ein bisschen geschickter machen, aber mit Quantilen kann man dann doch tatsächlich die erfolderlichen Balken wie von AwesomeSauce erstellen

[hq-hq]

ähm also ich finde AwesomeSauces am praktischten weil man alles schön in ein diagramm pressen kann, wenn ich jetzt an ein quantil diagramm denke glaub ich lassen sich die übereinander gestapelt nicht so einfach miteinander vergleichen...

[AwesomeSauce]

Hier stand nichts...

[RavenTS]

Wenn du die Fachbegriffe mal bitte erklären würdest, ich bin kein Mathematikprofi :)

Da liegt es doch aber auch schon wieder. Wenn man direkt mit Statistik-Begriffen wie Quantil, Median, Interquartilsabstand, Standardabweichung etc. anfängt, das wird den meisten wohl schon wieder zuviel zum nachdenken sein...