PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Minimal-Werte bei Benchmarks


Leonidas
2001-04-21, 21:23:40
Ich habe bezüglich der Benchmark-Charts bei HT4U eine interessante Mail bekommen, welche sich um Minimal Zahlen beim Benchmarking dreht:

An sich finde ich es sehr gut von Euch, eine öffentliche Charts-Library der bekanntesten Benchmark-Progis zu sammeln und zu veröffentlichen. Allerdings sehe ich beim GLMark den Sinn schon wieder leicht entschärft.

Da ich ihn selbst auch getestet habe und auf nicht so hohe Ergebnisse kam habe ich den VSync disabled und Voila! Bloß: die Grafik war an den Schlüsselszenen weiterhin ruckelig! Der einzige Unterschied war, daß durch die nun nicht mehr auf 85Hz begrenzte maximale fps der Durchschnitt ziemlich hoch gezogen wurde, ohne daß es optisch oder spielerisch was bringt.

Sinnvoller finde ich die Angabe der geringsten mittleren fps, da diese die eigentlichen Ruckler ausmacht. Bei der Aufrüstung meines Systems von 733Mhz Intel auf 1200 MHz AMD ergab sich nur eine Verbesserung von nur 2fps! ( 27 auf 29 fps ) Währendessen sich die durchschnittliche oben austobte und es optisch fast noch schlimmer, da inhomogener wirkte.

Vielleicht könntet ihr das doch berücksichtigen. Ihr kennt doch auch die landläufige Meinung vieler max-fps-genervten Gamer: "Was nützen mir in Quake3 170 fps, wenn ich an einer spielentscheidenden Stelle auf einmal nur noch 30 habe ( und mein Timing nicht mehr stimmt )". Macht doch mal den Anfang mit min-fps!

Meine Antwort:

Absolut richtig. 100%ig richtig, muß ich sogar sagen. Auch ich traue den typischen Q3A-Durchschnittswerten nicht über den Weg.

Aber: So weit ich weiss, hat GLMark nur eine einfache Minimal-Framerate, keine sinnvolle minimale Framerate. Sprich - es ist wirklich nur der absolut niedrigste Wert. Den zu vergleichen, halte ich wieder für Blödsinn, da dies immmer nur ein Wert unter tausenden ist, der während des Benchmarks erzeugten wird. Jeder Mathematiker springt an die Decke, wenn ich eine Auswertung auf Grundlage eines einzelnen Wertes machen will. Außerdem kann es bei einem einzelnen Wert passieren, daß der bei allen fast gleich ist - irgendwo ein Fehler in der Engine, der in der Szene X das Spiel auf 15 fps limitiert (für eine Zehntel Sekunde) und schon messen wir einen Fehler der Engine und keine Hardware mehr.

Prinzipiell ist das aber Ziel: Eine sinnvolle Minimal-Framerate. Da gibt es viele Wege zum Ziel, aber einfach nur blind den allerniedrigsten Wert zu nehmen, ist IMHO noch falscher als die übliche durchschnitts-Framerate. Man brauch dafür logischerweise viele Werte, und muß aus diesen einen Durchschnitt bilden. Unterhalb von 1000 Werten wird jeder Mathematiker sagen, ist die Fehlerquote zu hoch. Leider hat sich an so etwas noch keiner der Benchmark-Designer versucht, obwohl es eigentlich naheliegt.


Was denkt Ihr zu dem Thema?

StefanV
2001-04-21, 21:54:28
Ist sehr gut die Idee...

Dann werden auch alle Sehen, daß die Radeon 64 ViVo der GF2 GTS überlegen ist...

Bei 3DConcept werden bei den Tests auch die minimalwerte angegeben, wenn ich mich nicht irre, dann war die Radeon meistens schneller...

Aber bei den Durchschnittswerten war die GF2 schneller, logisch, wenn sie auch bis zu 150fps rendert... (war nur ein beispiel...)

Thowe
2001-04-22, 00:40:39
Ein guter Benchmark sollte eigentlich die Anzahl der Ruckler mitbewerten, aber das hab ich auch noch nicht gesehen.

Aber die minimal Framerate ist auch der Grund das ich die Kyro so gerne hab. Da sieht das bei Benchmarks/Spielen gleich anders aus, die GeForce2 macht dann halt 15-140 fps die Kyro halt 35-70 fps.

Die Radeon ist in der Beziehung wirklich besser als die GeForce2.

Perfekt wäre natürlich wenn es eines Tages möglich wäre ein Benchmark/Spiel im Zusammenhang mit den GraKas so zu gestallten das eine vorgegebene Framerate immer erreicht wird und nur die durchschnittliche Darstellungsqualtität der Karte bewertet würde.

mirp
2001-04-22, 07:58:37
Die Minimalwerte halte ich für das eigentlich Wichtige, denn die behindern den Spielfluss und fallen deutlich auf. Hohe Wiederholraten nimmt man dagegen kaum bewusst war.

Leider hat sich bei den Benchmarks seit den Anfängen fast gar nichts bewegt. Die ersten Versuche in eine andere Richtung (Serious Sam, GLMark, Unreal-Engine,...) sind zwar statistisch möglicherweise nicht so aussagekräftig, trotzdem wäre es doch mal wichtig den ersten Schritt zu tun. Auf den perfekten Benchmark zu warten könnte noch dauern. Und wenn die Minimalwerte bei Tests nur so am Rande genutzt werden, wird sich wahrscheinlich auch gar nicht so viel bewegen (Angebot und Nachfrage!).

Wie ist das übrigens beim Timedemo der Unreal-Engine? Dort steht "Last Sec". Das hört sich nach mehr als einem ausgewerteten Frame an. Könnte es sein, dass das Minimum daher auch die minimale Sekunde angibt? Das wären dann zwar keine 1000 Werte, aber immerhin deutlich mehr als einer. Ich wundere mich nämlich immer, dass es manchmal ruckelt und der Tiefpunkt dennoch bei 30-40 fps liegt.


@Thowe

War Messiah nicht so ein Spiel, wo man eine Framerate vorgibt und die Engine entscheidet dann wie komplex das Bild wird? Sowas hab ich gelesen bevor es erschien. Vielleicht haben sie dieses Konzept aber wieder fallengelassen.

StefanV
2001-04-22, 10:01:30
Ich hab mir das ganze nochmal durch den Kopf gehen lassen, und eventuell eine ganz einfache lösung gefunden!

Bencht doch mal mit 60Hz und Vsync on!

Müßte eigentlich Funktionieren, hab ich allerdings auch nicht ausprobiert...

Thowe
2001-04-22, 10:16:16
@mirp

Messiah weis ich nicht mehr so genau, glaube aber ja. Black & White und Sacrifice machen das meines Wissens auch.

Das eigentliche Problem für die Programmierer ist die Ermittlung der Leistung der Grafikkarte da die Brute Force Karten ja leider so gewaltige Schwankungen bei der Framerate haben.

Wenn alle die gleiche Hardware hätten wäre das kein Problem, aber dann wären wir wieder bei den Spielekonsolen und das will ja hoffentlich keiner ernsthaft.

Also müsste man eine Software haben die ziemlich genau eine Grafikkarte austestet und alle Ungereimtheiten aufzeichnet, diese müssten dann als Information in das eigentliche Spiel inportiert werden. Wenn jeder Spielehersteller das selbst machen würde wäre das ja wie jedes mal das Rad neu erfinden aber natürlich mit jede Mange extra Probleme.

Leonidas
2001-04-22, 15:11:54
Mmh. Alle die mir zujubeln, haben das oben nicht genau gelesen. Ich bin gegen die bisherigen Minimal-Frameraten! Die sind noch wesentlich falscher als die allgemeinen Durschnitts-Raten. Warum? Es ist EIN einzelner Wert einer Zehntelsekunde! Noch Fragen?

StefanV
2001-04-22, 16:05:20
Ist die Idee mit 60Hz zu Benchen nicht so gut?

Leider kann ich das nicht Testen, da ich nur eine GTS und eine G400 zu Hause hab...

mirp
2001-04-22, 17:48:10
@Thowe

Ich denke mal so wird das nie gemacht werden. Ein Programm welches eine Grafikkarte analysieren kann und dann vorhersagen kann, wie es sich verhält, ist wohl kaum realisierbar.
Wahrscheinlich wird einfach die Framerate gemessen und wenn sie zu niedrig ist, wird bei den nächsten Frames der Detailgrad reduziert bis die Leistung wieder hoch genug ist.


@Stefan

Diese Idee hatte ich mal, aber bei mir hat eigentlich auch keiner drauf reagiert. Und wenn ich es mir so überlege ist es für die Allgemeinheit zu kompliziert. Man kann daraus keinen 08/15-Benchmark basteln den jeder Anfänger einfach so mal anwenden kann. Denn wenn das Ergebnis zu nah an der Bildwiederholrate liegt muss man ihn gleich wieder ändern. Man müsste ihn auf jedes einzelne System abstimmen.
Ausserdem frießt VSync nicht nur die hohen fps. Wenn ein Frame ungünstig kommt, fängt es auch an zu ruckeln, weil er einfach warten muss (Double/Triple-Buffer helfen leider kaum).


@Leonidas

Verteufel doch nicht die Minimumframeraten! Statistisch sind sie natürlich schlechter fundiert, aber die Durchschnittswerte von tausenden Frames täuschen dafür doch eine Genauigkeit vor, die für dieses Problem einfach nicht gegeben ist. Was da schiefgehen kann, muss ich hier wohl nicht weiter ausführen. Da sollte man sich nur mal den Kyro ansehen. Vom Spielfluss her vielleicht die beste Karte, aber sie hat in Durchschnittswert-Benchmarks keine Chance.
Wenn Dir ein Wert zu wenig ist, wiederhole den Test doch einfach ein paar Mal. Es muss ja auch nicht die alleinige Grundlage für eine Bewertung sein. Für neue Ideen und Erkenntnisse ist es aber doch allemal gut.

Leonidas
2001-04-24, 21:09:44
@ Stefan: Funktioniert nicht, Erklärung siehe mirp.

@ mirp: Ich muß es verteufelt. Ein Wert unter zehntausenden zu nehmen ist einfach Wahnsinn. Ist wie eine Umfrage über die Bundesrepublik mit nur einem Teilnehmer. Auch die Idee des Mehrfach-Durchlaufs bringt nichts: Es wird immer die selbe CPU-limitierte Stelle sein, die die niedrigsten fps ergibt. Dann ist jede GraKa von TNT2 über KYRO II bis GF3 absolut gleich :-)

Leonidas
2001-04-24, 21:12:40
Ich will auch zu der Sache mit der Mindestframerate noch eine theoretische Erklärung abgeben: Der absolute Tiefstwerte ist für die Bewertung der Flüssigkeit irrelevant - denn: Einen oder zwei Ruckler sind erlaubt. Entscheidend ist es doch, ob die Graka immer wieder in den heißen Szenen ruckelt oder nicht. Das kann ein einzelner Wert schon allein theoretisch nicht zeigen und damit brauche ich diesen Wert auch definitiv nicht.

Und zum Thema neue Ansätze: Null Probleme, ich entwerfe bei Bedarf sofort eine Gleichung, wie man eine sinnvolle "heiße-Szenen-Framerate" ermittelt. Ich bin da immer dafür zu haben - nur sinnvoll muss der neue Ansatz sein.

mirp
2001-04-25, 19:56:57
Ok, da hast du wohl doch recht. Meine Hoffnung auf einen besseren Benchmark hat mich wohl über einige Schwachstellen hinwegsehen lassen.

Übrigens habe ich mir nochmal GLmark angeschaut. Und dort findet man doch ein paar ziemlich interessante Funktionen, die ich sonst noch nirgens gesehen habe: ein fps/zeit-Diagramm und eins zur Häufigkeit verschiedener Werte.

Leonidas
2001-04-26, 15:08:48
Ist ein Ansatz, aber nicht die Wahrheit. Leider redet keiner von den Entwicklern mit Außenstehenden zu diesem Thema.

Der einzige, der so was aber richtig bewerten kann, ist ein Spieler/Benchmarker. Spiele-Entwickler sehen so was aus einem ganz anderen Gesichtspunkt. Siehe GLMark - optisch hübsch aufbereitet, aber die absolut konreten Zahlen fehlen.

Tatwaffe
2001-05-09, 17:45:52
wird jede zehntelsekunde die framerate gemessen und auf 1 sek hochgerechnet denn die ausgabe is ja immer fps(econd)??

man könnte vielleicht so ansetzen das alles was unter einer bestimmten fps-rate liegt vielleicht 30-10fps(je nach spiel) in die durchschnittliche minnimalfps eingerechnet wird und damit einen 2 wert angibt. so nachdem:
wenns unspielbar wird "wie" unspielbar wirds dann.

hoffe mich versteht einer.

RAL
2001-05-11, 23:25:57
Nur den kleinsten Wert zu nehmen ist natürlich nicht gut. Wenn ich mich richtig erinnere, dann zeigte Unreal zwei fps Werte an, einmal die durchschnittlichen fps und dann sowas wie die "gefühlten" fps. Ich weiß nicht mehr, wie das dort hieß, aber ich weiß noch, daß kurzzeitige fps-Einbrüche nach unten diesen Durschnittswert auch sehr stark nach unten zogen und es sehr lange dauerte, bis dieser "gefühlte" Durchschnittswert wieder nach oben kletterte. Es ist einfach eine Frage der Gewichtung. Hohe fps Werte werden schwach gewichtet und kleine Werte stark.

Bloß wir als Tester können so etwas ja nur berechnen, wenn wir die fps als Folge von Werten ausgegeben bekommen. Auf so eine Folge von fps-Werten kann man dann bequem eine Formel, die das ausdrückt, was man eigentlich haben will, anwenden. Aus dem üblichen Durchschnittswert, der meistens ausgegeben wird, kann man diese Information nicht mehr rausholen.