Average fps - wirklich das Maß aller Dinge?

[Leonidas]

Link:
http://www.3dcenter.org/artikel/average_fps/



Bin sehr gespannt auf die Reaktionen.



PS: Es sind noch einige Schreibfehler drin. Die fixe ich morgen früh!

[deekey777]

Bin noch beim Lesen, aber:
"12. April 2005 / von Madkiller / Seite 1 von ?"

Ist das ganze kompliziert. Aber interessant.
Letzter Absatz:
"Gerade im Hinblick auf DualCore CPUs, 64 Bit und immer neueren Grafiktechnologien muss man sich als Benutzer wahrlich fragen, was man denn nun wissen will. Als Hardware-Tester sollte man sich vorwiegend durch den Kopf gehen lassen, ob man den Lesern überhaupt ein realitätsnahes Bild schildert, oder vielleicht doch nur grobe Anhaltspunkte. Für mehr als nur Anhaltspunkte können wir nach diesem Artikel die "average fps" nicht mehr ansehen."

Kein Komma nötig.

[Leonidas]

Bin noch beim Lesen, aber:
"12. April 2005 / von Madkiller / Seite 1 von ?"


Gefixt.

[Madkiller]

Ich möchte mich noch bei BlackBirdSR für seine tatkräftige Unterstützung bedanken. Von ihm stammt die erste Hälfte des Intros und er ist mir auch sonst mit Rat und Tat zur Seite gestanden.
Danke! :up: =)

Ein Danke auch an betareverse, mit seiner Kontrolllesung und an zeckensack, der mich vor geraumer Zeit (http://www.forum-3dcenter.org/vbulletin/showthread.php?p=683148#post683148) zu diesem Artikel inspiriert hatte.

Ädit:

Hier habe ich noch von jeder gebenchten Timedemo an der Stelle einen Screenshot gemacht, an dem die wenigsten FPS erreicht wurden.
Damit auch die, die die nicht kennen, einen ungefähren Eindruck gewinnen können, wann die FPS so tief absinken.

http://www.bungeee.de/mir/avgFPS/d3.jpg
http://www.bungeee.de/mir/avgFPS/fc.jpg
http://www.bungeee.de/mir/avgFPS/gtr.jpg
http://www.bungeee.de/mir/avgFPS/hl2.jpg
http://www.bungeee.de/mir/avgFPS/ut2004.jpg

[mapel110]

Tjo, ich zocke nunmal meistens Graka-Limitiert. Ich bin mit recht niedrigen fps zufrieden. Daher ist für mich CPU-Upgrade aus Performancegründen bei Spielen sinnlos.
Doom3 1280x1024 4xAA/16AF zeigts ja.
Bei Farcry und den selben Settings das Gleiche.

Und bei den ohnehin CPU-Limitierten Games(HL2,GTR,UT2004) + CPU-Limitierte Timedemos(wurden ja generell verwendet) siehts halt anders aus. Nichts Neues also, zumindest für meine Gamergewohnheiten. :)

Aber ein Lob für die viele Arbeit an Madkiller und alle, die dabei geholfen haben!
Ich werd mir den Artikel noch genauer anschauen, hab jetzt nicht wirklich die Muse dazu.

[aths]

Ein sehr guter Artikel, der etwas anspricht was mir schon lange auf dem Herzen liegt. Das ganze ist auch noch vorzüglich mit Benchmarks belegt. Saubere Arbeit!

[Garfieldx]

DANKE!

Gutes Thema klasse umgesetzt.

cu GarfieldX

[Kurgan]

wirklich gut :up: , wurde jedenfalls mal zeit das das thema wird. auch wenn einige (wie mapel und ich zum bleistift) offenbar schon länger die grafiksettings solange hochstellen, bis es ruckelt oder fraps doch einbrüche verzeichnet die unterhalb der ruckel-free-area liegen.

[MarcWessels]

Beifall für diesen Artikel!!! Der war schon lange fällig!!!!!! :up:

[rage|nem]

Ich bin auch beim Lesen des höchst interessanten Artikels, da sind mir bisher 2 kleine Fehler aufgefallen.

Das Minimum-Frameraten eine wertvolle Bereicherung bis hin zur alles entscheidenden Größe sind
Hier ist ein 'Dass' richtig.

nutzt- und vergleichbaren
Ich glaube, das sollte 'nutz-' heißen.

So, weiterlesen ;)

[Bokill]

Na endlich issa raus ... der Bench.

Habs gleich auch in den Orthy-News verlinkt.

Wo nimmst du immer die Ideen für die gewissen anderen Benches her?

Madkiller willst du gar verbrauernahe Benches machen? ... Lob! Fettes Lob!

MFG Bokill

[mbee]

Bringt genau das zur Sprache, was mir zum Teil beim Posten diverser AVG-FPS-Werte hier im Forum (z.B. ala "mit dem Cat 5.4 habe ich 3 FPS im Schnitt weniger, deshalb ist dieser shice" ;)) durch den Kopf ging. Schön, dass sich mal jemand dieses Themas auf so fundierte Weise angenommen hat: Spitzenartikel! :up:

[Piffan]

Toller Artikel. Bisher war es immer nur so ein Gefühl, dass Farcry durch den besseren Proz wesentlich spritziger wirkte....Jetzt ist der Unterschied in der "gefühlten" Performance auch sachlich belegt. Danke!


P.S.: Vielzocker wie ich wussten eigentlich schon immer, dass ne starke CPU durch nichts als ne starke CPU zu ersetzen ist......Eigentlich ne Binsenweisheit. Man sollte mal den Mannen von der c't nen Link geben. Die testen nur Average und dann stets mit dem 3dMark 03, der ja nun dezent grafiklimitiert ist und schon deshalb nicht zu Proz- Vergleichen besonders tauglich ist. Aber die wissen es scheinbar nicht besser. ;)

[g8st]

Schöner Artikel! ;)

''D.h., dass bei Timedemos, die eher Grafikkarten-limitiert, sind die Unterschiede, welche die average fps'' - Hier sollte ein Komma allerdings umgesetzt werden.

[zeckensack]

Ein Danke auch an zeckensack, der mich vor geraumer Zeit (http://www.forum-3dcenter.org/vbulletin/showthread.php?p=683148#post683148) dazu inspiriert hatte."Geraum" ist gut. Über drei Jahre ist das jetzt her X-D

[Mantikor]

"Geraum" ist gut. Über drei Jahre ist das jetzt her X-D

Gute Artikel benötigen eben ihre Zeit. ;D ;D

Aber eine echt feine Arbeit! Klasse!

Mfg der Mantikor

[Madkiller]

"Geraum" ist gut. Über drei Jahre ist das jetzt her X-D

Aus meiner Perspektive waren es nur 2 Jahre. :D

Naja, mir ist leider erst vor 3 Monaten aufgefallen, daß man mit Fraps jetzt auch ne Statistik von den Frames von jeder Sekunde aufstellen lassen kann.

Und dann kam die Neugier durch. :)

srykthx ;(

;)

[RLZ]

Nach den (imo) sinnlosen Kolumnen endlich mal wieder etwas interessantes auf 3DC. :D

Gute Arbeit :up:

[Piffan]

Nach den (imo) sinnlosen Kolumnen endlich mal wieder etwas interessantes auf 3DC. :D

Gute Arbeit :up:

Ack! :D

[Quasar]

Ack! :D
Macht Spaß, gell? Nachtreten meine ich.

[Schnitzl]

Seite 12:
Wenn man also nach den minimum fps geht, bringt das Upgrade von einem A64 3000+ auf einen A64 3800+ schon 31% und nicht nur 25%,wie wenn man nach den average fps geht. Was doch ein Unterschied von ca 25% ist. Und nach den minimum fps skalieren die fps auch fast 1:1 mit dem steigenden CPU-Takt mit.
ich raff den Satz nicht :conf2:

Dann hab ich noch ne blöde Frage: was ist GTR? *duck* =)

[Darkscreen]

Ich finde den Ansatz gut. Doch bei Grafikkartentest wird immer nur um ein paar Fps gekämpft. Die wichtige Frage ist doch Wie Hoch kann ich die Settings einstellen, ohne dass das Spiel unspielbar wird? (Also Min Frams > 25 bzw. 35). Ob eine Geforce 6800 Ultra um 5fps schneller oder langsamer ist , spielt doch keine Rolle.
Ich will nur wissen, ob bei z.B. 1240*1024 und 4xAA und 8xAF oder bei 1600x1200 mit 2xAA 8xAF schluss ist. Und mit Leuten, die eine Highendkarte auf 1024x768 ohne AA/AF laufen lassen, will ich nichts zu tun haben.
Nur die Beste noch gut bzw. sehr gut spielbare Qualitätseinstellung zählt.

[Kurgan]

Seite 12:

ich raff den Satz nicht :conf2:

Dann hab ich noch ne blöde Frage: was ist GTR? *duck* =)
gtr ist ein autorennspiel afaik.

"Wenn man also nach den minimum fps geht, bringt das Upgrade von einem A64 3000+ auf einen A64 3800+ schon 31% und nicht nur 25%,wie wenn man nach den average fps geht. Was doch ein Unterschied von ca 25% ist."

wenn du hier die ersten beiden prozentzahlen nicht als solche sondern als fps-werte siehst, dämmerts sicherlich ;)
sprich: beim upgrade von 3000+ auf 3800+ steigen die durchschnitts-fps um 25%, die minimum-fps aber um ganze 31% was ziemlich genau ein viertel mehr minimum-fps bedeutet.

[Kurgan]

Nur die Beste noch gut bzw. sehr gut spielbare Qualitätseinstellung zählt.
*unterschreib*

... und mapel sicher auch ;)

[Schnitzl]

gtr ist ein autorennspiel afaik.

"Wenn man also nach den minimum fps geht, bringt das Upgrade von einem A64 3000+ auf einen A64 3800+ schon 31% und nicht nur 25%,wie wenn man nach den average fps geht. Was doch ein Unterschied von ca 25% ist."

wenn du hier die ersten beiden prozentzahlen nicht als solche sondern als fps-werte siehst, dämmerts sicherlich ;)
sprich: beim upgrade von 3000+ auf 3800+ steigen die durchschnitts-fps um 25%, die minimum-fps aber um ganze 31% was ziemlich genau ein viertel mehr minimum-fps bedeutet.
danke! :idea:

[mapel110]

*unterschreib*

... und mapel sicher auch ;)
Türlich. :)

GTR = GT Racing, aktuelles Rennspiel
http://www.10tacle.com/gtr-game/

[Monger]

Guter Artikel, imho ein längst überfälliges Thema.

Es gibt auch unter den verschiedenen Engines spürbare Unterschiede: Beim alten UT z.B. hatte man zwar oft dreistellige fps, aber in kurzen Momenten beinharte Einbrüche - was bei einem so schnellen Spiel natürlich unangenehm auffällt. Bei UT2003/04 war imho das Problem nicht mehr gegeben, was gefühlsmäßig zu einem flüssigeren Spiel bei 50 durchschnittlichen fps geführt hat wie beim alten UT bei 100...


Mein Vorschlag wäre: Man unterscheidet zwischen einem unspielbaren, einem spielbaren und einem extrem sicheren Bereich, also z.B. von 0-35 fps, 36-60 fps, 60 aufwärts fps.

Über die gesamte Zeit hinweg berechnet man anteilig, wie oft die Demo in welchem Bereich lag, und gibt noch das arithmetische Mittel an. Also, z.B.:
Kritischer Bereich: 12,3% der Zeit, Sicher: 55,7%, Über-Sicher: 32,0%

Vorteil: Auf einem Blick sehe ich, wie oft Ausreisser der Demo in die eine oder andere Richtung auftreten, und kann relativ gut einschätzen wie flüssig sich das ganze subjektiv anfühlen würde. Ein Ausreisser nach oben ist zwar nicht ärgerlich, aber im Prinzip sinnlos. Mehr als absolut flüssig kann man etwas nicht wahrnehmen, und auch der arithmetische Mittelwert wäre dann nur für die Statistik - aber immer noch zum direkten Vergleich nützlich.

[Wurschtler]

AAAHH, auf sowas hab ich gewartet!! :)

Immer diese Leute die meinen ein 3000+ reicht für alles und eine fettere CPU ist nur Verschwendung und tun lieber in Graka investieren.

[MarcWessels]

Und mit Leuten, die eine Highendkarte auf 1024x768 ohne AA/AF laufen lassen, will ich nichts zu tun haben.

Da hab' ich ja Glück, dass ich zumindest AF einsetze. :D

[Piffan]

Macht Spaß, gell? Nachtreten meine ich.

Geht so. Der Spaß ist deutlich geringer als der Ärger......

[DocEW]

Wenn man also nach den minimum fps geht, bringt das Upgrade von einem A64 3000+ auf einen A64 3800+ schon 31% und nicht nur 25%,wie wenn man nach den average fps geht. Was doch ein Unterschied von ca 25% ist.
Also dieser Satz ist schon etwas gepfuscht, finde ich. ;)
Da ist von einer "Steigerung der Steigerung" die Rede, das finde ich irreführend. Tatsache ist, daß das Upgrade 6% mehr Leistung bringt, als man denkt.

Ein anderes Beispiel was das verdeutlicht: Sagen wir die Verkäufe einer Firma haben letzes Jahr um 0,2% zugelegt und dieses Jahr um 0,4%. Dann könnte man nach obigem System behaupten "Die Steigerung unserer Verkäufe hat um 100% zugelegt." Sicher (mathematisch) richtig, aber sehr irreführend.

[tombman]

Netter Artikel, aber ich denke nicht, daß noobs sich das genau durchlesen werden. Es gibt zuviele "%- Verschachtelungen" und zuwenig Balken. Sorry, aber ohne Balken werdens die noobs ned lesen ;) Damit geht die wertvolle Botschaft total an der Zielgruppe vorbei, und die anderen wissens auch ohne den Artikel. Die Aufmerkssamkeitsschwelle der "Klingeltongeneration" ist dermaßen niedrig, daß die schon nach der ersten oder zweiten Seite einfach wegclicken werden.

Ich hab den Eindruck, daß viele Artikel nur schreiben um ein anerkennendes Schulterklopfen der erfahrenen 3DC-user zu bekommen und erst in zweiter Linie um eine Botschaft an die DAUs da draußen zu bringen ;)

Dh, IMO, das WAS dieses Artikels ist wichtig und gehörte veröffentlicht, das WIE aber verfehlt die Zielgruppe.

Was ich noch bei diesem Artikel vermißt habe, war eine ganz deutliche Anleitung, wie man CPU Limitation und GPU Limitation bei games überhaupt erkennen kann, denn das wissen die DAUs genauso nämlich so gut wie gar nicht. Deswegen halten sie sich ja an die AVG-Fps...

@ noobs + DAUs:

Faustregel 1. : die Hälfte der AVG Fps sind meistens die Minimum FPS. Da man nie unter 25-30fps fallen will, sollte man ca 50 bis 60 AVG fps beim benchmarken erhalten.

Faustregel 2: CPU Limitation erkennt man indem man die Auflösung auf 640x480 runterdreht und schaut ob die avg fps/min fps deutlich besser oder eher gleich bleiben. Wenn sie eher gleich bleiben ist ne neue cpu nötig, da hilft dann auch keine 500€ Graka mehr. Wenn sie deutlich besser werden, ist ne neue Graka nötig.

[Piffan]

Faustregel 2: CPU Limitation erkennt man indem man die Auflösung auf 640x480 runterdreht und schaut ob die avg fps/min fps deutlich besser oder eher gleich bleiben. Wenn sie eher gleich bleiben ist ne neue cpu nötig, da hilft dann auch keine 500€ Graka mehr. Wenn sie deutlich besser werden, ist ne neue Graka nötig.

Genau dieser simple Test ist auch stets mein Rat, wenn jemand unsicher ist, ob seine Graka noch reicht.

Dann scheint es noch nicht Allgemeingut zu sein, dass man selbst mit einer Graka der letzten oder vorletzten Generation durchaus noch zocken kann, wenn man Bildqualität gegen Performance tauscht. Sprich auf AF, AA oder im schlimmsten Falle auf ne höhere Auflösung verzichtet. Beim Proz gibts das kaum, denn wer will schon gerne auf Details und fette Explosionen mit vielen Partikeln verzichten....


Da fällt mir bei Spielen wie UT noch ein: Dieses Spiel hat ein dynamisches LOD, bevor die FPS in den Keller fallen, werden Details reduziert. Bei UT kann man das deaktivieren, bei anderen Spielen gibts diese Option nicht bzw. es ist nicht bekannt, ob sie ein dynamisches LOD aufweisen --> Benches noch weniger aussagekräftig als die "gefühlte" Performance......Bei Farcry ist der erlebte Performance- Sprung vom Xp -M @ 2400 Mhz zum A64 @ 2400 Mhz viel größer, als man nach den gängigen Benches ahnen würde....Natürlich nur in Situationen, wo es vorher "klemmte".....

[Gast]

Schon mehrfach hatte ich solch ein Thema angeregt (nicht hier), spätestens wenn der Zähler auf 2 fps sinkt, dann wird sogar dem Bildzeitungsleser klar, dass die Bänchmurxe mit durchschnittlich ihren 25 fps genau das sind. Hier benötigt es keine kettenweisen %-Angaben, sondern ein paar klare Feststellungen, wie oft und wie lange im ges. Testablauf die Karte unter 20 fps gelegen hat (dies wie schon vorgeschlagen zur besseren Vergleichbarkeit im Balkendiagramm), dann kann sich jeder ein Bild von der Spielbarkeit machen.

Ansonsten ist der Artikel sehr gut, Hochachtung vor der Arbeit. wenn er nur in zukünftigen Tests berücksichtigt würde, dann hätte dies Arbeit einen Sinn gemacht.

Gruss
PS.: Leider weiss ich nicht mehr, ob ich hier einen Festaccount habe, wie läßt sich dass prüfen?

[Gast]

Wer diese Testmethodik mal "in action" sehen möchte:
www.hardocp.com
Die arbeiten schon seit längerem so.
Und wurden anfangs dafür kritisiert, weil die Leute es nicht kapierten :)

[Gast]

Beispiel-Link:
http://www.hardocp.com/article.html?art=NzAwLDM=

[Gast]

Hab jetzt nicht die ganzen Kommentare gelesen... aber sieht fast so aus, als ob es meine jahrelangen beobachtungen von 3D Spielen bestätigt.

Mich als ehemaligen UT99/2003-Onlinespieler im Clan haben eh immer nur die höchst möglichen min-FPS interessiert. Das erreicht man nunmal am einfachsten indem man die hier bestimmt "heißgeliebte" Legografik einstellt und eine möglichst potente CPU ins System schnallt. Das ganze führte dann dazu, daß in UT99 selbst unter 1600*1200 das ganze mit einer alten GF2 GTS rein CPU-limitiert war (...natürlich damals nur mit nem P3 866).

Wenn ich SP spiele, dann will ich auch mal die schöne Grafik der neuen Games sehen. Dann interessiert es mich aber auch nicht so unbedingt, ob ich in FarCry mal nen Einbruch auf 15 FPS hab. Bei einem Onlineshooter in einem Clanwar wäre das für mich jedenfalls absolut inakzeptabel.

Aus den oben genannten Vorlieben meinerseits ergibt sich bei allen Benchmarks, die man überall so lesen kann natürlich immer das Problem, daß sie allesamt nicht so wirklich für Leute geeignet sind, die es mit dem Zocken etwas ernster nehmen (von denen, die es erst nehmen und trotzdem mit 1600*1200, 8xAA/16xAF spielen mal abgesehen...). Man kann sich nur nach den avg-FPS richten, die überall veröffentlicht werden und hoffen, daß das auch so einigermaßen für die min-FPS gelten könnte.

Hab ich jetzt im letzten Absatz etwa wirklich von mir auf andere geschlossen? Tut mir leid, aber scheinbar steckt manchmal an...

Mich würde in nem Test dann also auch mal interessieren, was die Hardware unter ..... ich nenne es mal "competitive settings".... zu leisten im stande wäre. Also zum Beispiel die "maximal möglichen min-FPS" testen, damit ich auch weiß, daß man mit der getesteten Hardware auch im infight noch gescheit aimen kann:D Sollte zwar mit der meisten aktuellen Hardware möglich sein, aber Zahlen sind halt doch immer ne recht greifbare Sache:)

[Gast]

@tombman: ich mache in meinem bekanntenkreis werbung für 3dcenter. aber die 2 daus wollen einfach nicht hier hin. weiß auch nicht warum. bleiben lieber bei ihrem pc-welt forum & co :( ;D

von daher...
aber OT



Ein schöner Artikel :)

[Mellops]

Kann das jemand erklären?
Bei CPU Limitierten Scenen liegen die Kurven der verschiedenen Qualitätseinstellungen praktisch übereinander, sie sind nahezu identisch.
Bei Farcry sind die Kurven, bei den ersten drei Qualitätsstufen, ebenfalls identisch, aber um jeweils ca. 5 Sekunden verschoben.

Edit: Hat sich erledigt, es kommt wohl durch die Grafikkartenlimitierung am Anfang.

[Gast]

Die Verteufelung der Minimum-Framerate hier geht mir ziemlich auf der Keks. Eure theoretisch-statistischen Ausführungen treffen nach meiner Ansicht kaum die Wahrheit. Ich würde ernsthaft vorschlagen, ihr unterhaltet euch mal mit einem richtigen Statistiker darüber.

Die Aussagekraft der Minimum-Framerate geht über einen einzigen Augenblick hinaus. Sie lässt eine Aussage über jeden anderen Frame zu: fps(t) >= minfps, t beliebig. Eine so scharfe Aussage lässt nicht mal die Durchschnitts-Framerate zu. Das einzige Problem ist, dass die Minimum-Framerate anfälliger gegenüber Ausreissern ist. Aber dies lässt sich eigentlich durch Wiederholungen abfangen.

Der Vergleich mit der Umfrage ist völliger Blödsinn, da dies eine zufällige Messung wäre. Um die Minimum-Framerate zu bestimmen benötigt man alle Werte, nicht nur einen. Wenn man die Umfrage mal zurückvergleicht, würde das bedeuten, ich würfel einen Zeitpunkt aus und die dortige Framerate soll mir irgendeine Aussage erlauben.

Wenn man sich gegen die Minimum-Framerate ausspricht, sollte man sich andere Argumente überlegen. So einfach wie ihr euch das hier macht, geht es aber nicht.

[resonatorman]

Kleine Korrektur :
Im Fazit muß es heißen "Bei den Gamesettings, in welchen die CPU eher limitiert, suggerieren die average fps einen kleineren Unterschied als den, der unter den minimum fps existiert". Bitte auch das zweite "suggestieren" ersetzen.

[Melbourne, FL]

Hab ich jetzt einen Denkfehler oder der Autor? Aus dem Fazit:

Bei den Gamesettings, in welchen die CPU eher limitiert, suggestieren die average fps einen kleineren Unterschied als der unter den minimum fps existiert. Bei den Gamesettings, in welchen die Grafikkarte eher limitiert, suggestieren die average fps auf einmal einen deutlich kleineren Unterschied, als denjenigen, den die minimum fps aufzeigen.

In beiden Sätzen steht, dass die average fps einen kleineren Unterschied suggerieren als die minimum fps. Da gibts keinen Unterschied zwischen den beiden Fällen.

Alexander

[Quad-U]

Die Verteufelung der Minimum-Framerate hier geht mir ziemlich auf der Keks. Eure theoretisch-statistischen Ausführungen treffen nach meiner Ansicht kaum die Wahrheit. Ich würde ernsthaft vorschlagen, ihr unterhaltet euch mal mit einem richtigen Statistiker darüber.

...

Wenn man sich gegen die Minimum-Framerate ausspricht, sollte man sich andere Argumente überlegen. So einfach wie ihr euch das hier macht, geht es aber nicht.

Da kann ich nur zustimmen. Prinzipiell finde ich Euer Vorhaben gut. Und im Artikel steht ja, dass die vorgestellte Methode nur ein Vorschlag sein soll. Wenn Ihr das aber Hieb- und Stichfest machen wollt, dann müsst Ihr fundierte und in der (Statistik-)Fachwelt anerkannte Methoden anwenden. Vielleicht findet sich ja ein Fachmann im Forum, der für so etwas Zeit hat?

[MarcWessels]

Faustregel 1. : die Hälfte der AVG Fps sind meistens die Minimum FPS. Da man nie unter 25-30fps fallen will, sollte man ca 50 bis 60 AVG fps beim benchmarken erhalten.

Ich rechne da immer "- 40%". ;) Wenn ich also bei irgendeinem neuen Graka-Review sehe, dass Spiel XY 100fps erreicht, weiß ich "Aha, das kann man flüssig spielen!" - leider ist es in den meisten Fällen (in neuen Games mit neuen Engines) ja so, dass man sie erst zwei bis zweieinhalb Jahre nach dem Markteintritt ruckelfrei spielen kann.

Deshalb hab' ich auch noch nie solche Aussagen in Foren oder Zeitschriften verstanden a la:"Och, aufrüsten muss ich erst wieder in zwei Jahren - alles läuft suuuuuuperflüssig!"... :rolleyes:



Mich als ehemaligen UT99/2003-Onlinespieler im Clan haben eh immer nur die höchst möglichen min-FPS interessiert. Das erreicht man nunmal am einfachsten indem man die hier bestimmt "heißgeliebte" Legografik einstellt und eine möglichst potente CPU ins System schnallt. Das ganze führte dann dazu, daß in UT99 selbst unter 1600*1200 das ganze mit einer alten GF2 GTS rein CPU-limitiert war (...natürlich damals nur mit nem P3 866).


Soclhe Leute wie Dich habe ich noch nie verstanden. :confused: Mal ganz davon abgesehen, dass UT99 damals ohnehin nur gescheit auf einer Voodoo lief und diese Version der Engine eine 1600x1200-Schwäche hat, ist der Punkt, den ich meine, folgender-> Angenommen, Du hättest Deinen Monitor auf 100hz eingestellt (was bei 1600x1200 schon sehr unwahrscheinlich ist) und rennst mit Deiner Legografik mit fps zwischen 300 und 500 rum - WAS HAST DU DAVON?? Antwort: NICHTS! Denn mehr fps als 100, sprich mehr, als Dein Monitor bereitstellt, kannst Du sowieso nicht sehen!

Davon abgesehen, kann Dein Gehirn sich umso besser in die dargestellte 3D-Welt hineinversetzen, je mehr Informationen es bekommt und die sind in Legoklötzchengrafik nunmal sehr spärlich gesät.

Ich behaupte: Je mehr Anhaltspunkte ich in einem Spiel zur Verfügung habe, desto besser kann ich spielen, desto positiver fällt das Ergebnis aus!

Seit ich Q3A in 1600x1200, 4xAA, 16xAF + vollen per ini eingestellten Details in hohen fps spielen kann, bin ich auf einmal viel besser. Oder "Rally Trophy": Konnte ich es zu Radeon-Zeiten absolut flüssig in 1024x768, 16xAF und 4xAA spielen, ist es mir mit meiner GeForce jetzt möglich, bei gleichbleibender Flüssigkeit 1600x1200 zu verwenden und fahre auf vielen Strecken mehrere Sekunden (!!!) besser als zuvor...

[Bokill]

@Quad-U
Wenn Ihr das aber Hieb- und Stichfest machen wollt, dann müsst Ihr fundierte und in der (Statistik-)Fachwelt anerkannte Methoden anwenden
Prügel nicht zu hart auf Madkiller ein ;) ... Solch ein Artikel ist immer auf des Messers Schneide. Er soll ja auch massenwirksam sein.

Wenn der akademischer wird, dann können bestimmte Gruppen (Giga-Besucher) die Message nicht mehr verstehen. Der Bench ist ohnehin schon komplex genug ... erinnert mich so an manche Messkurve im Labor, wo ich dann da stand und mir sagte: "schön und was bedeutet es?".

Das Echo zeigt ja, dass viele schon untergründig dieses Thema im Bauch und Kopf hatten. Wenn da später dann Benches auch darauf gecheckt werden, dann hat Madkiller das bekommen was er wollte ... keine reine Frames/s Mittelwertprotzerei.

Irgendwann muss immer ein Anfang gemacht werden.

MFG Bokill

[SynchroM]

*Beifall*
Toller Artikel, darauf hab ich schon lange gewartet!!!
Im Kino werden ja auch nur 25fps gezeigt, das würde mir schon langen- als min Wert!

Noch ‚n kleiner fehler:

…Wenn man also nach den minimum fps geht, bringt das Upgrade von einem A64 3000+ auf einen A64 3800+ schon 31% und nicht nur 25%,wie wenn man nach den average fps geht. Was doch ein Unterschied von ca 25% ist….

hier müßte 6% stehen!

Viele Grüße SynchroM

[Quad-U]

'tschuldigung, wollte den Artikel wirklich nicht runtermachen. Wie o.g. finde ich die Idee echt gut und nötig.

Ich meine ja aber, dass man die Methode noch verfeinern/absichern sollte. Ziel muss dabei natürlich immer sein, dass die Erkenntnisse aus Tests am Ende für einen durchschnittlich Interessierten klar verständlich sind. Ob sie das auch für einen Giga-Glotzer/ Klingeltondownloader/ Handyspieler sein müssen kann man wahrscheinlich mit "nein" beantworten, denn einem DAU reicht ja ein Satz wie "läuft immer flüssig". Und außerdem sind diese Leute sicher auch nicht die Zielgruppe für detaillierte Analysen.

[Gast]

Ich rechne da immer "- 40%". ;) Wenn ich also bei irgendeinem neuen Graka-Review sehe, dass Spiel XY 100fps erreicht, weiß ich "Aha, das kann man flüssig spielen!" - leider ist es in den meisten Fällen (in neuen Games mit neuen Engines) ja so, dass man sie erst zwei bis zweieinhalb Jahre nach dem Markteintritt ruckelfrei spielen kann.

Deshalb hab' ich auch noch nie solche Aussagen in Foren oder Zeitschriften verstanden a la:"Och, aufrüsten muss ich erst wieder in zwei Jahren - alles läuft suuuuuuperflüssig!"... :rolleyes:




Soclhe Leute wie Dich habe ich noch nie verstanden. :confused: Mal ganz davon abgesehen, dass UT99 damals ohnehin nur gescheit auf einer Voodoo lief und diese Version der Engine eine 1600x1200-Schwäche hat, ist der Punkt, den ich meine, folgender-> Angenommen, Du hättest Deinen Monitor auf 100hz eingestellt (was bei 1600x1200 schon sehr unwahrscheinlich ist) und rennst mit Deiner Legografik mit fps zwischen 300 und 500 rum - WAS HAST DU DAVON?? Antwort: NICHTS! Denn mehr fps als 100, sprich mehr, als Dein Monitor bereitstellt, kannst Du sowieso nicht sehen!

Davon abgesehen, kann Dein Gehirn sich umso besser in die dargestellte 3D-Welt hineinversetzen, je mehr Informationen es bekommt und die sind in Legoklötzchengrafik nunmal sehr spärlich gesät.

Ich behaupte: Je mehr Anhaltspunkte ich in einem Spiel zur Verfügung habe, desto besser kann ich spielen, desto positiver fällt das Ergebnis aus!

Seit ich Q3A in 1600x1200, 4xAA, 16xAF + vollen per ini eingestellten Details in hohen fps spielen kann, bin ich auf einmal viel besser. Oder "Rally Trophy": Konnte ich es zu Radeon-Zeiten absolut flüssig in 1024x768, 16xAF und 4xAA spielen, ist es mir mit meiner GeForce jetzt möglich, bei gleichbleibender Flüssigkeit 1600x1200 zu verwenden und fahre auf vielen Strecken mehrere Sekunden (!!!) besser als zuvor...


hehe.... irgendwie hab ich genau so eine Antwort erwartet:)

Darf ich mich nochmal kurz zitieren?

"...indem man die hier bestimmt "heißgeliebte" Legografik einstellt..."

- für die einen ist es feine Ironie, für die anderen die brutale Realität;)

"...für Leute geeignet sind, die es mit dem Zocken etwas ernster nehmen (von denen, die es erst nehmen und trotzdem mit 1600*1200, 8xAA/16xAF spielen mal abgesehen...)."

- schonmal einem WIRKLICH guten Spieler auf ner Lan über die Schulter geschaut? (ich hab schon genügend gute Spieler getroffen, glaub mir...) Schon komisch, daß bei denen die Grafik immer nach Legoklötzen (ok, der Begriff traf bei Quake zu, UT sah meist nie wirklich nach Lego aus, auch wenn es möglich war) ausschaut, oder? Aber das sind ja auch "die Anderen"... "Die Anderen" muß man ja auch garnicht erst VERSUCHEN zu verstehen.... die sind halt so anders... ;P

"Mich als ehemaligen UT99/2003-Onlinespieler im Clan haben eh immer nur die höchst möglichen min-FPS interessiert."

- steht da was von 300-500 FPS? Habe ich da nicht die "höchst möglichen MIN-FPS" erwähnt (nochmal zum Mitschreiben: MIN-FPS)? Was haben diese mit 300-500 FPS zu tun? Mit ner GF2 GTS und nem P3 866 (das erwähnte ich übrigens auch, oder nicht!?)? Und bei den (...achtung...) höchst möglichen min-FPS würden mir 50 auch schon langen. Ob es dann obenraus nun 100 oder 1000 sind das ist mir so ziemlich egal, wenn die hohen FPS-Schwankungen sich dann nicht so sehr aufs gameplay auswirken, was auch durchaus passieren kann. Ich stelle mich jetzt bestimmt nicht hierhin und sage, daß ich 100 FPS von 500 FPS unterscheiden kann. Was ich aber sehr wohl kann ist es zu unterscheiden, ob ich im Infight mit 3-4 Gegnern und diversen Rockets, Explosionen und Lichteffekten nun 15 FPS oder 40 FPS habe. Das ist es worauf es mir ankommt.

Jetzt verstanden, daß es mir nicht um 300-500 FPS geht? Deswegen halte ich ja die aktuellen Benchmarks in sämtlichen Tests für Leute, die vielleicht ähnliche Anforderungen an die Hardware stellen wie ich, für relativ ungeeignet.

Mich interessiert viel eher, ob mich eine neue Grafikkarte oder eine neue CPU von min 20 FPS auf min 30 FPS bringt, nicht ob ich von max 300 FPS auf max 350 FPS komme.

[Piffan]

'tschuldigung, wollte den Artikel wirklich nicht runtermachen. Wie o.g. finde ich die Idee echt gut und nötig.

Ich meine ja aber, dass man die Methode noch verfeinern/absichern sollte. Ziel muss dabei natürlich immer sein, dass die Erkenntnisse aus Tests am Ende für einen durchschnittlich Interessierten klar verständlich sind. Ob sie das auch für einen Giga-Glotzer/ Klingeltondownloader/ Handyspieler sein müssen kann man wahrscheinlich mit "nein" beantworten, denn einem DAU reicht ja ein Satz wie "läuft immer flüssig". Und außerdem sind diese Leute sicher auch nicht die Zielgruppe für detaillierte Analysen.

Ähem. Wird das ganze jetzt nicht wiedere reiner Selbstzweck? Was soll die statistische Absicherung denn nun im Praxisalltag bringen. Ich will hier keine intellektuelle Selbstbefriedigung, sondern praxisrelevante Aussagen.

Wer macht hier sich was zu einfach? Wer "verteufelt" hier die Minimum- FPS?

Wenn ein Spiel länger als ne gewisse Zeit unter eine Schmerzschwelle sinkt, dann ist das fürs Spielen negativ und basta. Darum sollte man die Minima als wichtigsten Indikator für Spielesysteme definieren, zumal die Minima scheinbar sensibler auf Systemeinflüsse reagieren als auf die Grafiksettings....

Wie weit man das Zeitfenster zur Erfassung der Minima öffnet, ist auch ne Definitionsfrage.

Das alles hat nix mit exakter Mathematik/Statistik zu tun, sondern mit Konventionen. Bisher galt avg- FPS als Standard, nun wäre halt mal ein feinfühligerer Messwert sinnvoll, zumal er ja am besten mit der Spielepraxis korreliert.....

Vielleicht sind dann auch die Optimierungen der Graka- Hersteller kein Thema; Opferung von Bildqualität gegen Balkenlänge bringt dann nichts mehr.

[mapel110]

Vielleicht sind dann auch die Optimierungen der Graka- Hersteller dann kein Thema; Opferung von Bildqualität gegen Balkenlänge bringt dann nichts mehr.
Würde vorraussetzen, dass die Grakachip-Hersteller hauptsächlich Dinge optimieren, die die ohnehin schon hohen maxfps-werte beeinflusst. Aber ich würde eher davon ausgehen, dass solche Optimierungen in erster Linie die besonders hardwarehungrigen Effekte betreffen und somit die minfps-Werte. :)
/edit
ist nett von dir, die schriftgröße von 7 auf 3 zu senken. Das macht das Lesen viel angenehmer!

[Piffan]

Wahrscheinlich sollte man je nach Zielsetzung einen anderen Indikator nehmen. Will ich das System prüfen, sind die Minima sinnvoll, möchte ich den Einfluss der Graka erhöhen, dann Durchschnitt oder Maxima angeben.

@mapel: Die Schriftgröße kannte ich nicht, da habe ich erstmal geklotzt. :D

[DrumDub]

super artikel! :up:

bestätigt auch das, was ich selbst erlebt habe beimw echsel von xp2000 auf a64 3000.

tatsächlich hat aber hardocp bei dieser form des benchmarkings schon eine vorreiterrolle gespielt. wobei die immer mit den einstellungen benchen, die bei der jeweiligen grafikkarte noch spielbar sind, also die minfps nicht oder nur kurz unter 30 sinken.


piffan

seh ich genauso. :)

[Quad-U]

@ Piffan
Nicht aufregen :wink: ! Wie geschrieben bin ich FÜR das Min-fps-Testen.

Das alles hat nix mit exakter Mathematik/Statistik zu tun, sondern mit Konventionen. Bisher galt avg- FPS als Standard, nun wäre halt mal ein feinfühligerer Messwert sinnvoll, zumal er ja am besten mit der Spielepraxis korreliert.....a) Konventionen/Standard: Ja, ich befürworte ebenso eine Erweiterung der Testmethodik: Angabe aller spielerelevanten Werte, und dazu zählen u.a. die Passagen mit minimalen fps.
b) avg-fps: Ist der arithmetische Mittelwert keine Mathematik/Statistik? Ich glaube, das sehen die an der Uni, an der ich studiert habe, anders...

Wie weit man das Zeitfenster zur Erfassung der Minima öffnet, ist auch ne Definitionsfrage.Genau diese Auffassung ist es, die ich kritisiere. Hier sollte man eine Methode wählen, die für alle Spiele/Situationen garantiert gültig ist und sein wird. Und das geht nur mit anerkannten statistischen Methoden! Madkiller schreibt ja selbst weiter oben im Thread, dass ihn eine neuere Funktion von Fraps auf die Idee gebracht hat. Deshalb: danke für das Interesse, denn das stößt eine neue Tür auf! Großes Lob, dass sich 3Dcenter für das Thema einsetzt und diesen Artikel veröffentlicht. Aber: kann man dieser fraps-Funktion voll vertrauen? Da man durch Fraps eh eine Menge Daten bekommt, kann man doch auch gleich richtig vorgehen. Zur Weiterbildung google doch mal ein wenig, da triffst Du z.B. auf http://barolo.ipc.uni-tuebingen.de/pharma/2/index.html.

Ich will hier keine intellektuelle Selbstbefriedigung, sondern praxisrelevante Aussagen.Natürlich, man muss da sicher nicht total tief eintauchen. Aber wichtig: wie ich die Ergebnisse kommunizieren kann, also dem breiten Publikum vermittle, ist eine andere Sache. Es gibt da sicher einen Unterschied zwischen dem "Fachidioten", den nur andere "Fachidioten" verstehen (solche Leute braucht man auch), und dem "Fach-Journalisten". Letzterer kennt sich aus und kann das Wissen gut vermitteln. Dazu muss man nun aber nicht unbedingt studieren :wink: ...

Ich möchte an dieser Stelle zusätzlich darauf hinweisen, dass (wie im Artikel angedeutet) nicht vergessen werden darf, dass die meisten Benchmarks sowieso keine reale Spiele-Situation messen, da Sie beim Timedemo z.B. die KI nicht berechnen. Somit muss man auch die min-fps Werte mit Vorsicht geniesen.

[Bokill]

@Quad-U

Verstehe mich nicht falsch, deine Kritik kann man ja auch als Lob auffassen! Nur Gutes/Anregendes ist es auch wert methodisch/wissenschaftlich behandelt zu werden ... ;)

Die Andere Seite sind Hits von Besuchern, es gibt immer wieder ein Rush ... von? naaa?

Eben! Auch von Gigabesuchern! In so fern war mein Einwand lediglich ein freundschaftlicher Stubser.

MFG Bokill

[Madkiller]

Mein Vorschlag wäre: Man unterscheidet zwischen einem unspielbaren, einem spielbaren und einem extrem sicheren Bereich, also z.B. von 0-35 fps, 36-60 fps, 60 aufwärts fps.

Über die gesamte Zeit hinweg berechnet man anteilig, wie oft die Demo in welchem Bereich lag, und gibt noch das arithmetische Mittel an. Also, z.B.:
Kritischer Bereich: 12,3% der Zeit, Sicher: 55,7%, Über-Sicher: 32,0%

Habe ich mir auch überlegt, aber IMO spricht da wichtiges dagegen...
Richtig sinnvoll wäre das IMO nur, wenn man "genormte" Timedemos bei allen Spielen hätte.
Also z.B. in 50% der Zeit passiert recht viel (also mehrere Einheiten und Effekte sind zu sehen) in dem Timedemo, so wie es "normal" für das Spiel ist. In 30% passiert extrem viel und in 20% passiert praktisch garnichts.

Denn sonst ist wohl ersichtlich, warum dein Vorschlag nicht sehr gut die "Realtität" widerspiegeln könnte.
Wenn du ein Timedemo verwendest, wo nur in 10% der Zeit wirklich viel geschieht, würdest du deutlich bessere Ergebnisse erzielen, als wenn es bei dem Timedemo 50% der Zeit wirklich rund gehen würde. :)

Das ist auch der Grund, warum Leo und ich uns darauf geeignet hatten, statt nur einen Wert von einer Sekunde drei Werte zu nehmen.
Kurzzeitige extreme Ausreißer verlieren an Gewicht aber dennoch kann ausgesagt werden wie tief bei diesem Timedemo die FPS überhaupt absinken können.

Natürlich bringt das auch das Problem mit sich, daß man das Timedemo selbst möglichst genau kennen muß um wirklich aussagen zu können, wie repräsentativ die Szene X mit den minimalen FPS überhaupt für denjenigen ist.
Aber dieses Problem besteht leider auch bei jedem anderen System in dem die minimalen FPS ausgelesen werden.

Aber ich habe versucht - soweit wie möglich - Timedemos auszuwählen die auch recht authentisch sind.
Bei Doom3 wurde das erste Timedemo des Spiels selber genutzt in der die Belastung für die Hardware auch recht gut dem entsprechen sollte, was auch beim Spielen dieser abverlangt wird.
Bei FarCry wurde das originale Regulator-Demo genutzt, welches relativ CPU-limitiert sein sollte, aber IMO auf jeden Fall nicht unüblich viele Einheiten oder Effekte zeigt.
Bei GTR wird das Rennen vom Start ab mit 16 Kontrahenten gezeigt.
Klar, es sind nur sehr selten bei den Starts so viele Wagen zu sehen, aber gerade beim Start ist es wichtig, daß man gut spielbare FPS erzielen kann.
Bei Half Life 2 wurde das Coast-Timedemo hergenommen in dem auch nicht unüblich viele Gegner zu sehen sind.
Bei UT2004 geht es in dem Primeval-Timedemo zwar gut ab, dennoch ist das bei Online Duellen nicht ungewöhnlich.

[Madkiller]

tatsächlich hat aber hardocp bei dieser form des benchmarkings schon eine vorreiterrolle gespielt.
Das war mir bekannt, und es ging mir auch garnicht darum eine "Vorreiterrolle" zu spielen. :)
Mir ging es darum möglichst transparent aufzuzeigen, wie repräsentativ die average FPS ggü den minimalen FPS überhaupt sind.

Dennoch muß ich sagen, daß ich es nicht für repräsentativ halte den kleinsten Wert von einer einzigen Sekunde direkt als "min FPS" auszuwerten.
Das Risiko einer Verfälschung ist IMO zu groß.

[Gaestle]

Die Verteufelung der Minimum-Framerate hier geht mir ziemlich auf der Keks. Eure theoretisch-statistischen Ausführungen treffen nach meiner Ansicht kaum die Wahrheit. Ich würde ernsthaft vorschlagen, ihr unterhaltet euch mal mit einem richtigen Statistiker darüber.

Die Aussagekraft der Minimum-Framerate geht über einen einzigen Augenblick hinaus. Sie lässt eine Aussage über jeden anderen Frame zu: fps(t) >= minfps, t beliebig. Eine so scharfe Aussage lässt nicht mal die Durchschnitts-Framerate zu. Das einzige Problem ist, dass die Minimum-Framerate anfälliger gegenüber Ausreissern ist. Aber dies lässt sich eigentlich durch Wiederholungen abfangen.

Der Vergleich mit der Umfrage ist völliger Blödsinn, da dies eine zufällige Messung wäre. Um die Minimum-Framerate zu bestimmen benötigt man alle Werte, nicht nur einen. Wenn man die Umfrage mal zurückvergleicht, würde das bedeuten, ich würfel einen Zeitpunkt aus und die dortige Framerate soll mir irgendeine Aussage erlauben.

Wenn man sich gegen die Minimum-Framerate ausspricht, sollte man sich andere Argumente überlegen. So einfach wie ihr euch das hier macht, geht es aber nicht.


Ich hätt's vielleicht ein bißchen diplomatischer ausgedrückt, stimme aber dem Inhalt zu.

Speziell der Abschnitt:

An dieser Stelle kurz ein Wort zur Minimum-Framerate aus theoretisch-statistischer Sicht: [....] Testumgebung
Gehört IMHO nochmal ziemlich grundlegend überarbeitet. Zumindest die Argumentation ist nicht schlüssig, weil der Vergleich nicht zutreffend scheint. Während es nämlich bei Min-fps um die Darstellung von Extremfällen geht, wird bei Umfragen idR die Darstellung von verallgemeinerungsfähigen Mittelwerten angestrebt. Um diese Verallgemeinerbarkeit zu erreichen, benötigt man ein entsprechendes Auswahlverfahren, nicht unbedingt eine hohe Fallzahl.

Von daher ist besonders die Formulierung

stellt man diese auf den Frames von drei Sekunden basierende Minimum-Framerate auf eine statistisch dramatisch höherwertige Basis,

schlicht fehl am Platze.

Wenn man schon mit Statistik kommt, sollte man lieber den Mittelwert und das Konfidenzintervall (der Bereich, in dem 95% aller Werte liegen) angeben. Da kann einem dann auch keine an die Karre pinkeln, allerdings werden dann die Extrem-Fälle nicht unmittelbar sichtbar.
Ich verstehe Eure Intention, aber man muss sich halt entscheiden für a) Extremwerte darstellen ODER b) eine gewisse Verallgemeinerbarkeit anstreben. Beides gleichzeitig ist AFAIK in der von Euch gewählten Form nicht machbar und aus statistischer Sicht AFAIK grundlegend falsch.

Nichtsdestotrotz ist es für mich ein Schritt in dioe richtige Richtung, den ich begrüße, ebenso, wie ich die Benchmethoden von hardocp sehr gut finde.
Und Respekt für die ARbeit.

Grüße....

[ollix]

…Wenn man also nach den minimum fps geht, bringt das Upgrade von einem A64 3000+ auf einen A64 3800+ schon 31% und nicht nur 25%,wie wenn man nach den average fps geht. Was doch ein Unterschied von ca 25% ist….

hier müßte 6% stehen!Hmm, naja der Anstieg war um 25% von 25%->auf->31% - nicht die absoluten Werte; also sozusagen Prozentprozent :) Evtl. ist es auch ein Fehler, aber so kann man es sich auch zurechtbiegen :D

Guten Artikel. Allerdings muß ich sagen, daß ich sowieso überhaupt nicht mehr auf FPS schaue. Irgendwie läuft es schon - soll möglist gute Bildqualität haben aber wie schnell ist mir meist wurscht (solange eben irgendwie spielbar):redface:. Wenn ich mich richtig erinnere, waren doch die Kyros in den minimalen FPS immer besser als die Konkurrenz - im Verhältnis zu den average FPS.

[Madkiller]

Hmm, naja der Anstieg war um 25% von 25%->auf->31% - nicht die absoluten Werte; also sozusagen Prozentprozent :) Evtl. ist es auch ein Fehler, aber so kann man es sich auch zurechtbiegen :D

Diese Passage sollte in Kürze besser ausformuliert sein. :)

Genau wie das hier:
Hab ich jetzt einen Denkfehler oder der Autor? Aus dem Fazit:

Schon fast peinlich. :redface:

[Symptom]

Ich finde den Artikel sehr gut. Fundiert, ausführlich und absolut in die richtige Richtung. Wer sich für das Thema interessiert, der liest es sich auch durch.

Viel mehr stört mich das doch teilweise sehr elitäre Geschreibsel einiger Leute hier, die alle nicht so in der Materie stehenden User als noobs oder Daus abstempeln. Vielleicht ist es gerade diese Umgangsform, die viele User abschreckt.
Wer outet sich schon gern als absoluter Noob oder Dau... :rolleyes:
Oder trauen sie sich nur nicht in die Nähe von überdrehten Computerfuzzies.. :|

[Gast]

es ist mal sehr interessant die dinge so zu sehen, und die mittleren FPS haben sicher nicht die aussagekraft haben, wie man gerne hätte.

auch wenn ich großen respekt vor der arbeit habe, die dieser artikel mit sich gebracht hat, halte ich ihn dennoch aus mehreren gründen nicht für wirklich aussagekräftig.

1. wurde fraps verwendet. das zieht laut meiner erfahrung die fps (vor allem im minimumbereich) schon mal rund 30% runter, was man sehr schön sehen kann wenn man es bei einem programm aktiviert dass auch eine interne fps-anzeige besitzt, und man auch deutlich spürt wenn ein programm nahe am limit der flüssigen spielbarkeit ist. ich hoffe das wenigstens der leistungsverlust bei jedem system ungefähr gleich ist, und so wenigstens eine vergleichbarkeit gegeben ist, für eine aussage über die tatsächliche spielbarkeit ist fraps aber unbrauchbar.

2. sind die minimalen fps, auch wenn sie über 3s gemessen werden, sehr anfällig gegenüber äußeren einflüssen, selbst auf "klinisch reinen" benchmark-pc´s, und erst auf einem "realen" pc. damit ist eine aussage über die "reale" spielbarkeit auch eher schlecht möglich. und genau das will imo der artikel aussagen, für einen allgemeinen leistungsvergleich eigenen sich die durchschnittlichen fps eh schon ganz gut, auch wenn sie nicht unbedingt was über die spielbarkeit aussagen.

3. wird nicht beachtet wie oft diese minimalen fps auftreten. mir ist es jedenfalls wesentlich angenehmer wenn ein spiel durchschnittlich mit 50fps läuft und einmal kurz auf 10fps runter, als wenn es mit durchschnittlich 50fps läuft, dafür öfter in die richtung 15fps geht. mit dieser messmethode wäre aber der erste fall der schlechtere.

4. ist es sehr fraglich wie weit sich minimale fps in einem timedemo auf das reale spiel übertragen lassen. dort kann es schon wieder ganz anders aussehen, evtl. deutlich schlechter oder auch deutlich besser. klar ist diese übertragbarkeit bei den avg-fps auch nicht 100%ig gegeben, aber bei einer "realistischen" auswahl des timedemos ganz gut möglich.

ich hätte daher 2 vorschläge:

1. zusätzlich zum arithmetischen mittel der fps die standardabweichung ermitteln und angeben. der nachteil dieser methode ist natürlich dass auch besonders hohe fps die standardabweichung in die höhe treiben und das ganze "schlecht" dastehen lassen. allerdings lässt sich so eine ziemlich eindeutige aussage tätigen in welchem bereich 95% aller werte liegen, und darauf kommt es imo an.

2. eigentlich was ganz einfaches: benchen mit framelock.
alle werte über einem vorher festgelegten werden einfach nicht beachtet (bzw. auf diesen wert gesetzt). von dieser messung wird dabei einfach die mittlere framerate angegeben.
dadurch fallen die minimalen fps recht stark ins gewicht, ohne dass sie durch extrem hohe in anderen szenen wieder ausgeglichen werden können, gleichzeitig fallen aber extrem kurze ausreißer praktisch nicht ins gewicht.
diese methode wäre eigentlich am einfachsten zu bewerkstelligen und hat imo gleichzeitig die beste aussagekraft.

[DrumDub]

Dennoch muß ich sagen, daß ich es nicht für repräsentativ halte den kleinsten Wert von einer einzigen Sekunde direkt als "min FPS" auszuwerten.
Das Risiko einer Verfälschung ist IMO zu groß.
das stimmt schon, aber ich denke, diese methode ist immer noch besser als nur die average fps anzugeben. wenn wenigstens die reviewer immer die minfps angeben würden... aber leider bieten ja viele der internen benchmarkfunktionen von spielen nicht die möglichkeit, diese auszulesen. von daher wirds häufig nicht gemacht, da es aufwändiger ist, da man ja fraps (zusätzlich) bemühen muss.

[resonatorman]

Viel mehr stört mich das doch teilweise sehr elitäre Geschreibsel einiger Leute hier, die alle nicht so in der Materie stehenden User als noobs oder Daus abstempeln. Vielleicht ist es gerade diese Umgangsform, die viele User abschreckt.

Ja, tombmans Arroganz ist schon entwaffnend... ;)

[Piffan]

Ja, tombmans Arroganz ist schon entwaffnend... ;)

Ja was denn......noob ist doch keine Beleidigung, sondern ein Zustand. DAU ist dagegen schon von anderem Kaliber.

Meine Definition: Noobs sind alle mal gewesen, ein DAU hingegen ist relativ selten und dann auch DAUerzustand.....:D

[Madkiller]

es ist mal sehr interessant die dinge so zu sehen, und die mittleren FPS haben sicher nicht die aussagekraft haben, wie man gerne hätte.

auch wenn ich großen respekt vor der arbeit habe, die dieser artikel mit sich gebracht hat, halte ich ihn dennoch aus mehreren gründen nicht für wirklich aussagekräftig.

[...]

Zu 1.
Bis zu 30% weniger min FPS?
Wie und wo hast du denn das ermittelt?
Ich habe jetzt extra mal UT2004 auf 640x480 gebencht, und bin auf gigantische 1,4% weniger avg FPS gekommen, wenn Fraps aktiviert ist und ich den Frameverlauf mitloggen lasse.
Da bei dieser Auflösung wirklich davon ausgegangen werden kann, daß praktisch immer die CPU limitiert, kannste also von ca 1,5% weniger min FPS durch Fraps ausgehen.
Aber im realen Spiel wäre diese Szene da KI und Physik noch mitberechnet werden müssen, eh noch niedriger.
zu 2.
Anfällig selbst auf "klinisch reinen" benchmark-pc´s?
Versteh ich nicht, erklärs mir doch bitte!
Und zu einem "allgemeinen Leistungsvergleich" eignen sich die avg FPS eben nicht gerade, siehe auch:
http://www.3dcenter.org/artikel/average_fps/index13.php
(letzter Vergleich vor dem Fazit)
zu 3 und 4 und deinen Vorschlägen:
Siehe doch bitte diesen Post von mir:
http://www.forum-3dcenter.org/vbulletin/showpost.php?p=2916004&postcount=55

das stimmt schon, aber ich denke, diese methode ist immer noch besser als nur die average fps anzugeben. wenn wenigstens die reviewer immer die minfps angeben würden... aber leider bieten ja viele der internen benchmarkfunktionen von spielen nicht die möglichkeit, diese auszulesen. von daher wirds häufig nicht gemacht, da es aufwändiger ist, da man ja fraps (zusätzlich) bemühen muss.
Solange zweifelhafte min FPS gegengeprüft werden, stimme ich dir zu. :)

[Mr. Lolman]

es ist mal sehr interessant die dinge so zu sehen, und die mittleren FPS haben sicher nicht die aussagekraft haben, wie man gerne hätte.

auch wenn ich großen respekt vor der arbeit habe, die dieser artikel mit sich gebracht hat, halte ich ihn dennoch aus mehreren gründen nicht für wirklich aussagekräftig.[...]

Gute Einwände, ich stimm dir dabei voll und ganz zu, und halte persönlich deinen 2. Vorschlag für die beste Methode, möglichst praxisrelevante Benchmarks zu erzielen.

Wo bei man noch anmerken muss, dass es bei so gut wie allen Messmethoden unklar ist, wieviele Einzelbilder in den ausgebenen fps Werten wirklich berücksichtigt wurden. Werden die fps jew. über eine Sekunde gemittelt (und ausgeben) wird ein (notwendigerweise reproduzierbarer) fps-Einbruch weniger schlimm erscheinen als, wie wenn die fps z.B. konstant über 3 Einzelbilder gemittelt werden, und diese dann die Basis für den weiteren Messvorgang bilden.

Ein praktisches und nachvollziehbares Beispiel wär z.B. VSync in Verbindung mit Tripplebuffering und dem in dem Setting technikbedingt, auftretendem, aber meist unmerkbarem, Mikroruckeln, im Vergleich zu den statistisch gleich hohen fps-Werten mit VSync-Off...



/edit: Auf jeden Fall find ichs gut, dass 3DC nun hoffentlich ernsthaft anfängt sich mit dem Problem der praktischen Verwertbarkeit von GraKabenchmarks zu beschäftigen. In dem Sinn ist der Artikel schon mal ein wichtiger Schritt in die richtige Richtung und bekommt dafür von mir ein eindeutiges :up:

[MarcWessels]

Im Kino werden ja auch nur 24fps gezeigt, das würde mir schon langen- als min Wert!

Völlig falscher Vergleich! Du DARFST die Framerate echtzeitberechneter Grafik nicht mit der von gefilmtem Material vergleichen!

[Gast]

Zu 1.
Bis zu 30% weniger min FPS?
Wie und wo hast du denn das ermittelt?
Ich habe jetzt extra mal UT2004 auf 640x480 gebencht, und bin auf gigantische 1,4% weniger avg FPS gekommen, wenn Fraps aktiviert ist und ich den Frameverlauf mitloggen lasse.
Da bei dieser Auflösung wirklich davon ausgegangen werden kann, daß praktisch immer die CPU limitiert, kannste also von ca 1,5% weniger min FPS durch Fraps ausgehen.

direkt getestet in 3dmark03 und 05.
in 3dmark03 im ersten test hab ich ohne fraps teilweise 4-stellige frameraten, mit fraps komm ich nichtmal ansatzweise in die nähe davon.
und noch viel schlimmer im mother-nature-test. ziemlich am anfang, wenn man über die schildkröte blickt und das gesamte graß+bäume sieht sinken die fps ohne fraps auf ca. 20 minimum, mit fraps gehen sie auf rund 15fps runter.

"gefühlt" in splinter cell 3-demo. ohne fraps war das gesamte demolevel gut spielbar, mit aktiviertem fraps aber teilweise sehr zähflüssig.

nachdem du in deinen settings kaum einbrüche merkst, ist es vielleicht komischerweise eher der fall dass fraps vor allem in grafiklimitierten szenen besonders einbricht. vielleicht macht es auch irgendwas dass nvidia-karten nicht leiden können, mit der ati-karte hab ich noch keine tests gemacht.

mit morebench dagegen hab ich nur relativ geringe einbrüche von 1-5%. in SC3 werden auch deutlich höhere werte als mit fraps angezeigt, und die performance ist spürbar besser.


zu 2.
Anfällig selbst auf "klinisch reinen" benchmark-pc´s?
Versteh ich nicht, erklärs mir doch bitte!

naja, die minimalen fps entstehen meistens wenn eine hintergrundanwendung etwas cpu-zeit braucht. auf "realen" pc´s ist die chance natürlich größer dass dieser fall auftritt als auf "klinisch reinen".


Und zu einem "allgemeinen Leistungsvergleich" eignen sich die avg FPS eben nicht gerade, siehe auch:
http://www.3dcenter.org/artikel/average_fps/index13.php
(letzter Vergleich vor dem Fazit)


sorry, ich hab mich wohl etwas unglücklich ausgedrückt. mit "allgemeinen leistungsvergleich" meinte ich ich einen graka/cpu-vergleich oder was derartiges.

in diesem fall wird in der regel nur die zu testende komponente ausgetauscht und das restliche system bleibt gleich. natürlich sollte man dann entsprechende settings wählen die die zu testende komponente auch ordentlich belasten. in diesem fall, und das steht auch im artikel, ist der relative unterschied zwischen durchschnittlichen und minimalen fps praktisch irrelevant.

[Gast]

Ein guter Artikel.

Interessanter wäre er nur noch dadurch geworden, wenn man ein paar Vergleiche von Minimumframerates aktueller Beispielshardware von ATI Nvidia und co gegliedert in Lowcost, Mainstream, Highend betrieben hätte.
Es gibt heutzutage viel zu wenig GraKa-Reviews, die die Minimum-FPS berücksichtigen.
Falls mir da jemand ein paar gute Seiten nennen kann, wäre ich dankbar. Ausser Digit-life fällt mir nämlich auf Anhieb jetzt keine ein.
TIA
Gruß
Jan

[Mr. Lolman]

Völlig falscher Vergleich! Du DARFST die Framerate echtzeitberechneter Grafik nicht mit der von gefilmtem Material vergleichen!

Nicht das ist das Problem, sondern die Spiel/Kamerageschwindigkeit. Aufgrund des beim Films, natürlich auftrendem Motionblur, reichen 25fps meistens aus.

Genausogut reichen auch schon tw. deutlich weniger <20fps aus am ne Szene flüssig wirken zu lassen. z.B. ne statische Kamera die aus der Vogelperspektive Fußgänger zeigt. Durch die kaum vorhandene Bewegung brauchts auch kaum fps. Würden die Fußgänger alle nur stehen würde man den Unterschied zw. 1 und 100fps auch nicht merken.

hier gibts ein kleines Videoschnipsel (mit avi Endung speichern) einer Szene aus UT2004 mit 15fps. http://img67.exs.cx/img67/2153/ut2k4mpg3rs.jpg Wirkt irgendwie erstaunlich flüssig, oder :D

[avalanche]

Madkiller schient ja in letzter zeit artikeltechnisch gut aktiv zu sein *freu*

Der Kernaussage des Artikels, dass mir eine hohe durchschnittliche Framerate nicht viel Freude macht, wenn mir die Performance häufig wegbricht, kann ich nur zustimmen. Dem "wie tief", das hier im Artikel ermittelt wurde, wäre vielleicht noch hinzuzufügen, wie oft die Framerate in den Keller geht. Das klang hier ja auch schon an. Natürlich darf man bei den ganzen Minimalangaben nicht vergessen, dass die durchschnittliche Framerate durch das beachten der minimalen Framerate nicht an Wichtigkeit verliert: Ich kann mich genauso wenig über kleine Performanceeinbrüche freuen, wenn ich generell eine ranzige Performance hab, wie über tollen Durschnittswert, wenn der mit groben Einbrüchen übersäht ist.

[discostu1]

Sehr interessanter und intelligenter Artikel... aber mein Kritikpunkt ist die Präsentation der Informationen. Man sieht in solchen FPS-Diagrammen auf den ersten Blick einfach fast garnichts:
http://www.christophneumueller.at/files/graf1.gif

Warum werden die FPS-Werte nicht einfach sortiert und dann erst in einem Diagramm ausgegeben.
zb. so:
http://www.christophneumueller.at/files/graf2.gif

Hier würde man auf den ersten Blick sehen, wieviel vom Spiel (Benschmark) im unspielbaren bzw im Spielbaren Bereich war. Außerdem würde man auch sofort sehn wie gleichmäßig die Hardware rendert (flachere Kurve).

Man könnte zb. auch angeben wieviel % vom Benchmark im unspielbaren Bereich von <40 fps sind.

MfG
Discostu

[Mr. Lolman]

Wo bei man noch anmerken muss, dass es bei so gut wie allen Messmethoden unklar ist, wieviele Einzelbilder in den ausgebenen fps Werten wirklich berücksichtigt wurden.

Was ich damit sagen will: IHV1 kann z.B. innerhalb einer Sekunde viel unkonstantere fps liefern als IHV2. Dadurch, dass die meisten Spiele den Wert über eine Sek mitteln, scheint das dann in keinem Benchmark auf...

[dirk.loesche]

Ich kopier das mal aus meinem anderen Komentar hier herrein:

Also ich finde die Angabe fps viel zu ungenau!

Es kann durchaus sein das in einer Sekunde das Spiel 3 mal ins stocken gerät und es trotzdem 30fps sind da es in der restlichen Zeit der Sekunde dann viel schneller läuft und die Ruckler ausgeglichen werden.

Ich wäre für eine neue Art der Geschwindigkeitsangabe die auf die Wahrnehmbaren Unterschiede einen Bezug nimmt.

60fps(dargestellt) / 25fps(wahrnehmbar) = 2.4
12fps / 25fps = 0.48

Wobei die 2.4 Bilder pro wahrnehmbaren Bild ein sehr guter Wert ist.
Die 0.48 Bilder pro wahrnehmbaren Bild sind dafür aber zu gering man würde es bemerken. Also alles was kleiner Eins ist wäre ungenügend und alles was größer Eins ist wäre flüssig. Größer Zwei dann gut Spielbar und größer Drei absolut flüssig.

Nur die Abkürzung die hinter der Zahl steht muss noch gefunden werden.
Und wenn das schon Spielintern 25 mal pro Sekunde gemacht würde so wäre die Genauigkeit um den Faktor 25 erhöht. Und Ruckler, die immer mal vorkommen, würden dann viel stärker ins Gewicht fallen in dem 25sten Teil einer Sekunde.

[OBrian]

2 kleine Anmerkungen: Die gelbe Farbe in manche Diagrammen ist schlecht zu erkennen; und auf den letzten Seiten wurde mehrfach das Wort "suggestieren" benutzt, ich denke, das sollte "suggerieren" heißen.

Außerdem finde ich den Vorschlag von discostu1 gut, die Werte im Diagramm zu sortieren. Da die Benckmarkdurchläufe unterschiedlich lange in Anspruch nehmen, lassen sich einzelne Szenen sowieso teilweise schlecht direkt gegeneinander vergleichen, also kann man auch gleich ganz darauf verzichten und die Werte ordnen.

Aber die Schlußfolgerungen finde ich begrüßenswert: Einerseits merkt man, daß die min. fps mehr Praxisrelevanz haben und für Kaufentscheidungen wichtiger sind, andererseits fällt aber auch auf, daß das Gewicht der CPU höher einzuschätzen ist als man aufgrund der meisten Benchmarks mit avg. fps erwarten würde (und deswegen Leuten mit einem XP 2500+ und einer 9800pro zu oft eine neue Grafikkarte statt einer neuen CPU empfohlen wird, obwohl sie andersrum wahrscheinlich mehr Spaß dran hätten).

[resonatorman]

...und auf den letzten Seiten wurde mehrfach das Wort "suggestieren" benutzt, ich denke, das sollte "suggerieren" heißen.

Was, immer noch nicht gefixt! Hab ich doch schon heute morgen moniert... ;)

[Piffan]

Madkiller schient ja in letzter zeit artikeltechnisch gut aktiv zu sein *freu*

Der Kernaussage des Artikels, dass mir eine hohe durchschnittliche Framerate nicht viel Freude macht, wenn mir die Performance häufig wegbricht, kann ich nur zustimmen. Dem "wie tief", das hier im Artikel ermittelt wurde, wäre vielleicht noch hinzuzufügen, wie oft die Framerate in den Keller geht. Das klang hier ja auch schon an. Natürlich darf man bei den ganzen Minimalangaben nicht vergessen, dass die durchschnittliche Framerate durch das beachten der minimalen Framerate nicht an Wichtigkeit verliert: Ich kann mich genauso wenig über kleine Performanceeinbrüche freuen, wenn ich generell eine ranzige Performance hab, wie über tollen Durschnittswert, wenn der mit groben Einbrüchen übersäht ist.

Sehr gut bemerkt! Wobei "ranzige" Performance je nach Genre oder Geilheitsgrad der Grafik eher toleriert wird als Passagen, wo man fast die Kontrolle verliert.....Aber stimmt schon, langsam sehe ich ein, dass die Min- FPS allein auch nicht glücklich macht....

[MarcWessels]

60fps(dargestellt) / 25fps(wahrnehmbar) = 2.4
12fps / 25fps = 0.48

Hm? Wie kommst Du auf 25 wahrnehmbare Bjilder pro Sekunde? :confused:

[tombman]

die beste methode zum
benchen hat imo immer noch
halo pc.

dort bekommt man am ende
ne auswertung in fps bereichen
angezeigt in %.

also zb von 15 bis 25 fps: 23%
der zeit

<15 fps: 2%

usw....

so kann man sofort sehen
welcher bereich einem wichtig
ist und welche maßnahme die
niedrigen bereiche am besten
verringert, sprich höhere min fps.

mit fraps kann man ja ganz
leicht genug meßwerte bekommen
und sich dann ne schöne grafik
machen.

sinnvolle bereiche wären imo:

<20fps (unspielbar)
20fps bis 30fps (single player minimum)
30fps bis 45fps (sp angenehm)
45fps bis 60fps (sp smooth)
>60fps (praise the lord, halleluja) ;D

[Monger]

Habe ich mir auch überlegt, aber IMO spricht da wichtiges dagegen...
Richtig sinnvoll wäre das IMO nur, wenn man "genormte" Timedemos bei allen Spielen hätte.
Also z.B. in 50% der Zeit passiert recht viel (also mehrere Einheiten und Effekte sind zu sehen) in dem Timedemo, so wie es "normal" für das Spiel ist. In 30% passiert extrem viel und in 20% passiert praktisch garnichts.

Denn sonst ist wohl ersichtlich, warum dein Vorschlag nicht sehr gut die "Realtität" widerspiegeln könnte.
Wenn du ein Timedemo verwendest, wo nur in 10% der Zeit wirklich viel geschieht, würdest du deutlich bessere Ergebnisse erzielen, als wenn es bei dem Timedemo 50% der Zeit wirklich rund gehen würde. :)

Das ist auch der Grund, warum Leo und ich uns darauf geeignet hatten, statt nur einen Wert von einer Sekunde drei Werte zu nehmen.
Kurzzeitige extreme Ausreißer verlieren an Gewicht aber dennoch kann ausgesagt werden wie tief bei diesem Timedemo die FPS überhaupt absinken können.
...

Aber das ist doch ein systematisches Problem, oder etwa nicht? Man misst immer nur die Performance der Time Demo, niemals die reale Anwendung. Daran ändert keine Zahlendreherei etwas. Beispiel UT2004: Weder Flyby noch das Botmatch entsprechen der realen Spielsituation. Das eine ist extrem euphemistisch, das Botmatch ist imho schon eher der Worst Case, weil die Maps nunmal nicht dazu designt sind, 15m über dem Schlachtengetümmel zu schweben, und so wesentlich mehr zu sehen als man eigentlich müsste.
In beiden Fällen werden weder minimale noch durchschnittliche fps zwingend etwas mit der realen Anwendung zu tun haben.

Am besten wäre es, wenn die Demo über einen möglichst großen Leistungsbereich misst, also praktisch von Leerlauf (schwarzer Bildschirm) bis völlige Überlastung ( ~ 0 fps). Ich bin jetzt nicht wirklich fit in Statistik, aber meiner Meinung nach müsste das die größte Aussagekraft auch über reale Anwendungen geben.


Auf der anderen Seite muss man sich fragen was man mit den Messergebnissen anfängt, die hoffentlich von einem möglichst realistischen Szenario stammen. Und ich bin immer noch der Meinung, dass man nicht nur wissen muss, wie tief die fps sinken können, sondern auch wie oft sie es tun. Wenn aus irgendeinem dummen Grund ein System ein einziges Frame überhaupt nicht rendern kann (min fps = 0), aber für den Rest der Demo bei stetigen 60 fps bleibt, wird es in den Zahlen trotzdem schlechter darstehen als eins, dass ständig zwischen 10 und 110 fps hin- und herschwankt, und somit die Hälfte der Zeit völlig unerträglich ist.

[lowle]

Schön, dass sich jemand darum gekümmert hat, was ich mit
http://www.computerbase.de/forum/showthread.php?t=124332
http://www.forum-3dcenter.org/vbulletin/showthread.php?t=214553
http://www.forum-3dcenter.org/vbulletin/showthread.php?t=214020&page=2&pp=20 (zweitletzter beitrag)
ansprechen wollte...

Was ich zu bedenken geben will:
1.) die Werte, die fraps in Sekundenauszügen ausgibt sind auch schon gemittelte werte, und somit vielleicht nicht wirklich aussagekräftig.
2.) 3-Sekundenschritte halte ich für extrem unaussagekräftig, da man schon kurze Hänger (die sich im 2-3 stelligen Millisekundebereich aufhalten) als wesentlich ärgerlicher empfinden kann, als wenn ein spiel ab und zu unter 25 fps (durchschnittlich) rutscht.


@discostu1
Die Tabelle zu sortieren finde ich genial!
Dann kann man angeben, wie lange ein System im "unspielbaren" oder "ruckelden Bereich" liegt. Das sollte wohl sehr aussagekräftig sein.
mfg!

[Quad-U]

Wie lange oder wie oft?

Sortieren der Daten ist interessant. Wie von anderen erwähnt, sagt aber auch dieses Vorgehen nichts über kurzzeitige Schwankungen aus. Wir benötigen Werte, die das "Nervige" im Spiel erfassen, wie ständige kurzzeitige Hänger, etc. (s.o.). Deshalb nochmal: vorausgesetzt die gemessenen Daten sind korrekt (siehe fraps gegen built-in Diskussion, KI/Physik ...) wird man nur mit klassischen statistischen Methoden weiterkommen: Messung -> Mitschrieb -> statistische Methoden -> für die Allgemeinheit verständliche Aussage.
(Die DAU-Diskussion sollten wir beenden, diese Leute sind - wie erwähnt - sicher nicht die Zielgruppe!)

Es wurde schon oft angesprochen, dass man Ergebnisse aus verschiedenen Spielen direkt miteinander vergleichen will. Ich denke, das wird man nie hinbekommen, dafür gibt es einfach zu verschiedene Ausprägungen. Die Vergleichbarkeit wird nur bei Tests desselben Spiels möglich sein.

[1668.mib]

Ein sehr guter Artikel, der etwas anspricht was mir schon lange auf dem Herzen liegt. Das ganze ist auch noch vorzüglich mit Benchmarks belegt. Saubere Arbeit!
Seh ich genauso.
Ich hab glaub ich in unserer Diskussion um deine HL2-Kolumne bereits ähnliches gesagt. Bin schon lange der Meinung, dass die Schwerpunkte bei Benchmarks absolut falsch gesetzt sind, mir ist es eigentlich egal, ob ein Spiel mit 60 oder 160 fps läuft. Wichtiger ist, dass in kritischen Spielsituationen die fps nicht zu stark einbrechen.

btw: Es sind noch einge Rechtschreibfehler drin ^^
Bin zu faul sie alle zu notieren ;-)

[Gaestle]

Wie lange oder wie oft?


AFAIK greift fraps die fps in definierbaren Zeitabständen ab. Von daher ist wie Oft = wie lange. AFAIK

Die Idee, die Werte zu sortieren ist super! Da wird auch die Idee der Einteilung in bestimmte Geschwindigkeitsbereiche (d.h. 5-20fps = 31%; 21 - 30fps = 20% etc. pp.) mit realisiert.

Grüße...

[Madkiller]

Aber das ist doch ein systematisches Problem, oder etwa nicht? Man misst immer nur die Performance der Time Demo, niemals die reale Anwendung. Daran ändert keine Zahlendreherei etwas. Beispiel UT2004: Weder Flyby noch das Botmatch entsprechen der realen Spielsituation. Das eine ist extrem euphemistisch, das Botmatch ist imho schon eher der Worst Case, weil die Maps nunmal nicht dazu designt sind, 15m über dem Schlachtengetümmel zu schweben, und so wesentlich mehr zu sehen als man eigentlich müsste.

Bei UT2004 wurde aber - wie ich schon schrieb - das Primeval-Demo genutzt.
Und das war aus der Ego-Perspektive zu sehen.
Genau wie jedes andere Timedemo welches hier genutzt wurde.
Ich habe versucht, realtistische Timedemos zu nutzen:
http://www.forum-3dcenter.org/vbulletin/showthread.php?p=2916004#post2916004

Warum werden die FPS-Werte nicht einfach sortiert und dann erst in einem Diagramm ausgegeben.
zb. so:
http://www.christophneumueller.at/files/graf1.gif

Naja, auf diesem Bild kann man aber auch praktisch nichts erkennen oder zuordnen, weil die Werte von einem Wert zum anderen um 40-80fps wechseln.
Da sind die Graphen von dem Artikel schon weitaus überschaubarer und nachvollziehbarer.

Die Idee, die Werte zu sortieren ist super! Da wird auch die Idee der Einteilung in bestimmte Geschwindigkeitsbereiche (d.h. 5-20fps = 31%; 21 - 30fps = 20% etc. pp.) mit realisiert.

Grüße...
Hat aber den entscheidenden Nachteil, daß man nicht mehr Vergleichen kann, wie bestimmte Stellen aus dem Timedemo auf andere Hardware oder andere Settings reagieren.
Deswegen wurde das nicht gemacht.

[Gast]

Schön, dass sich jemand darum gekümmert hat, was ich mit
http://www.computerbase.de/forum/showthread.php?t=124332
http://www.forum-3dcenter.org/vbulletin/showthread.php?t=214553
http://www.forum-3dcenter.org/vbulletin/showthread.php?t=214020&page=2&pp=20 (zweitletzter beitrag)
ansprechen wollte...

Was ich zu bedenken geben will:
1.) die Werte, die fraps in Sekundenauszügen ausgibt sind auch schon gemittelte werte, und somit vielleicht nicht wirklich aussagekräftig.
2.) 3-Sekundenschritte halte ich für extrem unaussagekräftig, da man schon kurze Hänger (die sich im 2-3 stelligen Millisekundebereich aufhalten) als wesentlich ärgerlicher empfinden kann, als wenn ein spiel ab und zu unter 25 fps (durchschnittlich) rutscht.


@discostu1
Die Tabelle zu sortieren finde ich genial!
Dann kann man angeben, wie lange ein System im "unspielbaren" oder "ruckelden Bereich" liegt. Das sollte wohl sehr aussagekräftig sein.
mfg!


Dann sollte man vielleicht messen, wie lange es durchschnittlich dauert, bis das nächste Frame gerendert ist. Die Häufigkeit der Zeitabstände könnte man in einem Diagramm darstellen. Je häufiger z.B Werte über 40 ms (<25FPS)rauskommen, oder gar über 100 ms (<10FPS) um so schlechter wäre das ganze dann. Man würde dann auch die Häufigkeit, oder auch den Verlauf solcher kurzzeitigen Einbrüche messen können.

[Madkiller]

nachdem du in deinen settings kaum einbrüche merkst, ist es vielleicht komischerweise eher der fall dass fraps vor allem in grafiklimitierten szenen besonders einbricht. vielleicht macht es auch irgendwas dass nvidia-karten nicht leiden können, mit der ati-karte hab ich noch keine tests gemacht.

Das mit der GraKa-Limitierung halte ich auch für sehr unwahrscheinlich.
Ich hatte mal beim 3DMurks2005 Fraps mitlaufen lassen, und hatte am Schluß 30 Punkte (also ca 0.5%) weniger.
Daß aber nV mit Fraps nicht zurecht kommt, wäre mir neu...
Bist du dir sicher, daß bei dir alles andere einwandfrei gelaufen ist?
Nicht daß es ein Softwareproblem o.ä. war...

naja, die minimalen fps entstehen meistens wenn eine hintergrundanwendung etwas cpu-zeit braucht. auf "realen" pc´s ist die chance natürlich größer dass dieser fall auftritt als auf "klinisch reinen".

Nicht auf einem "klinisch reinen". Denn da laufen ja eben keine Anwendungen im Hintergrund, die groß CPU-Zeit benötigen.
Das kann man auch an dem Artikel sehen...
Jedes Spiel wurde mindestens 6-8mal mit verschiedenen Settings gebencht.
Solche Einbrüche von Fremdprogrammen hätten auffallen müssen, da sie wohl nie an den selben Stellen vorgekommen wären.
Davon abgesehen konnte ich jeden Frameverlauf reproduzieren.

Aber es ist natürlich klar, daß das System zur Ermittlung der min FPS in diesem Artikel nicht dazu genutzt werden kann, die min FPS aufzuzeigen, wenn auch noch andere relevante Programme mitlaufen.
Denn wenn die anderen Programme dann CPU-Zeit benötigen, wenn die FPS eh ziemlich hoch sind, würde das nicht weiter auffallen, währendessen die Einbrüche bei Szenen die wenige FPS haben, stärker Auffallen und ins Gewicht fallen würden. :)

Noch was zu:
2. eigentlich was ganz einfaches: benchen mit framelock.
alle werte über einem vorher festgelegten werden einfach nicht beachtet (bzw. auf diesen wert gesetzt). von dieser messung wird dabei einfach die mittlere framerate angegeben.
dadurch fallen die minimalen fps recht stark ins gewicht, ohne dass sie durch extrem hohe in anderen szenen wieder ausgeglichen werden können, gleichzeitig fallen aber extrem kurze ausreißer praktisch nicht ins gewicht.
diese methode wäre eigentlich am einfachsten zu bewerkstelligen und hat imo gleichzeitig die beste aussagekraft.
IMO nicht geeignet.
Da sind sogar avg FPS besser geeignet, weil damit wenigstens noch halbwegs die Ergebnisse mit anderen Settings/Hardware verglichen werden können.
Bei einem Timedemo mit nur wenigen Ausreißern nach unten, würde dann bei selben Settings die größere Power einer schnelleren CPU oder GraKa größtenteils egalisiert.

Was ich zu bedenken geben will:
1.) die Werte, die fraps in Sekundenauszügen ausgibt sind auch schon gemittelte werte, und somit vielleicht nicht wirklich aussagekräftig.
2.) 3-Sekundenschritte halte ich für extrem unaussagekräftig, da man schon kurze Hänger (die sich im 2-3 stelligen Millisekundebereich aufhalten) als wesentlich ärgerlicher empfinden kann, als wenn ein spiel ab und zu unter 25 fps (durchschnittlich) rutscht.

zu 1.:
Deswegen drei Werte und nicht nur einen.
zu 2.:
Solche kurzen Hänger entstehen für gewöhnlich dann, wenn das Spiel von einem anderen Programm deutlich gestört wird.
Daß das von dem Spiel selber kommt ist sehr unüblich, denn nicht viele Effekte die auch aufwendig dargestellt und berechnet werden müssen verschwinden nach ca 0.1sek schon wieder.
Und selbst wenn ist es fraglich ob das auch die Spielbarkeit wirklich stören würde.

[Bokill]

@Madkiller

Ein Retrotrend?

3DCenter für rohe Rechenpower mit CPU-Kraft und (wie bisher üblich) der 3D-Grafikkarte?

:D

MFG Bokill

[discostu1]

Naja, auf diesem Bild kann man aber auch praktisch nichts erkennen oder zuordnen, weil die Werte von einem Wert zum anderen um 40-80fps wechseln.
Da sind die Graphen von dem Artikel schon weitaus überschaubarer und nachvollziehbarer.


Hat aber den entscheidenden Nachteil, daß man nicht mehr Vergleichen kann, wie bestimmte Stellen aus dem Timedemo auf andere Hardware oder andere Settings reagieren.
Deswegen wurde das nicht gemacht.

Auf diesem Bild ist deshalb nicht so viel zu erkennen, weil ich einfach 100 Zufallszahlen zwischen 10 und 100 generiert habe um ein Testdiagramm darstellen zu können.

Deshalb ist auch die Kurve auf dem 2. Diagramm so "gerade". Aber wie schon vor mir bemerkt wurde... damit könnte man wunderbar die Bereiche visualisieren die einem wichtig sind (0-20fps, 20-40fps, 40-60fps, >40fps).

Auch für Vergleiche dürfe es schön anzuschauen sein wenn man oder mehrere sortierte fps-Kurven sieht. Man kann ja wunderbar ablesen in welchem Bereich sich der Großteil des Benchmarks abspielt.

Dass man dann nicht mehr sieht in WELCHER SZENE GENAU sich eventuelle Einstellungsänderungen auswirken ist mir klar. Aber das ist ja auch wieder eine ganz andere Geschichte.



MfG
Discostu

[Madkiller]

Madkiller schient ja in letzter zeit artikeltechnisch gut aktiv zu sein *freu*

Der Kernaussage des Artikels, dass mir eine hohe durchschnittliche Framerate nicht viel Freude macht, wenn mir die Performance häufig wegbricht, kann ich nur zustimmen. Dem "wie tief", das hier im Artikel ermittelt wurde, wäre vielleicht noch hinzuzufügen, wie oft die Framerate in den Keller geht. Das klang hier ja auch schon an. Natürlich darf man bei den ganzen Minimalangaben nicht vergessen, dass die durchschnittliche Framerate durch das beachten der minimalen Framerate nicht an Wichtigkeit verliert: Ich kann mich genauso wenig über kleine Performanceeinbrüche freuen, wenn ich generell eine ranzige Performance hab, wie über tollen Durschnittswert, wenn der mit groben Einbrüchen übersäht ist.

Das "wie oft/lang" wird aber eigentlich erst bei einer sehr starken GraKa-limitierung relevant. Siehe z.B. Doom3 oder FarCry @ 1600x1200 6/16 bei denen sich über einen längeren Zeitraum die FPS nur um wenige Frames unterscheiden.

Aber sobald die CPU nur ein wenig mitzureden hat, geht es eigentlich immer nach dem selben Schema:
Das Spiel wird dann langsam, wenn viele Effekte berechnet und dargestellt werden müssen, oder einfach ausgedrückt, wenn viel los ist, auch weil die CPU relativ gesehen stärker belastet wird.
Ansonsten sind die FPS deutlich höher.
Da ich mich hier (http://www.forum-3dcenter.org/vbulletin/showthread.php?p=2916004#post2916004) evtl etwas unklar ausgedrückt habe, da wirklich keiner auf die Argumente eingegangen ist, versuch ich es noch einmal.

Kein Timedemo ist wie das andere. In dem einen ist mehr los als in dem anderen.
Aber man kann die Werte von einem Timedemo in dem nicht viel los ist, nicht einmal ansatzweise über die avg FPS mit einem anderen Timedemo vom selben Spiel vergleichen. Ist ja auch logisch... Umso länger mehr FPS erzeugt werden können, umso mehr kommt am Schluß auch raus.
Aber dabei bleibt es nicht... Wenn man bei dem schnelleren TD (Timedemo) eine schnellere CPU nutzt, wird man fast nichts am Fazit spüren. Eine schnellere GraKa schlägt aber auf diesem TD viel besser an, als auf dem langsameren TD.
Wie verfälschend das sein kann, kann man z.B. hier (http://www.hardtecs4u.com/reviews/2004/cpu_praxisvergleich/index4.php) unter FarCry erkennen.
Hier wurde bei der Testumgebung zwischen dem 4000+ und dem 3000+ gerade mal 1,1% weniger FPS ermittelt.
Während es bei diesem Artikel zwischen dem 3800+ und dem 3000+ unter der selben Auflösung bei den avg FPS schon 12% sind - ja selbst auf 16x12 6/16 sind es noch 5%.
Ok, hier wurde eine X800XT-PE verwendet, bei HT4U eine 6800GT, aber soviel sollten die sich nicht nehmen.
Ich kann fast nur davon ausgehen, daß bei HT4U das TD von FarCry deutlich stärker GraKa-Limitiert war als das was hier benutzt wurde.
Hier in diesem Artikel sind alle Peaks in denen die FPS am weitesten runtergehen (bis auf eine einzige Ausnahme) deutlich CPU-limitiert (außer bei nur GraKa-limitierenden Settings) da zu diesem Zeitpunkt viele Effekte und/oder Einheiten dargestellt wurden.

Warum es mir persönlich ziemlich egal ist, wie oft die FPS stark einbrechen, mir es aber nicht egal ist, warum sie stark einbrechen, ist folgendes:
Die Frames brechen nicht "einfach so" ein, sondern dann wenn GraKa und CPU einer bestimmten Belastung ausgesetzt werden.
Ich habe versucht realistische "worst Case"-Situation in den TDs einzubauen.
Und auch solche Situationen sollten spielbar sein. Völlig egal, wie lange das dauert. Die min FPS wie sie hier ermittelt wurden haben den Vorteil, daß es nicht wichtig ist, wie lange viel los war, sondern mehr, daß überhaupt einmal viel los war.
Denn dann sollte das Fazit relativ brauchbar sein, egal wie lange das dauert. Bei jedem anderen Verfahren, wo mehrere oder möglichst viele Daten verwendet werden, ist das nicht so.

Und wie die eine "worst Case"-Situation für jeden einzelnen aussieht, kommt darauf an, wie man ein Spiel nutzt (bei UT2004 Online-Massenschlachten oder nur 1on1).
Aber selbst 1on1 Spieler könnten mit diesen min FPS ein brauchbares Fazit ableiten da sie ja wüßten, daß sie immer deutlich über diesen min FPS bleiben würden, und könnten daraufhin auch ihre Settings anpassen.
Die avg FPS haben praktisch überhaupt keine verläßliche Aussagekraft (außer als eingeschränkten Direktvergleich).

Natürlich müßte man auch bei den min FPS darauf vertrauen, daß der Artikelschreiber Szenarien hernimmt, die für die meisten zutreffen - oder noch viel besser - er kennt selber das TD und kann dadurch selber für ihn ableiten, wie repräsentativ das für ihn wirklich ist.
Sobald aber bei Ermittlung der min FPS mehrere Daten als nur unbedingt nötig verwendet werden, würde das Fazit immer mehr in Richtung avg FPS verfälscht und besäße immer weniger Aussagekraft.


[edit]
PS
Davon mal abgesehen, wird bis auf weiteres wohl eh die avg FPS mit angezeigt. :)

[1668.mib]

Hmm, naja der Anstieg war um 25% von 25%->auf->31% - nicht die absoluten Werte; also sozusagen Prozentprozent :) Evtl. ist es auch ein Fehler, aber so kann man es sich auch zurechtbiegen :D
Das wurde bestimmt schon erklärt, aber ich tu's nochmal: Der Satz gibt schon Sinn, wenn man anfängt nachzudenken, was % heißt ^^.

Der Ansteig um 25% von 25% sind dann tatsächlich 25/4 Prozentpunkte.
Übersetzt heißt "25% von 25%" mathematisch: 25/100 * 25/100 und das sind 625/10000 oder auch 6,25%.

Stände da "der Anstieg von 25% von 25 Äpfel auf 31 Äpfel", da hätte keiner Probleme gehabt.

Der Satz ist also absolut korrekt, wenn auch unglücklich ausgedrückt.

[avalanche]

Kk, wenn man darauf aus ist ein Mal einen Wort-Case zu messen, dann macht eine "wie oft/lange" Angabe natürlich keinen Sinn.
Die avg FPS haben praktisch überhaupt keine verläßliche Aussagekraft (außer als eingeschränkten Direktvergleich).In einer Mini-TD, in der ein Mal der Worst-Case vorkommt und sonst nix los is, haben die avg. Fps keine Aussagekraft. Das seh ich genauso.

In einer Timedemo, in der auch ein paar Mal der Worst Case enthalten ist und die insgesamt ein für das Spiel repräsentatives Geschehen zeigt, ist die durchschnittliche Performance aber schon wichtig. Und dann ist es auch wichtig, wie oft ich pro Zeit mit dem Worst Case genervt werde.

Die Frage ist, was man will: Wenn man zeigen will, wie "schlimm" der Worst Case ist, dann sollte man das, wie du das auch im Artikel gemacht hast, messen. Ich finde das auch völlig in Ordnung so.
Wenn man allgemein testen will, wie sich Hardware in einem bestimmten Spiel verhält und nicht nur darauf aus ist, den Worst Case darzustellen, dann braucht man sowohl eine Auskunft über die durchschnittliche Performance (avg. Fps), als auch eine Auskunft über den Worst Case und wie oft Letzterer auftritt (setzt natürlich eine representative Timedemo voraus). Das wollte ich einfach nur feststellen. Das war überhaupt keine Kritik am Artikel - dass du eben "nur" den Worst Case bzw. dessen mögliche Abweichung von den avg. Fps darstellen wolltest, hatte auch ich begriffen ;)

[Gast]

Das mit der GraKa-Limitierung halte ich auch für sehr unwahrscheinlich.
Ich hatte mal beim 3DMurks2005 Fraps mitlaufen lassen, und hatte am Schluß 30 Punkte (also ca 0.5%) weniger.
Daß aber nV mit Fraps nicht zurecht kommt, wäre mir neu...
Bist du dir sicher, daß bei dir alles andere einwandfrei gelaufen ist?
Nicht daß es ein Softwareproblem o.ä. war...


ich hab gerade nochmal mit fraps 2.5 getestet und habe auch keine nennenswerte unterschiede feststellen können. damals hatte ich noch eine ältere version verwendet (keine ahnung welche, ich hab das teil sofort wieder gelöscht als ich den riesen einbruch gesehen habe).

vielleicht ein ungünstiges zusammentreffen zwischen treiber, fraps-version und ähnlichen, aber wohl nicht repräsentativ. (auch wenn ich von einigen anderen auch von recht starken einbrüchen gehört habe, auch wenn diese "nur" 10-20% waren)


IMO nicht geeignet.
Da sind sogar avg FPS besser geeignet, weil damit wenigstens noch halbwegs die Ergebnisse mit anderen Settings/Hardware verglichen werden können.
Bei einem Timedemo mit nur wenigen Ausreißern nach unten, würde dann bei selben Settings die größere Power einer schnelleren CPU oder GraKa größtenteils egalisiert.


aber genau das ist doch imo der sinn der sache. der test soll zeigen ab welcher hardware ein spiel mit gewissen settings perfekt spielbar ist, dass das ganze mit noch schnellerer hardware auch gleich gut läuft ist doch klar, nur habe ich wie gesagt von der höheren framerate in dem fall nichts.

wenn man unbedingt unterschiede aufzeigen will, muss man halt die settings entsprechend noch höher (so lange sie im sinnvollen rahmen bleiben) stellen oder aber das fazit ziehen das spiel x ab der grafikkarte y zusammen mit prozessor z perfekt spielbar ist.

wenn ich "nur" zeigen will welche hardware schneller ist, reichen die durchschnittlichen FPS absolut aus, denn auch dort wird die schnellere hardware schneller sein, wenn der unterschied vielleicht nicht so groß ausfällt (man muss einen geringeren unterschied dann halt stärker bewerten)

wenn ich allerdings "nur" die spielbarkeit testen will reicht der framelock aber imo daus, denn wenn ich sowohl mit der schnellen als auch mit der langsamen hardware 60+fps habe (nach abschneiden der ausreißer nach oben) dann müssen beide eben für diesen fall gleich gut bewertet werden.

[sloth9]

..in dem Timedemo...

=> in *der* Timedemo; von wegen weiblöich und so

[sirwuffi]

also ich finde die kritik an den average frames benchmarks etwas unangemessen:
die ganzen 3dmarks sind ja nicht dazugedacht, die versch. treiber-versionen untereinander auf ihre leistung in spielen zu vergleichen, sondern die leistung verschiedener grafikkarten untereinander.

wenn man die spieletauglichkeit testen will muss man halt sowas bemühen wie den valve stress test für cs:s. da werden die entwickler schon brauchbare situationen gewählt haben. außerdem sind die minframes vergleiche teilweise sehr wenig aussagekräftig wenn es bestimmte engines oder schlecht programmierte/optimierte spielabschnitte geht. was hilft mir es zu wissen, dass ich dreimal in einem spiel abschnitt für ne albe sekunde unter 5 frames hab aber sonst immer >50. andererseits die minframes bei 17 liegen, aber auch nie mehr als 20 hab.

außerdem glaube ich der artikelschreiber unterschätzt da die spiele/benchmark entwickler. die werden bei ihren produkten wohl kaum einfach das bench ergebnis als durchschnitts wertberechnen. da wird wohl ein bißchen mehr und kompliziertere mathematik/statistik dahinter stecken.

gruß
sirwuffi

[BlackBirdSR]

außerdem glaube ich der artikelschreiber unterschätzt da die spiele/benchmark entwickler. die werden bei ihren produkten wohl kaum einfach das bench ergebnis als durchschnitts wertberechnen. da wird wohl ein bißchen mehr und kompliziertere mathematik/statistik dahinter stecken.

gruß
sirwuffi

Leider doch.
In den meisten Fällen sind die Ergebnisse wirklich so simpel und Inhaltslos.
Dazu kommt, dass in vielen Timedemos/Spielen KI, Sound und Physikberechnungen fast vollständig entfallen.

Warum Zeit in eine komplexe Benchmarkfunktion stecken, wenn man das eigentliche Spiel schon nicht fertig ausliefern kann (z.B Koto2)

[mapel110]

Leider doch.
In den meisten Fällen sind die Ergebnisse wirklich so simpel und Inhaltslos.
Dazu kommt, dass in vielen Timedemos/Spielen KI, Sound und Physikberechnungen fast vollständig entfallen.

Warum Zeit in eine komplexe Benchmarkfunktion stecken, wenn man das eigentliche Spiel schon nicht fertig ausliefern kann (z.B Koto2)

Ich denke mal, die meisten Games haben vornherein für die Entwickler zahlreiche Ausgabevariablen, eben damit sie die Performance überwachen können. Beim Level bauen muss man schließlich wissen, was eben noch flüssig läuft und was nicht. Und einige Tests mit unterschiedlichen Grakas werden sicher auch gefahren.
So großen Aufwand sehe ich da nicht.

[Piffan]

=> in *der* Timedemo; von wegen weiblöich und so

Wenn schon englisch, dann richtig. Und da kann ich der, die oder das sagen! Oder in deutsch, dann ist es DIE Zeitdemonstration. ;)

[sloth9]

Wenn schon englisch, dann richtig. Und da kann ich der, die oder das sagen! Oder in deutsch, dann ist es DIE Zeitdemonstration. ;)

Englisch: the timedemo
Deutsch: die Timedemo

[Gast]

Interessanter als Durchschnitts-FPS wäre die Angabe von Minimum UND Durchschnitts-FPS.

[Madkiller]

Interessanter als Durchschnitts-FPS wäre die Angabe von Minimum UND Durchschnitts-FPS.
Ich kann mir nicht vorstellen, daß in absehbarer Zeit die avg FPS nicht mehr angezeigt werden...
Einmal sind sie heutzutage völlig üblich und zum anderen spukt eh jedes Benchprogramm die avg Werte aus, warum also beim Artikel weglassen? :)

[Gast]

Hallo,

hat einer ein Rennen gefahren und mit FRAPS dann analysiert?
Oder hat GTR eine versteckte Benchmarkfunktion?

Danke schon einmal.

Tschau
Mr. Teflon

[zeckensack]

Da kann ich nur zustimmen. Prinzipiell finde ich Euer Vorhaben gut. Und im Artikel steht ja, dass die vorgestellte Methode nur ein Vorschlag sein soll. Wenn Ihr das aber Hieb- und Stichfest machen wollt, dann müsst Ihr fundierte und in der (Statistik-)Fachwelt anerkannte Methoden anwenden.Die Methodik des Artikels ist auf jeden Fall besser als die übliche Mittelwert-Bildung.
Auch wenn das ganze aus der Sicht von Vollzeit-Profi-Übermenschen-Statistikern Lari-Fari sein sollte, so müssten eben diese trotzdem einsehen können, dass Mittelwerte noch viel größerer Mumpitz sind.

Von daher verstehe ich deinen Einwand nicht wirklich.

Seit Jahrzenten benutzt die Industrie Benchmarkmethoden die sich auch ein Grundschüler hätte ausdenken können. Kaum macht es mal jemand besser, wird bemängelt dass es nicht fundiert genug ist. Auch wenn hier keine Perfektion erreicht wurde, ist dies kein Grund das Ergebnis abzuwerten oder nicht zu veröffentlichen.

[Gast]

Die Methodik des Artikels ist auf jeden Fall besser als die übliche Mittelwert-Bildung.
Auch wenn das ganze aus der Sicht von Vollzeit-Profi-Übermenschen-Statistikern Lari-Fari sein sollte, so müssten eben diese trotzdem einsehen können, dass Mittelwerte noch viel größerer Mumpitz sind.

Von daher verstehe ich deinen Einwand nicht wirklich.

Seit Jahrzenten benutzt die Industrie Benchmarkmethoden die sich auch ein Grundschüler hätte ausdenken können. Kaum macht es mal jemand besser, wird bemängelt dass es nicht fundiert genug ist. Auch wenn hier keine Perfektion erreicht wurde, ist dies kein Grund das Ergebnis abzuwerten oder nicht zu veröffentlichen.
Wahre Worte. Ich finde ebenfalls, dass man so einen Artikel mit Kusshand nehmen sollte und sich klar machen sollte, was das für ein Schritt ist zu den üblichen 08/15 Benchmarks der letzten Jahre.

Also bitte Kritik nur bei Stillstand melden und nicht, wenn etwas schonmal einen signifikanten Fortschritt darstellt! :nono:

[StefanV]

Sehr interessanter und intelligenter Artikel... aber mein Kritikpunkt ist die Präsentation der Informationen. Man sieht in solchen FPS-Diagrammen auf den ersten Blick einfach fast garnichts:
http://www.christophneumueller.at/files/graf1.gif

Warum werden die FPS-Werte nicht einfach sortiert und dann erst in einem Diagramm ausgegeben.
zb. so:
http://www.christophneumueller.at/files/graf2.gif

Hier würde man auf den ersten Blick sehen, wieviel vom Spiel (Benschmark) im unspielbaren bzw im Spielbaren Bereich war. Außerdem würde man auch sofort sehn wie gleichmäßig die Hardware rendert (flachere Kurve).

Man könnte zb. auch angeben wieviel % vom Benchmark im unspielbaren Bereich von <40 fps sind.

MfG
Discostu
Ganz einfach:

Das erste Diagramm ist ein korrektes FPS zu Zeit Diagramm.

Das 2. ist einfach nur Mumpitz und sagt rein garnichts aus, man könnt gar sagen, das es verfälscht wäre, für 'Richtige' Einsatzzwecke unbrauchbar, daher nimmt man lieber das erste, dann weiß man, wann, wo, wie das eingebrochen ist, wenn man die Timedemo hat...

[Madkiller]

Hallo,

hat einer ein Rennen gefahren und mit FRAPS dann analysiert?
Oder hat GTR eine versteckte Benchmarkfunktion?

Danke schon einmal.

Tschau
Mr. Teflon
Jap, es wurde ein Rennen mit der im Spiel integrierten Funktion aufgezeichnet und dann abgespielt.

[noid]

Ganz einfach:

Das erste Diagramm ist ein korrektes FPS zu Zeit Diagramm.

Das 2. ist einfach nur Mumpitz und sagt rein garnichts aus, man könnt gar sagen, das es verfälscht wäre, für 'Richtige' Einsatzzwecke unbrauchbar, daher nimmt man lieber das erste, dann weiß man, wann, wo, wie das eingebrochen ist, wenn man die Timedemo hat...

nenn mir einen grund? man sieht recht gut, dass es bei ca 20% der timedemo unspielbar gewesen wäre, und wie hoch die abweichungen nach unten und oben sind. ist zwar statistisch nicht korrekt - aber besser als einen zeitverlauf (den man natürlich auch betrachten sollte, um herauszufinden an welchen stellen die einbrüche auftreten - und dann herauszufinden warum).

[Gast]

Hallo,

Jap, es wurde ein Rennen mit der im Spiel integrierten Funktion aufgezeichnet und dann abgespielt.

Danke für die Info. GTR rechnet also das Rennen nochmal neu beim abspielen?
Das ist interessant. Ich dachte es greift auf fertige Daten zurück. Denn ich hatte den Eindruck vor meinem CPU Wechsel lief das Video flüssiger als das Rennen selbst. Das ist meine Erfahrung mit GTR.

Tschau
Mr. Teflon

[Madkiller]

Ich dachte es greift auf fertige Daten zurück.
Die "Eckdaten" (also was genau geschehen wird, wo welches Auto ist, etc.) sind schon fertig. Aber die Darstellung wird neu berechnet.
So ist es aber bei praktisch jeder Timedemo. In den wenigsten Fällen wird KI/Physik neu berechnet.

Eine ähnliche Situation wenn man auch spielt sollte also ein wenig langsamer sein. Aber normal nicht spürbar.
Wenn du sagst, daß dir das Replay flüssiger vorkam sollte es daran liegen, daß man als Spieler anfälliger gegenüber wenigen FPS ist, als als Zuschauer. :)

[sloth9]

Die "Eckdaten" (also was genau geschehen wird, wo welches Auto ist, etc.) sind schon fertig. Aber die Darstellung wird neu berechnet.
So ist es aber bei praktisch jeder Timedemo. In den wenigsten Fällen wird KI/Physik neu berechnet....


Ausser WC3 z.B. Warum verwendet das keiner in Benchmarks? Immerhin die RTS-Referenz!

[Madkiller]

Ich habe meinen ersten Post (http://www.forum-3dcenter.org/vbulletin/showpost.php?p=2913121&postcount=4) noch um etwas erweitert, was den Einen oder Anderen interessieren könnte. :)

[Gast]

Mich würden jetzt einmal die die Werte der allseits so beliebten 6600GT interessieren.

Grundsätzlich eine NETTE Idee der Artikel, aber dass gerade hier so ein Artikel entworfen wird, ist verwunderlich ;)

[Xmas]

nenn mir einen grund? man sieht recht gut, dass es bei ca 20% der timedemo unspielbar gewesen wäre, und wie hoch die abweichungen nach unten und oben sind. ist zwar statistisch nicht korrekt - aber besser als einen zeitverlauf (den man natürlich auch betrachten sollte, um herauszufinden an welchen stellen die einbrüche auftreten - und dann herauszufinden warum).
Ich finde den Zeitverlauf besser, denn er enthält deutlich mehr Informationen. Und man sieht auch dort, wie oft die Framerate ins Unspielbare absackt. Immer vorausgesetzt natürlich, dass das Diagramm nicht mit mehreren Verläufen überladen ist und die Farben ordentlich gewählt sind.

[Quad-U]

Die Methodik des Artikels ist auf jeden Fall besser als die übliche Mittelwert-Bildung.
Auch wenn das ganze aus der Sicht von Vollzeit-Profi-Übermenschen-Statistikern Lari-Fari sein sollte, so müssten eben diese trotzdem einsehen können, dass Mittelwerte noch viel größerer Mumpitz sind.

Von daher verstehe ich deinen Einwand nicht wirklich.

Seit Jahrzenten benutzt die Industrie Benchmarkmethoden die sich auch ein Grundschüler hätte ausdenken können. Kaum macht es mal jemand besser, wird bemängelt dass es nicht fundiert genug ist. Auch wenn hier keine Perfektion erreicht wurde, ist dies kein Grund das Ergebnis abzuwerten oder nicht zu veröffentlichen.

O.K., o.k.! ;( Ich bin auch dankbar für diesen min-fps-Artikel, ganz nach dem Motto: bringen wir den Stein ins Rollen. Dazu musste er ja logischerweise veröffentlicht werden. Und solange keiner 'was besseres bringt, können wir auch bei der Methode bleiben. Insofern halte ich sie für so gut, dass man eine ordentliche Aussage bekommt. Aber irgendwann, in ferner Zukunft :wink: , können wir ja mal über einen weiteren Schritt nachdenken, einverstanden?

[GloomY]

Wie wär's denn mit dem geometrischen Mittel statt des arithmetischen? SPEC-Int 2000 und SPEC-FP 2000 Benchmarks verwenden dies schon seit langem, um große Ausreisser nach oben nicht zu stark zu gewichten und große Ausreisser nach unten stärker zu bestrafen. Das ist doch im Prinzip das, was man hier benötigt. =)

Da muss man dann auch nicht mit so Zeugs wie "Standardabweichung" ankommen, auch wenn das sicher eine gute Idee ist.


edit: Nur mal zur Veranschauung ein paar Beispiele:

10 Sekunden gemessen, wobei 9 mal 100 fps und einmal 1 fps gemessen wurde (extremes Beispiel).

arithmetisches Mittel: 90,1 fps
geometrisches Mittel: 63,1 fps

Die einmalige Abweichung nach unten wird sehr stark bestraft im Gegensatz zum arithmetischen Mittel.


anderes Beispiel:
10 Sekunden gemessen, wobei 9 mal 10 fps und einmal 200 fps gemessen wurden.

arithmetisches Mittel: 29,0 fps
geometrisches Mittel: 13,5 fps

Das geometrische Mittel gibt hier weitaus besser wieder, dass das Spiel mit diesen Framerates schlichtweg unspielbar ist. :)

[zeckensack]

O.K., o.k.! ;( Ich bin auch dankbar für diesen min-fps-Artikel, ganz nach dem Motto: bringen wir den Stein ins Rollen. Dazu musste er ja logischerweise veröffentlicht werden. Und solange keiner 'was besseres bringt, können wir auch bei der Methode bleiben. Insofern halte ich sie für so gut, dass man eine ordentliche Aussage bekommt. Aber irgendwann, in ferner Zukunft :wink: , können wir ja mal über einen weiteren Schritt nachdenken, einverstanden?Klar :)

[Picknatari]

Hallo,

ersteinmal muss ich mich an das allgemeine Lob anschliessen. Ein Artikel der hoffentlich dazu beiträgt, dass Benchmarks aussagekräftiger werden.

Aber wenn man hier versucht der "absoluten Wahrheit" auf den Grund zugehen, wird man nur mit der Grafik- und CPU Leistung nicht gerecht. Auch die Soundqualität spielt eine grosse Rolle.

Hier möchte ich nur ein ein Spiel nennen: FarCry. Wenn ich hier bei höchster Soundqualität spiele (Audigy2 ZS), gibt es in manchen Leveln schon brutale FPS Einbrüche (ganz eklatant am Lavaberg):, je nach Soundeinstellung Schwankunken zwischen 10 (max Sound) und 36 (min Sound) fps.

Ok, in dem Bericht liegt der Focus auf Graka und CPU, aber keiner spielt doch ein Spiel ohne Sound, oder? Ich habe hier noch keine großen Vergleich gemacht, jedoch gibts auch große Unterschiede, wenn man BFV online spielt. Mit EAX 3.0 voll das Hackern, mit Miles2D alles wie Butter. Klar sind CPU und Graka die wichtigen Faktoren, jedoch wäre evtl. der Einfluß der Soundeinstellungen auf Benchmarks auch eine für User interessante Größe.

MfG,
Picknatari

[Madkiller]

Ok, in dem Bericht liegt der Focus auf Graka und CPU, aber keiner spielt doch ein Spiel ohne Sound, oder?
Alle Spiele wurden mit 5.1 Sound gebencht allerdings ohne EAX. :)
Ok, bis auf Doom3, aber selbst da wirkt es sich auf die Geschwindigkeit aus, ob man eine Onboard-Soundkarte oder eine Audigy 2 hat.

[GloomY]

Will sich niemand zu meinem Vorschlag der Benutzung des geometrischen Mittels äußern? Imho wäre das eine sehr gute Möglichkeit, hier den Problemen effizient zu begegnen. =)

[Madkiller]

Will sich niemand zu meinem Vorschlag der Benutzung des geometrischen Mittels äußern? Imho wäre das eine sehr gute Möglichkeit, hier den Problemen effizient zu begegnen. =)
http://www.forum-3dcenter.org/vbulletin/showpost.php?p=2919916&postcount=90
srykthx ;(

[Gast]

Vielen Dank an Madkiller für die GTR Benchmarkerklärung.

Tschau
Mr. Teflon

[GloomY]

http://www.forum-3dcenter.org/vbulletin/showpost.php?p=2919916&postcount=90
srykthx ;(Hmm. Ich meckere ungern, aber wo bist du da genau auf die unterschiedliche Mittelwertbildung eingegangen? :)

[Madkiller]

Hmm. Ich meckere ungern, aber wo bist du da genau auf die unterschiedliche Mittelwertbildung eingegangen? :)
Bin ich nicht... aber darauf wollte ich im Prinzip hinaus. :)

Klar, mit deinem geometrischem Mittel hätten die Werte IMO eine größere Aussagekraft ggü dem arithmetischen.
Trotzdem ist auch das geometrische Mittel ein gewisser Durchschnittswert und auf durchschnittliche Angaben möchte ich persönlich so weit wie möglich verzichten - wie ich in meinem verlinktem Post andeutete/erklärte. :)

[GloomY]

Klar, mit deinem geometrischem Mittel hätten die Werte IMO eine größere Aussagekraft ggü dem arithmetischen.Das wäre doch zuindest ein Grund das mal auszuprobieren.
Trotzdem ist auch das geometrische Mittel ein gewisser Durchschnittswert und auf durchschnittliche Angaben möchte ich persönlich so weit wie möglich verzichten - wie ich in meinem verlinktem Post andeutete/erklärte. :)Auf den Durchschnitt kannst du keinesfalls verzichten, willst du denn eine Aussage über die generelle Leistungsfähigkeit erhalten. Zusammen mit dem Min-FPS Wert kann man dann die Spielbarkeit beurteilen.

Spielbarkeit und Leistungsfähigkeit sind aber imho zwei paar Schuhe. Ein Spiel kann auf zwei Grakas durchaus spielbar sein, obwohl sich die Leistungsfähigkeit stark unterscheided. Man kann imho daher nicht auf einen Durchschnittswert verzichten. Daher wäre eben eine andere als die arithmetische Durchschnittsberechnung sinnvoll - eben z.B. das geometrische Mittel.
Wie erwähnt wird das ja eben schon bei Industrie-weit anerkannten Benchmarks wie SPEC-INT 2000 und SPEC-FP 2000 verwendet. =)

[PCGH_Thilo]

die beste methode zum
benchen hat imo immer noch
halo pc.

dort bekommt man am ende
ne auswertung in fps bereichen
angezeigt in %.

also zb von 15 bis 25 fps: 23%
der zeit

<15 fps: 2%

usw....

so kann man sofort sehen
welcher bereich einem wichtig
ist und welche maßnahme die
niedrigen bereiche am besten
verringert, sprich höhere min fps.

mit fraps kann man ja ganz
leicht genug meßwerte bekommen
und sich dann ne schöne grafik
machen.

sinnvolle bereiche wären imo:

<20fps (unspielbar)
20fps bis 30fps (single player minimum)
30fps bis 45fps (sp angenehm)
45fps bis 60fps (sp smooth)
>60fps (praise the lord, halleluja) ;D

hiho,

PCGH macht diese Einteilung von schlecht spielbar, bedingt spielbar und gut spielbar ja schon seit jahren in den benchmarks.

nach meiner erfahrung kann man diese fps-schmerzgrenzen aber nicht pauschal festlegen, sondern muss das spiel berücksichtigen. bei gothic 2 verlaufen die spielbarkeitsgrenzen subjektiv einfach anders als bei half-life 2. will sagen: bei gothic 2 gewöhnt man sich irgendwann daran, dass man keine 50 fps bekommt in den städten. es wird also nicht mehr als störend wahrgenommen, wenn man nur 20 fps hat. bei hl2 ist das sicher anders. da sind 20 fps als "current framerate" einfach inakzeptabel.

aber ja, die stats im halo-benchmark sind schon sehr gut. =)

[PCGH_Thilo]

Link:
http://www.3dcenter.org/artikel/average_fps/



Bin sehr gespannt auf die Reaktionen.



PS: Es sind noch einige Schreibfehler drin. Die fixe ich morgen früh!

ganz klar ein schritt in die korrekte richtung ;-)

passenderweise (und völlig unabhängig von diesem artikel) haben wir was ähnliches in der kommenden pcgh. und minimum fps machen wir jetzt seit 2-3 ausgabe zusätzlich zu average fps. ausgereift ist das ganze noch nicht (messmethoden, timedemo versus real game, statistik, auswertung, präsentation usw.), aber man muss halt mal nen anfang machen.

wobei ich persönlich ein zweites wichtiges thema in dem zusammenhang sehe:

timedemos - wirklich das maß aller dinge?

weil: wenn man ernsthaft minimum fps als maßstab forcieren will, sollte man IMHO weg von timedemos ohne physik, KI usw. gehen. es geht ja im wesentlichen um die abbildung der "real life" performance. dazu gehört neben den nervigen rucklern (was sich ja oft nur in minimum fps-werten äußert) IMHO auch, dass die genannten performance-faktoren mit berücksichtigt kommen. natürlich ist da der zufällige charakter ein echtes problem ;-)

[tombman]

hiho,

PCGH macht diese Einteilung von schlecht spielbar, bedingt spielbar und gut spielbar ja schon seit jahren in den benchmarks.

nach meiner erfahrung kann man diese fps-schmerzgrenzen aber nicht pauschal festlegen, sondern muss das spiel berücksichtigen. bei gothic 2 verlaufen die spielbarkeitsgrenzen subjektiv einfach anders als bei half-life 2. will sagen: bei gothic 2 gewöhnt man sich irgendwann daran, dass man keine 50 fps bekommt in den städten. es wird also nicht mehr als störend wahrgenommen, wenn man nur 20 fps hat. bei hl2 ist das sicher anders. da sind 20 fps als "current framerate" einfach inakzeptabel.

aber ja, die stats im halo-benchmark sind schon sehr gut. =)

Naja, also ICH spiel Gothic II erst wieder weiter wenn ich meine vapo ls wieder draufhabe, weil UNTER 20 fps möchte ich eben nie kommen (maximale Details und Sichtweite) ;) Bei mir sind diese Grenzen also schon irgendwie fix :)

[Wolfram]

wobei ich persönlich ein zweites wichtiges thema in dem zusammenhang sehe:

timedemos - wirklich das maß aller dinge?

weil: wenn man ernsthaft minimum fps als maßstab forcieren will, sollte man IMHO weg von timedemos ohne physik, KI usw. gehen. es geht ja im wesentlichen um die abbildung der "real life" performance. dazu gehört neben den nervigen rucklern (was sich ja oft nur in minimum fps-werten äußert) IMHO auch, dass die genannten performance-faktoren mit berücksichtigt kommen. natürlich ist da der zufällige charakter ein echtes problem ;-)
Dann macht doch so etwas wie die Doom3-Leveldurchläufe bei HardOCP, am besten wie dort mit Diagrammdarstellung. Dadurch kann ich mir ein viel genaueres Performance-Bild machen. Und: Ein Level-Durchlauf ist ja ein reales Spiel. Näher dran geht's nicht.

Auf exakte fps-Zahlen kommt es IMO eh nicht an (da hat zeckensack in seinem Deltachrome-Review zB ja auch durch Rundung entgegengearbeitet). Nennen könnt Ihr sie ja trotzdem,neben den Level-Durchläufen.

[Madkiller]

Das wäre doch zuindest ein Grund das mal auszuprobieren.
Prinzipiell? Natürlich.
Aber die normalen avg FPS müßte man fast mit angeben, um damit auch die Resultate der min FPS direkt vergleichen zu können, und als Anhaltspunkt, weil praktisch alle Tests mit den avg FPS arbeiten.
Das wären dann aber mit den min FPS schon 3 Ergebnisse pro Durchlauf.
Und ich befürchte, daß zu viele Ergebnisse gerade die die sich noch nicht so gut mit der Materie auskennen, verwirren würde.


Auf den Durchschnitt kannst du keinesfalls verzichten, willst du denn eine Aussage über die generelle Leistungsfähigkeit erhalten.
... nur wen interessiert die "generelle Leistungsfähigkeit"? :)

Mich interessiert es ehrlich gesagt ziemlich wenig, ob ich in einer durchschnittlichen Szene 2x oder 5x so viele FPS habe, wie in einer halbwegs fordernden und auch authentischen Szene, nach der man ja seine Spielesettings auswählen sollte wenn man diese auch flüssig spielen will.
Und wenn ich in der fordernden Szene noch mehr als genügend FPS habe, so weiß ich wenigstens, daß ich meine Details und/oder Auflösung, AF und FSAA noch erhöhen kann.


Spielbarkeit und Leistungsfähigkeit sind aber imho zwei paar Schuhe.
Habe ich das Eine mit dem Anderen etwa irgendwo gleichgesetzt?
Ich hoffe doch nicht, wenn schon, zeig mir bitte die Stelle und ich editiere sie.



Ein Spiel kann auf zwei Grakas durchaus spielbar sein, obwohl sich die Leistungsfähigkeit stark unterscheided.
Ist klar...


Man kann imho daher nicht auf einen Durchschnittswert verzichten.
Bei Spielen?
IMO sehr wohl.
Gerade weil jedes Timedemo anders ist, ist auch eine Vergleichbarkeit noch am ehesten durch die min FPS gewährleistet (wie ich schon erwähnt hatte) solange eine möglichst authentische und fordernde Szene enthalten ist.




Wie erwähnt wird das ja eben schon bei Industrie-weit anerkannten Benchmarks wie SPEC-INT 2000 und SPEC-FP 2000 verwendet.
Bei denen fehlt aber schonmal ein weiterer ausschlagkräftiger Faktor... Die Grafikkarte.
...und bei Spielen kommt noch mit dazu, daß höhere FPS ab einem gewissen Niveau schlicht uninteressant werden.

Ich hoffe nur mal, daß wir Zwei nicht aneinander vorbeireden. :)

[GloomY]

Prinzipiell? Natürlich.
Aber die normalen avg FPS müßte man fast mit angeben, um damit auch die Resultate der min FPS direkt vergleichen zu können, und als Anhaltspunkt, weil praktisch alle Tests mit den avg FPS arbeiten.
Das wären dann aber mit den min FPS schon 3 Ergebnisse pro Durchlauf.
Und ich befürchte, daß zu viele Ergebnisse gerade die die sich noch nicht so gut mit der Materie auskennen, verwirren würde.Ich denke, dass man auf einen Mittelwert nicht verzichten kann, aber anstelle des arithmetischen eben das geometrische verwenden sollte. Minimum Fps sind in jedem Fall zusätzlich interessant. :)
... nur wen interessiert die "generelle Leistungsfähigkeit"? :)

Mich interessiert es ehrlich gesagt ziemlich wenig, ob ich in einer durchschnittlichen Szene 2x oder 5x so viele FPS habe, wie in einer halbwegs fordernden und auch authentischen Szene, nach der man ja seine Spielesettings auswählen sollte wenn man diese auch flüssig spielen will.
Und wenn ich in der fordernden Szene noch mehr als genügend FPS habe, so weiß ich wenigstens, daß ich meine Details und/oder Auflösung, AF und FSAA noch erhöhen kann.Was die Spielenbarkeit angeht, so kann ich dir zustimmen. Ab einer gewissen FPS Anzahl läuft es einfach flüssig und mehr als flüssig geht einfach nicht. Solange man mit dem minimalen FPS Wert darüber bleibt, ist Spielbarkeit gegeben.

Trotzdem ist es - davon abgesehen - aus architektur-analytischer Sicht (<- was für ein Wort ;) ) trotzdem interessant, wie denn die generelle Leistungsfähigkeit aussieht.
Ich bin mir jetzt nicht ganz sicher, aber ich behaupte jetzt mal, dass die meisten Stellen, in denen die FPS einbrechen speicherbandbreitenlimitiert sind (zumindest in älteren Spielen) und nicht Füllraten- (bzw. Pixelshader-)limitiert (von Vertex-Shader oder CPU-limitierung mal abgesehen). Wenn man dann z.B. eine Radeon 9800SE mit 4 Pipes und 256 Bit Speicherinterface und eine Radeon 9500 Pro mit 8 Pipes und 128 Bit Speicherinterface betrachtet, dann dürfte die 9800SE bei der alleinigen Betrachtung der minimalen FPS überdurchschnittlich gut wegkommen, weil sie wesentlich mehr Speicherbandbreite pro Füllrate zur Verfügung hat. Im Schnitt ist aber die 9500 PRO vielleicht besser.

Das reine Verwenden der minimalen FPS würde der 9800SE also einen Vorteil bei der Bewertung geben, während dies im Schnitt (egal ob nun arithmetisch oder geometrisch) nicht der Fall sein muss.

Sollte meine obige Behauptung falsch sein und Füllratenlimitierung vorliegen, so gilt die Schlussfolgerung entsprechend mit vertauschten Rollen zwischen 9800SE und 9500 PRO.
Habe ich das Eine mit dem Anderen etwa irgendwo gleichgesetzt?
Ich hoffe doch nicht, wenn schon, zeig mir bitte die Stelle und ich editiere sie.Nein. Ich wollte das nur nochmal klar zum Ausdruck bringen, dass diese beiden Aspekte nicht miteinander vermischt werden sollten.
Bei Spielen?
IMO sehr wohl.
Gerade weil jedes Timedemo anders ist, ist auch eine Vergleichbarkeit noch am ehesten durch die min FPS gewährleistet (wie ich schon erwähnt hatte) solange eine möglichst authentische und fordernde Szene enthalten ist.Das ist aber ein generelles Problem von Timedemos. Es ist nicht sichergestellt, dass diese die echten Anforderungen im realen Spielbetrieb widerspiegeln.

Wie gesagt kann man Spielbarkeit durchaus mit den Min-FPS Werten betrachten. Die Leistungsfähigkeit ist imho aber eben noch etwas zusätzliches, was man aus Benchmarks herauslesen können sollte. :)
Bei denen fehlt aber schonmal ein weiterer ausschlagkräftiger Faktor... Die Grafikkarte.Ich habe das Ganze auch eher grundsätzlich betrachtet. Wann immer man Leistungsmessungen irgendeiner Art durchführt, muss man sich diesen hier aufgestellten Fragen bezüglich der Metrik der Leistungsmessung stellen und diese entsprechend dem Problem anpassen.

Ob bei diesen Überlegungen konkret eine Graka dabei ist, spielt nicht wirklich eine Rolle. Viel wichtiger ist eben, dass die gleiche Argumentation für das geometrische Mittel vom SPEC CPU sich 1:1 auf den Fall der Graka-Benchmarks übertragen lässt.
Beim SPEC CPU will man die Leistung messen und dabei keine hochspezialisierten Rechner, die in einer einzigen Aufgabe super sind und sonst grottenschlecht sondern eine ausgewogene Architektur - möglichst ohne größere Schwächen. Das erreicht man, indem man mehrere Tests macht und bei der Mittelung einzelne starke Abweichungen nach oben kaum Beachtung schenkt, nach unten aber stark bestraft.

Und genau das möchte man ja auch für die Graka-Benchs. Dort möchte man nicht, dass während einer kurzen Zeitspanne die FPS stark abfallen. Gleichzeitig ist es fast egal, ob man während einer anderen Zeitspanne nun 200 oder 300 FPS hat. Abweichungen nach oben sind uninteressant.
Ich denke, dass die Analogie klar sein sollte.

...und bei Spielen kommt noch mit dazu, daß höhere FPS ab einem gewissen Niveau schlicht uninteressant werden.Das ist richtig.
Ich hoffe nur mal, daß wir Zwei nicht aneinander vorbeireden. :)Nö, bloss ist unser Blickwinkel etwas unterschiedlich (was imho zu einer durchaus interessanten Diskussion geführt hat :) )

btw: Wenn man natürlich keine über die Messdauer kontinuierlich gemittelten FPS-Werte bekommt, sondern nur am Ende das durchschnittliche Ergebnis (berechnet aus insgesamt gerenderten Frames geteilt durch die gesamte Ausführungszeit), dann kann das geometrische Mittel natürlich nicht verwendet werden :(

[paul.muad.dib]

Ich habe mich jetzt nicht durch den ganzen Thread gequält, deshalb schon mal vorsorglich sorry für Wiederholung.

Die mangelnde Aussagekraft von Durchschnittswerten ist ein altes Statistisches Problem und es gibt viele Lösungen dafür.

Einmal kann man das arithm. Mittel durch den Median ersetzten/ergänzen. Weiterhin gibt es die Möglichkeit Quantile und/oder die Standartabweichung anzugeben.
Außerdem gibt es natülich noch jede Menge Koeffizienten um die Parameter einer Verteilung zu analysieren, z.B. Wölbungs- und Schiefemaße.

Natürlich sollte es auch nicht zu kompliziert sein, wie wäre es z.B. damit, eine Grenze anzugeben, bei der x Prozent der Messwerte darüberliegen.

Beispiel:
Ein System A kann das Spiel Y flüssig darstellen, weil 97% der gemmessenen fps größer als 40 waren.
System B ist weniger leistungsfähig, weil es hier nur 60% waren.

[aths]

Einmal kann man das arithm. Mittel durch den Median ersetzten/ergänzen. Weiterhin gibt es die Möglichkeit Quantile und/oder die Standartabweichung anzugeben.Standardabweichung.

Der Median alleine macht imo wenig Sinn. Der ganze Stastikkram, sagen wir Mittelwert und Standardabweichung (bzw. Varianz) liefert bessere Aussagen – für Leute die wissen, was die Begriffe bedeuten. Sinnvoller wäre imo ein beispielhaftes fps-Diagramm mit Hilfslinien.

[paul.muad.dib]

Standardabweichung.



Mein Standart(d)fehler ;D

Ansonsten: Kommt immer drauf an, wie man es verkauft. Auch afps liegt ja nicht im Erfahrungsbereich des Durchschnittskosumenten. Man muss ja nicht Quantil sagen sondern z.B: "flüssiger Bereich"

[Gast]

die benchmarkfkt von fear bietet einen guten ansatz
nehmne der aver. fps wird auch noch angegeben wie oft die marke von 25 und(ich glaube) 35fps unterschritten wurde

[Chill187]

hi leute

erstmal,sehr interessanter artikel,min. fps waren für mich immer schon das entscheidende,der durchschnitt hat für mich nicht viel zu bedeuten.
ABER was mich ein bischen verwirrt ist die ganze sache mit graka-/ prozi-limitierung.wie soll das funktionieren und warum sollte man games überhaupt limitieren?das schnall ich irgendwie nicht,was is da gemeint?ich hab noch nie was davon gehört... :confused:

THX für Aufklärung

[Kurgan]

hi leute

erstmal,sehr interessanter artikel,min. fps waren für mich immer schon das entscheidende,der durchschnitt hat für mich nicht viel zu bedeuten.
ABER was mich ein bischen verwirrt ist die ganze sache mit graka-/ prozi-limitierung.wie soll das funktionieren und warum sollte man games überhaupt limitieren?das schnall ich irgendwie nicht,was is da gemeint?ich hab noch nie was davon gehört... :confused:

THX für Aufklärung
die games sind nicht limitiert .. die nehmen was sie bekommen können ;)

allerdings ist irgendwann das ende der leistungsfähigkeit der hardware erreicht. entweder kann die graka nicht mehr darstellen, oder der prozzi kann nicht mehr berechnen. das ist mit "graka-" bzw "prozzilimitierung" gemeint.