Treiberoptimierungen für Benchmarks

[dav133]

In Anlehnung an diesen Thread (http://www.forum-3dcenter.de/vbulletin/showthread.php?s=&threadid=121426&highlight=gescheiter+benchmark): Habe neulich in einer PC-Zeitung gelesen, dass nv treiberoptimierungen für den 3d01 rausgebracht hat, der speziell für diesen benchmark abgestimmt war, also das nicht sichrbare Objekte auch nicht gerendert werden und schlechtere QUalität erzwungen wurde. An sich ja nichts neues, nur wenn das zur Regel wird (ATI is da ja auch nicht ganz unschuldig), dann gibts irgendwann mal keinen bench mehr, dem man vertrauen kann! Die 3dc benching philosophie lautet ja, nur zwischensequenzen etc zu benchen, nur is mir das zu aufwendig. Meine Frage: Kann man jetz wirklich keinem Bench mehr trauen oder is das alles gar nicht sooo schlimm?

[Gast]

Becnhmarks die direkt von einem Hersteller gesponsort werden kann man ohnehin nicht trauen (Codecreatures). Wenn beide Hersteller Geld hineinbuttern, kann man sich schon wieder nicht mehr so sicher sein.

Am auffälligsten ists, wenn bei einer neuen Treiberversion, bestimme Flybys/Benchmarks schneller werden, während die Ingamegeschwindigkeit ziemlich gleich bleibt (gabs einmal bei Ut2003)

Man kann aber mittels 3D Analyze zumindest herausfinden, ob applikationsspezifische Optimierungen an den Texturen vorgenommen wurden (Colored Mipmaps). Dinge wie, die 'exe' Datei unbennenen, oder den HW Vendor faken (mittels 3DA) bringt nicht mehr soviel, denn seit dem ATi Q3a Debakel vor ein paar Jahren haben die Herstller dazugelernt, ein bisschen zumindest ;)

Am Besten ist es immernoch selbst erstellte Timedemos zu benchen, denn da ist zumindest die Gefahr gebannt, dass ein Hersteller spezifische Optimierungen einbaut (z.b. Objektculling aufgrund eines fixen, bekannten Kamerapfades. Hier liegts aber auch wieder sehr an der Engine, wie gut der Overdraw im vorhinein minimiert wird, )


Am ehesten kann man demanch Benchmarks trauen die:

1. sonst niemand bencht (z.B. die MS Flight Sim Reihe, oder Sim City).

2. so neu sind, dass noch kein Treiber daraufhin optimiert werden konnte.

3. Einen aktivierbaren Anticheatmechanismus eingebaut haben (z.B. Shadermark), wobei ich mich aufden auch nicht unbedingt verlassen würde.

4. Runningthrough's sind (Methode von HardOCP) wobei aber wieder die Nachvollziebarkeit nicht unbedingt gegeben ist, sofern das spiel keine Demoaufnahmefunktion besitzt.

[Mr. Lolman]

Ich war der Gast

[-error-]

Selber benchen heisst das Zauberwort!

Nachteil: Man hat fast so gut wie keine Vergleichswerte

[dav133]

Original geschrieben von Powerd by ATI
Selber benchen heisst das Zauberwort!

Nachteil: Man hat fast so gut wie keine Vergleichswerte

Naja, ich wollt eigentlich nur meinen catalyst test erneuert durchziehen und da wäre es ungeeigent mit dem 3dmark zu benchen. Findet die die Demos gut (http://www.farb-rausch.de)? Sonst muss ich mir wohl simCity kaufen:D

[Mr. Lolman]

Farbrausch sind genial :up:

[dav133]

Original geschrieben von Mr. Lolman
Farbrausch sind genial :up:

Aribaaaaaaaaaaa endlich was gefunden...:D Haste ne konkrete empfehlung (zB popular demo etc) oder sind alle farbrauschs gut geeigent? Taugt es im SPiel einfach nach nem bestimmten muster rumzurennen und die frames zu ermittteln (Das mit den timedemos is so schwer:down:)?

[Mr. Lolman]

AFAIK ist fr-25 die einzige Farbrauschdemo die eine eingebaute Benchmarkfunktion hat.

Und runningthroughs bleiben am ehesten nachvollziebar, wenn das Spiel immer nach gleichem Prinzip abläuft. (Ist z.B. bei Rennspielen naturgemäß schwieriger als bei 3D-Shootern. ;)) Wenn du aber runningthroughs machst, dann am Besten Spiele die du sehr gut beherrscht, da man solche am ehesten (für sich selbst) nachvollziehbar spielen kann.

Wenn sich die fps bei einzelnen durchläufen zu stark unterscheiden, musst halt z.B. pro Test 3x herumlaufen, und dann den Wert mitteln. HardOCP machts AFAIK auch nicht anders...

[dav133]

Ogay, schon wieder was gelernt:D Sind die farbrausches aussagekräftig oder eher amateurkram? fr-25 nennt sich "popular demo" -> das mit der disco? Man kann die fr's ja auch mit fraps benchen. Muss man gucken wie so ein "runningthrough" abläuft, bzw ob die fps aussagekräftig sind.

[Mr. Lolman]

Amateurkram würd ich das nicht nennen. Schau dir mal die 64kb Demos von Farbrausch an, und wundere dich, was man alles in so ein kleines File reinquetschen kann. Wenn du ohnehin vorhast mit fraps zu benchen, dann schau dir mal die Seite an:
http://awards.scene.org/nominees.php - eine Auswahl der 'besten' Demos von 2003.

Zoom3 (http://www.scene.org/file.php?file=/parties/2003/assembly03/in64/zoom3_v1_02_final.zip&fileinfo) muss man auch gesehen haben, eines der technisch beeindruckendsten 64kb Demos :o

Falls dir das nicht reicht, dann hol dir 100te weitere Grafikdemos von www.scene.org

[dav133]

Davon abgesehen das (bei mir) keiner deiner Links funzt habe ich mich nun für folgende benches entschieden (cat. test):

-upt03
-THPS2 Timedemo
-Serious Sam 1 Timedemo
-fr-25
-commanche 4 zwischensequenz
-bf1942 runningthrough
-archMark

[Mr. Lolman]

Bei mir gehen alle Links :|