PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Benchmarkauswertungen???


Unregistered
2001-06-24, 22:29:58
Hi Benchmarker,
hatte schon länger mal im Sinn folgendes zu schreiben...
Und da hab ich dann diesen thread über min und max fps gelesen...
Nun ich arbeite derzeit in einem Labor das sich mit chemischer Analytik befaßt (wenns genauer interessiert: arbeite mit MALLS, HPCL, GC, CE...).
Bevor ich dort meinen Dienst antrat, hatte ich auch keine Ahnung von Ergebnisauswertung und so... aber mit der Zeit...

Nun meine Schlüsse aus der Arbeit dort, übertragen auf Benchmarking sind folgende.
1. Um einen genaues Ergebnis zu haben muß man den Versuch mind. zweimal machen (zweifachbestimmun), besser drei mal.
Die Ergebnisse dürfen eine gewisse Abweichung nicht überschreiten sonst muß wiederholt werden. (sagen wir mal 2-5%)
2. Es müßte eine Nullmessung durchgeführt werden, oder in der Analytik sowas wie ne baseline messung. Also eine Messung unter bestimmten umständen die einem gewissen spezifizierten Wert entprechen muß, eine Art System Qualification. Also bei ner Grafikkarte, wird zum beispiel noch mit einer sagen wir geforce 1 SDR gegengetestet, oder der ergebniswert der spezifikationen entpricht. (geht natürlich nur wenn man einen spezifizierten Wert für sein spezielles system hat, und ne zb. gf1sdr hat)
3. Zur letztendlichen Auswertung, und das gerade an die macher der Seite! : Euere Datenbank ist super... aber wozu wenn man gerade mal darin suchen kann. Ihr könntet so viel damit machen. Zum Beispiel Vergleiche von Prozessor Taktung mit gleicher Graka, Vergleiche gleicher System - berechnung von Standardabweichungen, sozu sagen wie stark streuen ergebnisse... Statistische Erhebungen wie welche Graka ist bei welchem proz am besten...
Im moment ist das potential wohl kaum ausgelastet und taug mehr dafür dass jemand mit nem teueren system sich profilieren kann... wobei das Benchmarking doch in der Auswertung im Mittelfeld interessanter ist. Wo die Ergebniss dichte hoch ist, und außerdem, ein einzelner Wert von 113fps bei der crusher in 1600x1200, sagt ja wohl gar nichts für den der wirklich an benchmarks interessiert ist.

Diese Dinge nur so als anstoß um mal übers home-benchmarking nachzudenken...
Gruß
Deso

Leonidas
2001-06-26, 14:50:58
Hab den Thread an Pushkin gegeben, der programmiert so was.

Captain America
2001-06-26, 21:13:34
Hi,

hast irgendwie Recht, wir könnten wirklich die Datensätze in neue Kategorien packen. Problematisch hierbei ist, dass die Testsysteme der User immer unterschiedlich sind - es ist also schwer feste Kategorien und damit gradlinige Ergebnissreihen zu produzieren.

Allerdings ist die Bechmark-Datenbank programmiertechnisch eine Schande... Sie ist nicht relational, ist nur eine Tabelle. Stammt eben aus meiner Programmierjugend :D Müsste dringend von Grund auf recodet werden. (Wann? "When it's done!")

Irgend wann mal werd ich das auch machen, dann werde ich auch versuchen sowas ein zu bauen.