Hardocp: ATI-lastig? [Archiv]

Archiv verlassen und diese Seite im Standarddesign anzeigen : Hardocp: ATI-lastig?

Gast

2003-10-23, 20:08:21

Mir ist aufgefallen, daß bei dem Test der NV38 bei Hardocp doch einiges im Argen zu liegen scheint:
Viele FRAPS-Benches (nicht objektiv nachvollziebar)
keine OpenGL Benches (spiegelt nicht reale Gameengine-Häufigkeit wider).

Hier sollte wohl eindeutig die 9800XT gewinnen.
Zumindest schon sehr merkwürdig !!

Godlike

2003-10-23, 20:15:25

Original geschrieben von Gast
Mir ist aufgefallen, daß bei dem Test der NV38 bei Hardocp doch einiges im Argen zu liegen scheint:
Viele FRAPS-Benches (nicht objektiv nachvollziebar)
keine OpenGL Benches (spiegelt nicht reale Gameengine-Häufigkeit wider).

Hier sollte wohl eindeutig die 9800XT gewinnen.
Zumindest schon sehr merkwürdig !!

Log dich zuerst ein, als Gast flamen zeugt net grad von geistigem Niveau...

Mr. Lolman

2003-10-23, 20:18:20

Der Vorteil an Fraps ist, dass sich IHV schwerer tun, auf bestimmte Timedemos zu optimieren (was bei einigen Spielen ziemlich sicher der Fall gewesen sein dürfte).

OpenGL ist auch so eine Sache. Nimmt man das eine Timdemo gewinnt ATi, beim anderen NV. Nimmt man garkeins ists auch nicht gut, dürfte aber nur von Belangen sein, wenn man der Meinung ist, dass ATi in OGl eindeutig langsamer ist, was m.E. aber nicht der Fall ist)

Man kann auch d3d Spiele so auswählen, dass immer nur ein Hersteller vorne zu sehen ist, was aber für FXen seltsam wirken würde, da man kaum neuere Spiele testen dürfte....

mapel110

2003-10-23, 20:40:59

sie haben halt den schwerpunkt auf neuere games gelegt. schliesslich sind die karten brandneu und sollten somit auch aktuelle games darstellen können.
hm, soviel opengl games gibts auch nicht mehr. ist doch nurnoch die quake3 engine und serious sam. codecreatures ist ja wohl generell sinnfrei.

Keel

2003-10-23, 20:43:05

Original geschrieben von Gast
Mir ist aufgefallen, daß bei dem Test der NV38 bei Hardocp doch einiges im Argen zu liegen scheint:
Viele FRAPS-Benches (nicht objektiv nachvollziebar)
keine OpenGL Benches (spiegelt nicht reale Gameengine-Häufigkeit wider).

Hier sollte wohl eindeutig die 9800XT gewinnen.
Zumindest schon sehr merkwürdig !!
[H] war bis vor kurzem absolut nv-lastig.
Das ist Kyles Rache an NV - oder als andere Betrachtungsweise: er schreibt endlich mal die Wahrheit. :D

Dürft ihr sehen wie ihr wollt.

Gast

2003-10-23, 20:59:12

Original geschrieben von Mr. Lolman

Man kann auch d3d Spiele so auswählen, dass immer nur ein Hersteller vorne zu sehen ist, was aber für FXen seltsam wirken würde, da man kaum neuere Spiele testen dürfte....

Tja, welche Aussagekraft haben dann die ganzen Reviews eigentlich noch ????
Unterschiedliche Timedemo-Scripts, weglassen von bestimmten Games beim Benchen, (betrugsanfällige) FRAPS-Benches, Cheats bei bestimmten Anwendungen, etc.

Wenn man sich z.B. die (p)reviews von theinquirer, hothardware und thg (BQ) anschaut bekommt man einen ganz anderen Eindruck, als z.B.bei HardOCP oder tech report.

Wer hat nun Recht, wer nicht.
Auch mit langer analyse teilweise nur schwer zu sagen.
Ich finde, eine wirklich objektive Einschätzung wird immer schwerer, wenn nicht sogar fast unmöglich !!

Mr. Lolman

2003-10-23, 23:52:15

Original geschrieben von Gast
Ich finde, eine wirklich objektive Einschätzung wird immer schwerer, wenn nicht sogar fast unmöglich !!

Stimmt. Wenn man aber in jedem Review das erscheint sich kurz die Benchmarks ankuckt, sollte man als neutrale Person zu dem Eindruck kommen, dass ATi in einigen Games übelst weit vorne war/ist, in anderen natürlich nicht, und in ganz anderen ist auch NV vorne aber nie so übelst weit. Falls doch, ists kein (relevanter) Gamebenchmark. (Das hat sich zwar mit den neuen Detos etwas relativiert, dafür ist das NV AF in meinen Augen auch kein Kaufgrund mehr)

Siehst du wie kompliziert das ist? Da ists einfacher, man orientiert sich an der Bild Qualität, da die Leistung ohnehin sehr ähnlich sein dürfte. (Ich glaube aber nicht, dass der Shadercompiler im Deto wirklich 100%ig rennt, und so muss man bei einem neuen Spiel halt bis zum nächsten geleakten Deto warten.)

Alles in allem kommts mir vor, als wäre man mit einer ATi eher auf der sicheren Seite.

Riptor

2003-10-24, 00:26:06

Original geschrieben von Mr. Lolman
Alles in allem kommts mir vor, als wäre man mit einer ATi eher auf der sicheren Seite.

Wie wahr, wie wahr. Sorry, wenn ich jetzt keinen produktiven Post mehr erstellen kann, aber mein Geburtstag verhindert es. ;) Trotzdem: ATI leistet sich derzeit keinen Patzer, trotzdem wünsch ich mir zwei sehr starke "Gegner", nur so können wir als Kunden davon profitieren! :)

Asuka

2003-10-24, 01:16:11

Original geschrieben von Riptor
Wie wahr, wie wahr. Sorry, wenn ich jetzt keinen produktiven Post mehr erstellen kann, aber mein Geburtstag verhindert es. ;) Trotzdem: ATI leistet sich derzeit keinen Patzer, trotzdem wünsch ich mir zwei sehr starke "Gegner", nur so können wir als Kunden davon profitieren! :) Ja, mit Ati ist man zur Zeit entschieden besser dran!
Will mal hoffen, daß XGI auch richtig Erfolg hat - drei starke Gegner sind natürlich noch besser! :D

btw: :birthday:

mapel110

2003-10-24, 01:21:14

Original geschrieben von Asuka
Ja, mit Ati ist man zur Zeit entschieden besser dran!
Will mal hoffen, daß XGI auch richtig Erfolg hat - drei starke Gegner sind natürlich noch besser! :D

btw: :birthday:

wenn, dann bitte 4. powerVR nicht vergessen :)

:birthday: @riptor

Riptor

2003-10-24, 01:37:50

Original geschrieben von Asuka
btw: :birthday:

Original geschrieben von mapel110
:birthday: @riptor

Original geschrieben von MadManniMan
:birthday: , oh ja!

THX, IHR SEID SO GOIL, auch wenn er am 22. war, aber es hat immer noch derbe Auswirkungen! ;) Musst grad 2 Stunden lang UT2K3 spielen, damit ich nicht wieder zur Flasch greif. :bonk: *EndlichInsBettFall*

MadManniMan

2003-10-24, 01:39:08

:birthday: , oh ja!

Zum Thema: geiles Review, mal ne ganz andere Herangehensweise :up:

2003-10-24, 01:46:51

Nachträglich :birthday: Riptor...

Mr. Lolman

2003-10-24, 01:47:45

Von mir auch :birthday:

kmf

2003-10-24, 02:16:00

:laola:
Kommt jetzt zwar etwas spät, aber auch von mir - Herzlichen Glückwunsch zum Geburtstag. :bier: :party:

Asuka

2003-10-24, 03:25:08

Original geschrieben von Riptor
THX, IHR SEID SO GOIL, auch wenn er am 22. war, aber es hat immer noch derbe Auswirkungen! ;) Musst grad 2 Stunden lang UT2K3 spielen, damit ich nicht wieder zur Flasch greif. :bonk: *EndlichInsBettFall* Nächstens sagste eher Bescheid, dann wird auch rechtzeitig gratuliert ;D

MadManniMan

2003-10-24, 03:34:41

:bonk:

Ich wollte grade fragen, woher wir denn wissen, daß du just Geburtstag hattest :D

...

BTW, gabs hier auch n Topic? :|

Gast

2003-10-24, 09:22:51

Ja, aber das ist langweilig und stinkt!
q@w

PCGH_Thilo

2003-10-24, 09:50:42

Original geschrieben von Gast
Mir ist aufgefallen, daß bei dem Test der NV38 bei Hardocp doch einiges im Argen zu liegen scheint:
Viele FRAPS-Benches (nicht objektiv nachvollziebar)
keine OpenGL Benches (spiegelt nicht reale Gameengine-Häufigkeit wider).

Hier sollte wohl eindeutig die 9800XT gewinnen.
Zumindest schon sehr merkwürdig !!

was ist denn an fraps-benches objektiv nicht nachvollziehbar? wenn ich ne zwischensequenz benche, bekomme ich 100% reproduzierbare werte. nur wenn man wie hardocp teilweise "walkthrus" macht, ist die nachvollzierbarkeit schwierig.

MadManniMan

2003-10-24, 10:57:01

Original geschrieben von PCGH_Thilo
was ist denn an fraps-benches objektiv nicht nachvollziehbar? wenn ich ne zwischensequenz benche, bekomme ich 100% reproduzierbare werte. nur wenn man wie hardocp teilweise "walkthrus" macht, ist die nachvollzierbarkeit schwierig.

...aber wohl viel interessanter, wie ich finde.
Daß es hier nicht auf 2, 3 Frames ankommen sollte, ist klar. Wenn man aber schier ganz andere Verläufe bekommt...

Das ist eh das ideale Benchszenario: die Kurve.

PCGH_Thilo

2003-10-24, 11:16:22

Original geschrieben von MadManniMan
...aber wohl viel interessanter, wie ich finde.
Daß es hier nicht auf 2, 3 Frames ankommen sollte, ist klar. Wenn man aber schier ganz andere Verläufe bekommt...

Das ist eh das ideale Benchszenario: die Kurve.

genau diese kurve halte ich bei einem walkthru für problematisch. da muss man zumindest die spitzen (unten/oben) rausnehmen, weil die ja durchaus von anderen komponenten herrühren können.

einem statistiker dreht es da den magen rum.

MadManniMan

2003-10-24, 12:22:24

Original geschrieben von PCGH_Thilo
genau diese kurve halte ich bei einem walkthru für problematisch. da muss man zumindest die spitzen (unten/oben) rausnehmen, weil die ja durchaus von anderen komponenten herrühren können.

Das ist das Problem, richtig. Dem müßte man entgegenwirken, indem man mehrere Walkthroughs macht und mittelt.

Original geschrieben von PCGH_Thilo
einem statistiker dreht es da den magen rum.

Wohl wahr, aber der Gamer frohlocket!

Mr. Lolman

2003-10-24, 12:33:49

Original geschrieben von PCGH_Thilo
genau diese kurve halte ich bei einem walkthru für problematisch. da muss man zumindest die spitzen (unten/oben) rausnehmen, weil die ja durchaus von anderen komponenten herrühren können.

einem statistiker dreht es da den magen rum.

und wodurch bitte? Wie kann eine GraKa schneller sein als dsie tatsächlich ist? Oder warum sind die Spitzen bei NV durchwegs niedriger. IMHO hat so eine Kurve viel mehr Aussagekraft, als irgendeine willkürlich gebenchte Demo (vielleicht noch auf anraten eines IHVs)

Oder Reviewws, die sich eine einzige Auflösung rauspicken nd dann behaupten, A sei deutlich vorne (3%) wobei eis in 1280x102´4 4xAA ganz anders aussehen würde) Leider sind solche halbherzigen Tests bei den meisten immernoch an der Tagesordnung.
Ausserdem lässt sich an so einer Kurve wunderbar feststellen, wie stark die jeweilige GraKa in Extremsituatuationen einbricht.

PCGH_Thilo

2003-10-24, 14:45:56

Original geschrieben von Mr. Lolman
und wodurch bitte? Wie kann eine GraKa schneller sein als dsie tatsächlich ist? Oder warum sind die Spitzen bei NV durchwegs niedriger. IMHO hat so eine Kurve viel mehr Aussagekraft, als irgendeine willkürlich gebenchte Demo (vielleicht noch auf anraten eines IHVs)

Oder Reviewws, die sich eine einzige Auflösung rauspicken nd dann behaupten, A sei deutlich vorne (3%) wobei eis in 1280x102´4 4xAA ganz anders aussehen würde) Leider sind solche halbherzigen Tests bei den meisten immernoch an der Tagesordnung.
Ausserdem lässt sich an so einer Kurve wunderbar feststellen, wie stark die jeweilige GraKa in Extremsituatuationen einbricht.

was ich gesagt habe:
- "walkthrus" sind bedenklich, da nicht 100% reproduzierbar
- statistische ausreißer sollten geglättet werden (damit meine ich die absoluten spitzen; außerdem sollte man gerade bei einem krassen ruckler checken, woher der kommt: Stichwort 3DA)

was anderes habe ich nie behauptet. weiß nicht recht, was ich zu "Wie kann eine GraKa schneller sein als dsie tatsächlich ist?" oder "als irgendeine willkürlich gebenchte Demo (vielleicht noch auf anraten eines IHVs)" sagen soll.

und davon ab: warum soll eine szene, bei der ich einen walkthru benche, unwillkürlicher sein als eine timedemo?

Mrs. Lolman

2003-10-24, 15:10:12

Original geschrieben von PCGH_Thilo
was ich gesagt habe:
- "walkthrus" sind bedenklich, da nicht 100% reproduzierbar
- statistische ausreißer sollten geglättet werden (damit meine ich die absoluten spitzen; außerdem sollte man gerade bei einem krassen ruckler checken, woher der kommt: Stichwort 3DA)

was anderes habe ich nie behauptet. weiß nicht recht, was ich zu "Wie kann eine GraKa schneller sein als dsie tatsächlich ist?" oder "als irgendeine willkürlich gebenchte Demo (vielleicht noch auf anraten eines IHVs)" sagen soll.

und davon ab: warum soll eine szene, bei der ich einen walkthru benche, unwillkürlicher sein als eine timedemo?

Dafür sind Timedemos so reproduzierbar, dass IHV nach herzenslust darauf optimeren können. Walkthroughs sind aufgrund, deren Komplexität für den User uninteressant, und deswegen interessiert sich niemand dafür ob sie zum DL angeboten werden oder nicht. Wenn mans nicht bekommt, tut man sich auch schwer mit dem optimieren...

Mit 'auf Anraten eines IHV gebenchten Demos' meinte ich nicht die PCGH. Da gibts anscheinend genug andere. Was mich an timedemos ärgert, ist ,dass oft der eine Hersteller ganz gu mit ddem anderen mithält, aber im Spielbetrieb (oder einer eigenen Demo) das Ganze wieder anders aussieht.

Mit dem 'Wie kann eine GraKa schneller sein, als sie tatsächlich ist, versuchte ich, einfach zu hinterfragen, wie ander Komponenten für eine Leistungsspitze verantwortlich sein können. Natürlich sollte man extreme Aussreisser glätten, aber wenn bei einer stelle beide GraKas einbrechen, nur die eine auf 10fps und die andere auf 20, ist dass IMHO eher nicht auf andere Kompnenten zurückzuführen...

Natürlich ist es genauso willkrülich ein eigenes Walkthrough zu benchen wie eine standard Timedemo, glaub ich kaum, das der Tester weiss, wie die Walkthrough aussehen soll, damit jetzt A gewinnt. Bei selbst aufgenommen timedemos ist das zwar das gleiche, aber sobald diese Demos öffentlich verfügbar sind muuss man eigentlich deren Validität anzweifeln, da fleissige Treiberprogrammierer wieder nach herzenslust optimieren können.

Also grundsätzlich hab ich nichts gegen Timedemos, nur sollten sie nicht öffentlich verfügbar sein... (ist zwar blöd für den User der sein System testen will, aber dafür gibts ja genug andere Benchmarks.... (in denen halt fleissig optimiert wird)

PCGH_Thilo

2003-10-24, 15:37:11

Original geschrieben von Mrs. Lolman
Dafür sind Timedemos so reproduzierbar, dass IHV nach herzenslust darauf optimeren können. Walkthroughs sind aufgrund, deren Komplexität für den User uninteressant, und deswegen interessiert sich niemand dafür ob sie zum DL angeboten werden oder nicht. Wenn mans nicht bekommt, tut man sich auch schwer mit dem optimieren...

Mit 'auf Anraten eines IHV gebenchten Demos' meinte ich nicht die PCGH. Da gibts anscheinend genug andere. Was mich an timedemos ärgert, ist ,dass oft der eine Hersteller ganz gu mit ddem anderen mithält, aber im Spielbetrieb (oder einer eigenen Demo) das Ganze wieder anders aussieht.

Mit dem 'Wie kann eine GraKa schneller sein, als sie tatsächlich ist, versuchte ich, einfach zu hinterfragen, wie ander Komponenten für eine Leistungsspitze verantwortlich sein können. Natürlich sollte man extreme Aussreisser glätten, aber wenn bei einer stelle beide GraKas einbrechen, nur die eine auf 10fps und die andere auf 20, ist dass IMHO eher nicht auf andere Kompnenten zurückzuführen...

Natürlich ist es genauso willkrülich ein eigenes Walkthrough zu benchen wie eine standard Timedemo, glaub ich kaum, das der Tester weiss, wie die Walkthrough aussehen soll, damit jetzt A gewinnt. Bei selbst aufgenommen timedemos ist das zwar das gleiche, aber sobald diese Demos öffentlich verfügbar sind muuss man eigentlich deren Validität anzweifeln, da fleissige Treiberprogrammierer wieder nach herzenslust optimieren können.

Also grundsätzlich hab ich nichts gegen Timedemos, nur sollten sie nicht öffentlich verfügbar sein... (ist zwar blöd für den User der sein System testen will, aber dafür gibts ja genug andere Benchmarks.... (in denen halt fleissig optimiert wird)

okay, so langsam wird die diskussion gut =)

timedemos: hab mich mit leo diesbezüglich auch schon unterhalten. das veröffentlichen hat vor- und nachteile.

wobei ich nicht recht glaube, dass ati oder nvidia eine pcgh-timedemo optimieren. so bekannt sind wir auch wieder nicht ;-)

aber: ich habe bauchweh, wenn jemand irgendwo in mp2 rumschlappt und das mitloggt. unsere benches mit einer zwischensequenz bei mp2 sehen nämlich etwas anders aus (wenn auch nicht in der tendenz). wir hatten auch andere sequenzen gecheckt, da war es dann teilweise sogar so, dass zwischen 0af/oaa und 16af/6aa auf einer 9800 pro null performanceunterschiede waren. ist halt ein schwieriges geschäft das benchmarken =)

Demirug

2003-10-24, 16:24:39

Händische Walkthroughs sind für die Ablage P. Sorry für die harten Worte aber es ist vollkommen unmöglich damit vergleichbare Bedingungen zu schaffen. Da reicht schnell mal ein Bruchteil von einem Grad nach Links oder Rechts abweichung um den Load auf den Chip stark zu verändern weil zum Beispiel ein Culling greift oder nicht.

Mit Zwischensequenzen bin ich aber auch nicht wirklich glücklich. Das ist so ähnlich als ob man Szenedemos nimmt. Der Grund dafür ist das die Zwischensequenzen den Designer die Möglichkeit geben sich auszutoben. Da während einer Zwischensequenzen in der Regel die Gameengine angehalten wird bekommt man zusätzliche CPU-Leistung und die verheitzt man dann. Thilos Beispiel mit 0af/oaa und 16af/6aa ist da ein klasischer Fall.

Nur was macht man jetzt mit Spielen die keine Benchmark/Timedemofunktion haben? Die Frage ist gut und berechtigt. Die allgemein gültige Antwort darauf habe ich auch nicht. Man könnte natürlich einen 3D-API Kommandostrom aufzeichnen und wiedergeben. Nur hat man dann primär einen reinen Grafikkartentest weil ja alle Berechnungen welche die Gameengine machen muss beim Replay nicht mehr hat. Die Reproduzierbarkeit ist spitze. Man könnte sogar einzelne Frames gezielt für IQ vergleiche gewinnen. Aber der Praxsisbezug ist mässig.

MadManniMan

2003-10-24, 16:33:23

Demirug

2003-10-24, 16:58:03

Original geschrieben von MadManniMan
Und da greift der multiple Durchlauf.
OMG, sicher ists keine Gaudi, 10mal mit jeder Karte in jeder Einstellung den Gang zu tätigen, aber es ist eine Nährung, die das wahre Ingame aufzeigt.
Darauf kommt es an und nicht auf die simple Transformation eines Levels, um jetzt mal das andere Extrem zu nennen.

Auf diese weise verbringst du aber schnell einen ganzen Arbeitstag mit nur einem Spiel. Bei den Online-Seiten reicht dir da einfach die Vorlaufzeit nicht. Bei den Printmagazinen kann es da etwas besser aussehen (wenn die Hardware nicht gerade kurz vor dem Redaktionsschluss kommt) aber auch dort gilt das es ein Geschäft ist. Und wenn du für 4 Seiten Heftinhalt 2 Wochen Benchmarks fährst wird dich dein Controling fragen ob es dir aber sonst noch ganz gut geht. Wohl dem der einen Benchmarkslaven in Form eines Praktikanten (oder ähnliches) hat.

PCGH_Thilo

2003-10-24, 17:21:42

Original geschrieben von Demirug
Auf diese weise verbringst du aber schnell einen ganzen Arbeitstag mit nur einem Spiel. Bei den Online-Seiten reicht dir da einfach die Vorlaufzeit nicht. Bei den Printmagazinen kann es da etwas besser aussehen (wenn die Hardware nicht gerade kurz vor dem Redaktionsschluss kommt) aber auch dort gilt das es ein Geschäft ist. Und wenn du für 4 Seiten Heftinhalt 2 Wochen Benchmarks fährst wird dich dein Controling fragen ob es dir aber sonst noch ganz gut geht. Wohl dem der einen Benchmarkslaven in Form eines Praktikanten (oder ähnliches) hat.

ich wollte auch grad schreiben, ob jemand ERNSTHAFT glaubt, dass eine webseite oder ein heft ressourcen dafür hat, 10x einen walkthru pro karte/spiel/setting zu machen. =)

MadManniMan

2003-10-24, 17:21:53

Original geschrieben von Demirug
Wohl dem der einen Benchmarkslaven in Form eines Praktikanten (oder ähnliches) hat.

Volontäre ahoi :)

PCGH_Thilo

2003-10-24, 17:24:12

Original geschrieben von Demirug
Händische Walkthroughs sind für die Ablage P. Sorry für die harten Worte aber es ist vollkommen unmöglich damit vergleichbare Bedingungen zu schaffen. Da reicht schnell mal ein Bruchteil von einem Grad nach Links oder Rechts abweichung um den Load auf den Chip stark zu verändern weil zum Beispiel ein Culling greift oder nicht.

Mit Zwischensequenzen bin ich aber auch nicht wirklich glücklich. Das ist so ähnlich als ob man Szenedemos nimmt. Der Grund dafür ist das die Zwischensequenzen den Designer die Möglichkeit geben sich auszutoben. Da während einer Zwischensequenzen in der Regel die Gameengine angehalten wird bekommt man zusätzliche CPU-Leistung und die verheitzt man dann. Thilos Beispiel mit 0af/oaa und 16af/6aa ist da ein klasischer Fall.

Nur was macht man jetzt mit Spielen die keine Benchmark/Timedemofunktion haben? Die Frage ist gut und berechtigt. Die allgemein gültige Antwort darauf habe ich auch nicht. Man könnte natürlich einen 3D-API Kommandostrom aufzeichnen und wiedergeben. Nur hat man dann primär einen reinen Grafikkartentest weil ja alle Berechnungen welche die Gameengine machen muss beim Replay nicht mehr hat. Die Reproduzierbarkeit ist spitze. Man könnte sogar einzelne Frames gezielt für IQ vergleiche gewinnen. Aber der Praxsisbezug ist mässig.

wenn man zwischensequenzen bencht, hat man natürlich die große verantwortung, eine möglichst sinnvolle zu finden. wir machen uns das hier nicht leicht, allein die benchmark/timedemo/cutscene-evaluation dauert stunden.

aber nur so lassen sich viele spiele überhaupt benchen, und man will ja schließlich am puls der zeit bleiben und nicht 3 jahre die gleichen benches bringen (stichwort: Q3A).

Ich sehe ein, das ist nur ein Kompromiss. aber die muss man manchmal halt eingehen ;-=

Demirug

2003-10-24, 17:30:55

Original geschrieben von PCGH_Thilo
wenn man zwischensequenzen bencht, hat man natürlich die große verantwortung, eine möglichst sinnvolle zu finden. wir machen uns das hier nicht leicht, allein die benchmark/timedemo/cutscene-evaluation dauert stunden.

aber nur so lassen sich viele spiele überhaupt benchen, und man will ja schließlich am puls der zeit bleiben und nicht 3 jahre die gleichen benches bringen (stichwort: Q3A).

Ich sehe ein, das ist nur ein Kompromiss. aber die muss man manchmal halt eingehen ;-=

Ich schrieb ja schon das es für Spiele ohne Benchmarkfunktion keine wirklich gute Lösung gibt. Als Kompromiss sind Zwichensequenzen ja auch noch relative gut.

betasilie

2003-10-24, 17:53:45

Also ich finde das Review sehr gut, insbesondere weil endlich mal min. und max. FPS aufgeführt werden, was mich viel mehr interessiert, als nur blöde Durchschnittswerte.

MadManniMan

2003-10-24, 18:19:34

Original geschrieben von betareverse
Also ich finde das Review sehr gut, insbesondere weil endlich mal min. und max. FPS aufgeführt werden, was mich viel mehr interessiert, als nur blöde Durchschnittswerte.

Bingo. Theorie sollte mehr und mehr hinten angestellt werden - imho (<- und ich sage imho) darf Kyles Ansatz als Schritt in die richtige Richtung gesehen werden!

Crushinator

2003-10-24, 19:46:23

Original geschrieben von MadManniMan
Bingo. Theorie sollte mehr und mehr hinten angestellt werden - imho (<- und ich sage imho) darf Kyles Ansatz als Schritt in die richtige Richtung gesehen werden! Ich bin dafür, daß man jedes Spiel a) sofern vorhanden mit vorgegebenen reproduzierbaren Timedemos, b) mit eigens erstellten Timedemos und c) mit FRAPS in freigewählten Walkthroughs bencht. Theorie sollte auf alle Fälle mit rein damit alle endlich begreifen, daß Theorie und Praxis meistens 2 verschiedene Schuhe sind. =)

Gast

2003-10-25, 14:29:01

You can find an very good discussion about FRAPS-benchmarking here :

http://www.beyond3d.com/forum/viewtopic.php?t=7527&highlight=fraps&sid=b55f3036cc8cebe61bed899cbd8142eb

Nathan has done a lot of IMHO excellent work here.

Razor

2003-10-26, 02:55:56

Original geschrieben von Mr. Lolman
Alles in allem kommts mir vor, als wäre man mit einer ATi eher auf der sicheren Seite. Mega-:lol: !

Das sagt ja genau der Richtige !
:D

Razor

Razor

2003-10-26, 02:00:25

Original geschrieben von PCGH_Thilo
was ist denn an fraps-benches objektiv nicht nachvollziehbar? wenn ich ne zwischensequenz benche, bekomme ich 100% reproduzierbare werte. nur wenn man wie hardocp teilweise "walkthrus" macht, ist die nachvollzierbarkeit schwierig. Die Werte mögen zwar reproduzierbar sein... aber sind sie auch vergleichbar ?
:???:

FRAPS greift direkt in die Schnittstelle Engine <-> API und sorgt schon durch das eigene Eingreifen für ein 'verwaschen' der Ergebnisses.

Sorry, aber ich traue FRAPS keinesfalls über den Weg.
Schon mal versucht, mit FRAPS ein Timedemo nachzumessen ?
(hoffe ich doch inständig ;-)

Razor

Razor

2003-10-26, 02:04:50

Original geschrieben von MadManniMan
Das ist das Problem, richtig. Dem müßte man entgegenwirken, indem man mehrere Walkthroughs macht und mittelt.Selbst solche Egebnisse wären nur dann interessant, wenn man sich exakt das Bench-System (tutto-kompletto ;-), nebst eingerichtetem Betriebssystem und dessen Umgebung zulegen möchte. Die GraKa in nem anderen System verhält sich u.U. schon ganz anders...

Gilt aber selbstredend für ALLE Benchmarks !
(wesewegen ich von dieser Art 'Nabelschau' ja auch nicht viel halte ;-)
Original geschrieben von MadManniMan
Wohl wahr, aber der Gamer frohlocket! Mir als Gamer graust es dabei ganz gewaltig !

Razor

Razor

2003-10-26, 02:07:30

Original geschrieben von Mr. Lolman
Ausserdem lässt sich an so einer Kurve wunderbar feststellen, wie stark die jeweilige GraKa in Extremsituatuationen einbricht. Nein, sie zeigt nur, wie FRAPS in dieser Situation einbricht.
Wodurch das nun zustande kam, ist nicht ersichtlich...

Sorry, aber ein Review, was nur auf diesem 'durchsichtigen' FRAPS und zudem nur einer API aufgebaut ist, findet im vornherein keine Beachtung von mir.

Habe mir das Review nicht einmal angeschaut...
:D

Razor

Razor

2003-10-26, 02:22:16

Original geschrieben von Mrs. Lolman
Was mich an timedemos ärgert, ist ,dass oft der eine Hersteller ganz gu mit ddem anderen mithält, aber im Spielbetrieb (oder einer eigenen Demo) das Ganze wieder anders aussieht.Tut es das denn ?
Wenn ja, wäre ein Beispiel hier sehr hilfreich...
(und wehe, Du kommst mir mit Benches ;-)
Original geschrieben von Mrs. Lolman
Mit dem 'Wie kann eine GraKa schneller sein, als sie tatsächlich ist, versuchte ich, einfach zu hinterfragen, wie ander Komponenten für eine Leistungsspitze verantwortlich sein können. Natürlich sollte man extreme Aussreisser glätten, aber wenn bei einer stelle beide GraKas einbrechen, nur die eine auf 10fps und die andere auf 20, ist dass IMHO eher nicht auf andere Kompnenten zurückzuführen...Falsch.

Und deswegen ist ein solcher Vergleich auch zu gefährlich, ohne eine detaillierte Analyse durchgeführt zu haben, warum hier beide Karten eingebrochen sind. Wenn das geklärt ist, dann kann man eine Aussage zu dieser Situation wagen.

Wie ich schon oben schrieb, sagt eine sole 'Kurve' nur aus, wie sich das Game auf dieser Plattform mit dieser Hardware verhält. Nicht mehr... und schon gar nicht, wie sich das bei anderen Systemen darstellt. Und erst recht nicht, wenn die Ursache der 'Ausreißer' nicht dingfest gemacht wurde...
Original geschrieben von Mrs. Lolman
Natürlich ist es genauso willkrülich ein eigenes Walkthrough zu benchen wie eine standard Timedemo, glaub ich kaum, das der Tester weiss, wie die Walkthrough aussehen soll, damit jetzt A gewinnt. Bei selbst aufgenommen timedemos ist das zwar das gleiche, aber sobald diese Demos öffentlich verfügbar sind muuss man eigentlich deren Validität anzweifeln, da fleissige Treiberprogrammierer wieder nach herzenslust optimieren können.Sooo schwierig ist das gar nicht...
Der 'Weg' muss ja (zumindest für den Tester ;-) reproduzierbar sein. Und da ist es nur ein kleiner Schritt mehrere solcher Wege zu testen und einen davon 'auszuwählen'.

Nach welchen Kriterien ein 'Weg' ausgewählt wird, legt aber der Tester fest (oder 'jemand' anderes, der hinter ihm 'steht' ;-).

Ich will jetzt nicht sagen, das [H]ardOCP nun ATI-lastig geworden ist, oder er gar betrügt. Nur eben, dass sich sochen Ergebnissen überhaupt keinen Glauben schenke. Nicht des Ergbenisses wegen, sondern der Wege wegen, die zu diesen Ergebnissen führten...

Aber es ist auch ein Irrglaube, anzunehmen, dass sich Reviewer nur über Werbung finanzieren. Auch sie sind auf Unterstützung (zumindest in Form von Hardware) angewiesen und müssen dafür sorgen, dass ihr Schäffel im trockenen steht. Insofern würde ich die 'Gefahrenzone' hier nicht nur bei Treiber-Proggern suchen...
Original geschrieben von Mrs. Lolman
Also grundsätzlich hab ich nichts gegen Timedemos, nur sollten sie nicht öffentlich verfügbar sein... (ist zwar blöd für den User der sein System testen will, aber dafür gibts ja genug andere Benchmarks.... (in denen halt fleissig optimiert wird) Timedemos sollten zumindest nach einer gewissen Zeit zur Verfügung stehen, um damit getroffene Aussagen 'neutral' validieren zu können.

Sonst sind der Manipulation Tor und Tür geöffnet !
(und der Aussagegehalt socher 'Benches' ist dann gleich Null...

Der Weg darf im Prinzip nicht sein:
1) "Was will ich aussagen"
2) "Welche Benches nehme ich wie dafür"

Und die Leute wollen nachvollziehbare Ergebnisse...(zumindest ergeht es mir so !)

Razor

Razor

2003-10-26, 02:30:28

Original geschrieben von Demirug
Nur was macht man jetzt mit Spielen die keine Benchmark/Timedemofunktion haben? Die Frage ist gut und berechtigt. Die allgemein gültige Antwort darauf habe ich auch nicht. Man könnte natürlich einen 3D-API Kommandostrom aufzeichnen und wiedergeben. Nur hat man dann primär einen reinen Grafikkartentest weil ja alle Berechnungen welche die Gameengine machen muss beim Replay nicht mehr hat. Die Reproduzierbarkeit ist spitze. Man könnte sogar einzelne Frames gezielt für IQ vergleiche gewinnen. Aber der Praxsisbezug ist mässig. Ja, aber wäre das nicht genau DIE Lösung, wenn ich rein die zu btrachtende Hardware bewerten möchte ?
:???:

Sicher wäre der Praxisbezug mäßig, aber das sind nach meinem Dafürhalten schlicht ALLE derzeitigen Benchmarks. DAS wäre doch eine Möglichkeit nur die Leisutngsfähigkeit der Treiber im Zusammenspiel mit der anvisierten Hardware zu testen.

Den Praxisbezug kann man dann ja über subjektive Erfahrungsberichte herstellen, wie z.Bsp. "spielt sich flüssig", oder "leicht hakelig" etc. Aber zu sagen, dass in einer Scene bei einem manuell aufgenommenen Walkhtrough die eine Karte 10fps und die andere 20fps macht, ohne den exakt gleichen Ablauf hinterlegt zu haben, ist nicht nur sehr gewagt, sondern schlitweg fahrlässig (oder gar kriminiell ;-).

Wäre es denn schwierig, einen solchen Datenstrom aufzuzeichnen und dann später wiederzugeben und diesen dann nach oder während der Wiedergabe zu analysieren ?
:???:

Razor

Demirug

2003-10-26, 09:15:27

Original geschrieben von Razor
Wäre es denn schwierig, einen solchen Datenstrom aufzuzeichnen und dann später wiederzugeben und diesen dann nach oder während der Wiedergabe zu analysieren ?
:???:

Razor

Schwierig ist es eigentlich nicht. Lediglich mit Arbeit verbunden. Es gibt aber leider zwei unangenehme Probleme.

1. Eine solche "Demo"-Datei würde sehr gross werden. Es müssen ja alle Texture und Geometriedaten gespeichert werden.

2. Es ergibt sich auch ein rechtliches Problem da ja der in der Datei gespeicherte Kontent zu dem Spiele gehört

Reines Aufzeichnen und wiedergeben wäre eigentlich kein Problem aber die Weitergabe der "Demo"-Dateien ist problematisch.

Iceman346

2003-10-26, 10:42:11

Original geschrieben von Razor
Die Werte mögen zwar reproduzierbar sein... aber sind sie auch vergleichbar ?
:???:

FRAPS greift direkt in die Schnittstelle Engine <-> API und sorgt schon durch das eigene Eingreifen für ein 'verwaschen' der Ergebnisses.

Sorry, aber ich traue FRAPS keinesfalls über den Weg.
Schon mal versucht, mit FRAPS ein Timedemo nachzumessen ?
(hoffe ich doch inständig ;-)

Razor

Ich hab grad mal mit Fraps Timedemos nachgemessen (bei Jedi Knight 2 und Comanche 4 um genau zu sein) und der Unterschied zwischen dem Fraps Wert und dem Wert den das Spiel ausspuckt ist im Rahmen meiner "schnelldrückkünste" ;) soll heissen: Praktisch nicht vorhanden.
Ich sehe keinen Grund Fraps nicht zum benchmarken einzusetzen. Immerhin ist es die einzigste Möglichkeit viele der heutigen Spiele zu benchen, da Timedemofunktionen sehr rar geworden sind. Ausserdem nutzen haufenweise verschiedene Seiten das Programm und die Ergebnisse sind von der Tendenz immer ähnlich (gut zu sehen an Warcraft 3 welches mittlerweile relativ häufig gebencht wird und zwar immer mit Fraps da es nicht anders geht). Wenn du nen besseren Weg nennen kannst um moderne Spiele zu benchen ohne sich auf die paar die eine Benchmarkfunktion enthalten zu beschränken, dann raus damit.

reunion

2003-10-26, 11:24:31

2003-10-26, 12:26:24

Original geschrieben von Razor
Nein, sie zeigt nur, wie FRAPS in dieser Situation einbricht.
Wodurch das nun zustande kam, ist nicht ersichtlich...

Sorry, aber ein Review, was nur auf diesem 'durchsichtigen' FRAPS und zudem nur einer API aufgebaut ist, findet im vornherein keine Beachtung von mir.

Habe mir das Review nicht einmal angeschaut...Razor, setze mal deine rosane Brille ab. Du glaubst doch nicht, dass da FRAPS einbricht?
Wenn man ein ausreichend schnelles System mit ausreichend viel RAM benutzt, dann sind die Auswirkungen deutlich geringer. So klein, dass es kaum Auswirkungen auf das Ergebnis gibt.
Jedes Messsystem, sei es nun intern im Spiel als auch extern durch FRAPS, beeinträchtig das Spielergebnis. Das ist beim Messen so. Deswegen muss man noch die Messtoleranzen mit betrachten oder wenigsten mitangeben.

PCGH_Thilo macht seine Arbeit deutlich besser als die "Mainstream"-Zeitschriften-Kollegen. Da besteht von mir keine Zweifel.

PCGH_Thilo

2003-10-26, 12:49:12

Original geschrieben von Razor
Die Werte mögen zwar reproduzierbar sein... aber sind sie auch vergleichbar ?
:???:

FRAPS greift direkt in die Schnittstelle Engine <-> API und sorgt schon durch das eigene Eingreifen für ein 'verwaschen' der Ergebnisses.

Sorry, aber ich traue FRAPS keinesfalls über den Weg.
Schon mal versucht, mit FRAPS ein Timedemo nachzumessen ?
(hoffe ich doch inständig ;-)

Razor

natürlich haben wir fraps ausgiebig gegengetestet. durchschnittswerte sind zumindest nach unseren tests über jeden zweifel erhaben. mit etwas geschick beim start- und stop-drücken bekommt man nachkommastellengenaue werte (sowohl bei der reproduzierbarkeit als auch beim direkten timedemo-vergleich).

ich seh nicht, dass fraps bei einer ati-karte anders misst als bei einer fx-karte.

nur: ich würde einen einzelnen wert nach unten oder oben auch nicht gerade als statistisch signifikat ansehen, wie das z. B. hardocp macht. das zeigt ja auch der thread bei b3d: durchschnitt ja, aber einzelne ausreisser sollte man mit vorsicht genießen. seh ich genauso.

2003-10-26, 12:53:33

Original geschrieben von KM
Razor, setze mal deine rosane Brille ab. Du glaubst doch nicht, dass da FRAPS einbricht?
Wenn man ein ausreichend schnelles System mit ausreichend viel RAM benutzt, dann sind die Auswirkungen deutlich geringer. So klein, dass es kaum Auswirkungen auf das Ergebnis gibt.
Jedes Messsystem, sei es nun intern im Spiel als auch extern durch FRAPS, beeinträchtig das Spielergebnis. Das ist beim Messen so. Deswegen muss man noch die Messtoleranzen mit betrachten oder wenigsten mitangeben.

PCGH_Thilo macht seine Arbeit deutlich besser als die "Mainstream"-Zeitschriften-Kollegen. Da besteht von mir keine Zweifel.
Bevor man mich wegen meines Posts kritisiert, möchte ich folgendes darstellen:
1. Ich bin kein ATI-User und NV-User. Deswegen kann ich es etwas objektiver sehen.
2. Je nachdem, wie man was betrachtet ist der eine oder andere vorne. Das ändert sich jedesmals. Hauptsache man ist als User mit dem Produkt zufrieden. Falls nicht, holt man sich was anderes. So funktioniert Marktwirtschaft.

Edit
Sorry, wollte es dem anderen Post hinzufügen und habe auf Antworten geklickt.

2003-10-26, 13:02:38

PCGH_Thilo

2003-10-26, 13:07:09

Original geschrieben von KM
Der Durchschnitt zu betrachten ist ja logisch, aber was ist, wenn die Ausreißer bei jedem Messvorgang an der gleichen Stelle auftreten? Nach oben sollte man hier kaum berücksichtigen aber wenn es bei jedem Messvorgang nach unten geht, vor allem unterhalb von 30F/s liegt? Das sieht man eher als Spieler.

keine frage: wenn die fps-rate immer an der gleichen stelle einbricht (wobei du einen einzelnen ausreißer nach unten nicht bemerkst; das müssen dann schon mehrere sein), dann muss man der sache auf den grund gehen. z.B. mit 3DA. dann kann man sinnvolle aussagen zum thema machen. ich finde ruckler auch extrem nervig, spiele deshalb aktuell MP2 mit ner Geforce4 Ti durch, um ein "Gefühl" für die spielbarkeit mit älteren, aber weit verbreiteten karten zu bekommen.

Allein: die kurve abzudrucken, bei einem einzelnen messwert "ätsch" zu schreien und die ursache nicht aufzudecken, ist IMHO der falsche weg.

2003-10-26, 13:24:03

Original geschrieben von PCGH_Thilo
Allein: die kurve abzudrucken, bei einem einzelnen messwert "ätsch" zu schreien und die ursache nicht aufzudecken, ist IMHO der falsche weg.
Das machen aber einige Tester von Seiten ab und zu, einige viel zu oft. Solche Tests überfliege ich meist nur noch.

Razor

2003-10-26, 14:21:42

Original geschrieben von Iceman346
Ich hab grad mal mit Fraps Timedemos nachgemessen (bei Jedi Knight 2 und Comanche 4 um genau zu sein) und der Unterschied zwischen dem Fraps Wert und dem Wert den das Spiel ausspuckt ist im Rahmen meiner "schnelldrückkünste" ;) soll heissen: Praktisch nicht vorhanden.Nun ja...

"(hoffe ich doch inständig ;-)"

... war erst gemeint.
Natürlich gehe ich davon aus, dass die PCGH weiß was sie da tut...
;)

Timedemos mit FRAPS zu messen ist wohl ähnlich 'galubwürdig', wie die InGame-Derivate...

Aber hier geht es primär um das, was [H]ardOCP da gemacht hat. Und hier hat Thilo seine Bedenken geäussert, die ich mehr, als nur nachvollziehen kann.
Original geschrieben von Iceman346
Ich sehe keinen Grund Fraps nicht zum benchmarken einzusetzen. Immerhin ist es die einzigste Möglichkeit viele der heutigen Spiele zu benchen, da Timedemofunktionen sehr rar geworden sind. Ausserdem nutzen haufenweise verschiedene Seiten das Programm und die Ergebnisse sind von der Tendenz immer ähnlich (gut zu sehen an Warcraft 3 welches mittlerweile relativ häufig gebencht wird und zwar immer mit Fraps da es nicht anders geht). Wenn du nen besseren Weg nennen kannst um moderne Spiele zu benchen ohne sich auf die paar die eine Benchmarkfunktion enthalten zu beschränken, dann raus damit. Wie oben schon geschrieben... Timedemos gehen OK, wenn (und nur dann !) sie so ausgewählt werden, dass keine der zu vergleichenden Parteien massiv benachteiligt wird, da es dann den Real-World-Eindruck verfälscht...

Ich hoffe, dass Du das ähnlich siehst.

Razor

Razor

2003-10-26, 14:27:48

Original geschrieben von PCGH_Thilo
natürlich haben wir fraps ausgiebig gegengetestet. durchschnittswerte sind zumindest nach unseren tests über jeden zweifel erhaben. mit etwas geschick beim start- und stop-drücken bekommt man nachkommastellengenaue werte (sowohl bei der reproduzierbarkeit als auch beim direkten timedemo-vergleich).Klar...
;-)
Original geschrieben von PCGH_Thilo
ich seh nicht, dass fraps bei einer ati-karte anders misst als bei einer fx-karte.Ich fürchte, dass Du mich da mißverstanden hast.

Es geht mir nicht darum, dass sich FRAPS bei unterschiedlichen GraKa's auf dem gleichen System (in jeder Hinsicht, also Hard- und Software) womöglich anders verhalten würde, sondern dass sich FRAPS selber aud anderen Systemen anders verhält und damit die daraus resultierenden Ergebnisse nicht direkt auf die zu testende Hardware (in diesem Fall die GraKa's) angewendet werden können, sondern lediglich auf das System, auf welchem getestet wurde.

Habe dazu mal eigene Betrachtungen durchgeführt...
;-)
Original geschrieben von PCGH_Thilo
nur: ich würde einen einzelnen wert nach unten oder oben auch nicht gerade als statistisch signifikat ansehen, wie das z. B. hardocp macht. das zeigt ja auch der thread bei b3d: durchschnitt ja, aber einzelne ausreisser sollte man mit vorsicht genießen. seh ich genauso. Dann sind wir uns ja 100% einig !
:)

Vielleicht sollte ich einfach mal lernen mich (noch) klarer auszudrücken...

Razor

Razor

2003-10-26, 14:31:27

Original geschrieben von PCGH_Thilo
keine frage: wenn die fps-rate immer an der gleichen stelle einbricht (wobei du einen einzelnen ausreißer nach unten nicht bemerkst; das müssen dann schon mehrere sein), dann muss man der sache auf den grund gehen. z.B. mit 3DA. dann kann man sinnvolle aussagen zum thema machen. ich finde ruckler auch extrem nervig, spiele deshalb aktuell MP2 mit ner Geforce4 Ti durch, um ein "Gefühl" für die spielbarkeit mit älteren, aber weit verbreiteten karten zu bekommen.Und das ist genau das, was hier einige wohl nicht einsehen wollen...

ERST die Ursache feststellen und dann vorsichtig ein Fazit ziehen, welches letztendlich immer mit einem Fragezeichen versehen bleiben muss.
Original geschrieben von PCGH_Thilo
Allein: die kurve abzudrucken, bei einem einzelnen messwert "ätsch" zu schreien und die ursache nicht aufzudecken, ist IMHO der falsche weg. Es ist nicht nur falsch, sondern regelrecht stümperhaft.

Sicher machen solche Graphen immer einen 'netten' Eindruck und wollen einen 'objektiven' Eindruck vermitteln. Tun sie aber in Konsequenz nicht, weil das genaue Gegenteil der Fall ist.

Ohne Ursachenforschung sind solche 'Ergebnisse' schlicht wertlos.

Razor

Razor

2003-10-26, 14:34:17

Original geschrieben von Demirug
Schwierig ist es eigentlich nicht. Lediglich mit Arbeit verbunden. Es gibt aber leider zwei unangenehme Probleme.

1. Eine solche "Demo"-Datei würde sehr gross werden. Es müssen ja alle Texture und Geometriedaten gespeichert werden.

2. Es ergibt sich auch ein rechtliches Problem da ja der in der Datei gespeicherte Kontent zu dem Spiele gehörtDen 2. Punkt sehe ich da als sehr viel problematisher...
Original geschrieben von Demirug
Reines Aufzeichnen und wiedergeben wäre eigentlich kein Problem aber die Weitergabe der "Demo"-Dateien ist problematisch. Klar... eine Urheber-Rechts-Verletzung darf natürlich nicht dabei heruas kommen. Dass man den 'Stream' auch zu anderen Zwecken aufzeichnen könnte, ist mir zuerst gar nicht in den Sinn gekommen... aber dafür haben wir ja Dich, Demirug !

Und thx für die Info.

Razor

Iceman346

2003-10-26, 14:35:46

Original geschrieben von Razor
Wie oben schon geschrieben... Timedemos gehen OK, wenn (und nur dann !) sie so ausgewählt werden, dass keine der zu vergleichenden Parteien massiv benachteiligt wird, da es dann den Real-World-Eindruck verfälscht...

Ich hoffe, dass Du das ähnlich siehst.

Razor

Natürlich sollte man die Teile des Spieles welche man bencht vorher darauf abklopfen ob die Ergebnisse mit der Performance im allgemeinen Spielverlauf im Einklang liegen. Und dass fraps abgesehen vom average Wert nicht viel bringt sehe ich genauso.

Razor

2003-10-26, 14:44:34

Original geschrieben von Iceman346
Natürlich sollte man die Teile des Spieles welche man bencht vorher darauf abklopfen ob die Ergebnisse mit der Performance im allgemeinen Spielverlauf im Einklang liegen. Und dass fraps abgesehen vom average Wert nicht viel bringt sehe ich genauso. Oki !
:bier:

Razor

zeckensack

2003-10-26, 15:01:09

Original geschrieben von Razor
Wie oben schon geschrieben... Timedemos gehen OK, wenn (und nur dann !) sie so ausgewählt werden, dass keine der zu vergleichenden Parteien massiv benachteiligt wird <...>Das ist wieder problematisch, weil subjektiv ;)
Ist eigentlich ganz ähnlich zu diesem:Original geschrieben von Razor
Der Weg darf im Prinzip nicht sein:
1) "Was will ich aussagen"
2) "Welche Benches nehme ich wie dafür"
Nochmal zum oberen, wie willst du feststellen, ob du eine Karte unfair benachteiligst? Du kannst mit einer gewissen Erwartungshaltung herangehen, und davon ausgehen, daß Karte A "eigentlich so ca soundsoviel % schneller sein müßte", und dein Szenario so weit anpassen, bis dies auch 'gemessen' wird.

Nur ist das wirklich objektiv? :cop:

In alter "Crusher"/"Quaver"-Tradition wäre ich wirklich dafür, Extremsituationen zu benchen, und den Mittelwert zu bilden, weil das IMO noch am ehesten den während eines normalen Spielablaufs zu erwartenden Minima entspricht. Und letztere stören doch am meisten.

Ist die Performance im Spiel letztlich höher => gut, warum auch nicht. Wenigstens ist sie nicht geringer, als 'beworben' (in dem Fall durch ein Review natürlich).

zeckensack

2003-10-26, 16:52:39

*bump* (zwecks Aktualisierung des kaputten Forums ...)

Gaestle

2003-10-27, 16:19:35

Original geschrieben von PCGH_Thilo
nur: ich würde einen einzelnen wert nach unten oder oben auch nicht gerade als statistisch signifikat ansehen, wie das z. B. hardocp macht. das zeigt ja auch der thread bei b3d: durchschnitt ja, aber einzelne ausreisser sollte man mit vorsicht genießen. seh ich genauso.

Allerdings könnte sowas wie ein Konfidenzintervall (der Bereich, in dem 95% aller gemessenen Werte liegen) günstig sein. Man vermeidet die Ausreißer und gibt trotzdem einen halbwegs validen Überblick über das LeistungsSPEKTRUM.
Mir persönlich reichen Mittelwerte nicht wirklich.

Grüße

Snyder

2003-10-27, 16:37:21

bzgl. FRAPS und "Walkthroughs":

Schaut euch mal diesen Thread an, eine ziemlich gute Analyse von manuellen Durchläufen in FRAPS:

http://www.beyond3d.com/forum/viewtopic.php?t=7527

PCGH_Thilo

2003-10-27, 16:38:52

Original geschrieben von Gaestle
Allerdings könnte sowas wie ein Konfidenzintervall (der Bereich, in dem 95% aller gemessenen Werte liegen) günstig sein. Man vermeidet die Ausreißer und gibt trotzdem einen halbwegs validen Überblick über das LeistungsSPEKTRUM.
Mir persönlich reichen Mittelwerte nicht wirklich.

Grüße

95% hört sich nicht verkehrt an.

MadManniMan

2003-10-27, 16:40:37

Original geschrieben von PCGH_Thilo
95% hört sich nicht verkehrt an.

Tu umsetzen und ich mach dich Schrein groß! :massa:

Razor

2003-10-29, 08:54:54

Original geschrieben von zeckensack
Das ist wieder problematisch, weil subjektiv ;)
Ist eigentlich ganz ähnlich zu diesem:Original geschrieben von Razor
Der Weg darf im Prinzip nicht sein:
1) "Was will ich aussagen"
2) "Welche Benches nehme ich wie dafür"Nochmal zum oberen, wie willst du feststellen, ob du eine Karte unfair benachteiligst? Du kannst mit einer gewissen Erwartungshaltung herangehen, und davon ausgehen, daß Karte A "eigentlich so ca soundsoviel % schneller sein müßte", und dein Szenario so weit anpassen, bis dies auch 'gemessen' wird.

Nur ist das wirklich objektiv? :cop:Wer hat denn hier von 'Objektivität gesprochen ?
IMHO ist sogar unmöglich hier (wie auch überall sonst ;-) reine 'Objektivität' walten zu lassen. Genau hier setzt auch meine Kritik an Benches generell an (insbesondere bei noch subjetivieren 'Walkthroughs' !)...

Benches/Timedemos/Walkthroughs werden ausgewählt...
Nach welche Kriterien genau, sagt ja nun kein Reviewer dazu.
Insofern sollte man solche 'Reviews' immer ganzheitlich betrachten und damit unter Berücksichtigung aller (!) anderen Vergleiche. Erst dann ist es (wieder natürlich anhand der eigenen subjektiven Auffassungsgabe) möglich, ein relativ rundes Bild zu bekommen...

Nach Masse zu gewichten, ist aber ebenso 'gefährlich'...
"Leute eßt Scheiße, millionen Fliegen können sich nicht irren !"
;-)
Original geschrieben von zeckensack
In alter "Crusher"/"Quaver"-Tradition wäre ich wirklich dafür, Extremsituationen zu benchen, und den Mittelwert zu bilden, weil das IMO noch am ehesten den während eines normalen Spielablaufs zu erwartenden Minima entspricht. Und letztere stören doch am meisten.Was nu wieder stark subjektiv ist, oder ?
Nicht jeder geht gleich fröhlich online und stürzt sich mit hunterten von Gegnern ins Gefecht, oder ?

Wie gesagt: Auch hier gilt...
"Was will ich mit dem Bench/Review aussagen ?"
Original geschrieben von zeckensack
Ist die Performance im Spiel letztlich höher => gut, warum auch nicht. Wenigstens ist sie nicht geringer, als 'beworben' (in dem Fall durch ein Review natürlich). Aber gerade in Lastsituationen verhalten sich die GPU's sehr, sehr unterschiedlich. Die erste 'favorisiert' GPU-Hersteller 1, die nächste dann GPU-Hersteller 2. Es ist hier also sehr viel eher möglich, die 'falschen' Benches auszuwählen, als es bei weniger intensiven Scenen der Fall wäre.

-

Leider ist dieses Thema nicht allumfassend zu beantworten.
Letzlich sind Benches immer nur ein Krückstock, um Komponenten zu bewerten, die separat eigentlich gar nicht betrachtet werden können. Aber das steht auf einem anderen Blatt...

Razor