PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Angst vorm "bösen" Benchmark???


Radeonator
2002-07-09, 03:02:29
Mir ist etwas aufgefallen: Es gibt hier verdammt viele Leute, die auf jegliche Form von Benchmark fluchen.Warum ist das so und wie soll man die Leistung eine "Spiele" Graka denn sonst messen, wenn nicht mit spielen???

Es wird sich hier lieber in theoretischen Leistungen festgebissen, denn in realen Fakten.Die meisten Diskussionen gehen eindeutik in Richtung Grakas zum daddeln und nicht Richtung Workstation Berreich.Es belustigt mich immer wieder, wie viele einfach nur "Ach nee, damit benchest du, da hat doch gar keine Aussage" blah schreiben, selbst aber keine konkreten angaben machen, wie man es denn(ihrer Meinung nach ;) ) "richtig" machen könnte.

Dazu stelle man sich folgendes Szenario vor: User A Spielt gerne MaxPayne, Quake und Aquanox. Mit seiner alten HW bekommt er aber keine anständigen FPS zustande und die BQ ist eher mässig. Also schaut er nach welche Graka u.a. seine lieblings Daddeleien REAL schneller und schöner anzeigt.

Aber wenn ich mich hier und in anderen Teilen des Forums so durchlese, erzählen dann Leute die teilweise absolutes LowEnd ihr eigen nennen, wie Scheisse solche Benches sind, weil ja theoretisch Karte XYZ durch 4pipes bei 128 bit in bezug auf blah ganz toll sein muss. Was soll das?Wenn ihr selbst nur theoretisch von den möglichkeiten einer Hardware wisst, selbst aber noch ne Savage 4 benutzt, woher kommt das Wissen...;)

Also, liebe Helden des Forum Alltags, wie und womit muss man eurer Meinung nach die Leistung einer Graka in PRAXIS testen, um die ware Leistung zu ergründen ??? WPM (Words per minute)?

aths
2002-07-09, 04:07:19
Ich denke man sollte auch Game-Benchmarks nicht überbewerten. Diese werden ja selten in genau der Einstellung gebencht in der man dann wirklich spielen will. M.E. kann man nicht "die" Leistung einer Graka messen. Dass ich mich z.B. für GeForce4 entschied hat weniger was damit zu tun, dass die Karte in vielen Benchmark vorne liegt - denn das alleine hat ja wenig zu sagen. Sondern nach einem Betrachten der, hehe, Technik, war ich der Meinung dass es etwas "besseres" derzeit nicht zu kaufen gebe. Um aber zu entscheiden wie "gut" eine Karte ist, muss man sich vorher seine persönlichen Präferenzen im klaren sein. (Beispielsweise bereute ich nie, Voodoo4 statt GeForce2 MX gekauft zu haben, auch wenn letztere in Benchmarks die Nase meist um Längen vorne hatte.)

Radeonator
2002-07-09, 11:50:32
Warum wundert es mich nicht, das kaum replys gekommen sind ;)
Jo Aths, ich kaufe auch selbstredent net nach Benchmarks sondern eher nach bester Preis/Leistung.Hatte zuerst ne Radeon 8500er aber die Treiber waren das letzte :( mit meinem alten System Athlon+C-Media+GF3 machte ich zuoft Bekanntschaft mit dem infamous infinite loop error :(
Jetzt hab ich nen absolut Stabiles System, welches bei Bedarf sehr OC freudig ist :D

Trotzdeben würde es mich interessieren, wie die meisten "freunde des Pessimismus" die Leistung ihrer Karten feststellen...

Frank
2002-07-09, 12:15:39
Originally posted by Radeonator
Warum wundert es mich nicht, das kaum replys gekommen sind das ist normal bei kritischen Themen

daflow
2002-07-09, 12:30:13
>Jo Aths, ich kaufe auch selbstredent net nach Benchmarks sondern eher nach bester >Preis/Leistung.

Aehm;) ja,... aber WIE stellst du fest wie denn die Leistung ist?
Ihr koennt mir nicht erzählen das ihr das Board/chip... etc design hernehmt und euch dann ausrechnet wie denn die Performance ist... und selbst da hat sich schon gezeigt, dass die Theorie nicht mit der Praxis uebereinstimmt;

Ich gebs zu ich schau mir da schon benchmarks an, idealerweise zu den Spielen die ich gerne spiele und von Möglichst vielen Testern, dann ein bischen Forum lesen und schauen was die leute noch zu der karte sagen...fertig

und wie machts der rest ??? ;)

Gruesse,

PeTa

Birdman
2002-07-09, 12:40:34
Meine Kriterien sind Hauptsächlich Speed, Kompatibilität und Problemlosigkeit sowie BQ.

Wobei ich beim Speed recht start auf die brutalen nackten zahlen kukke, denn ich stehe vollkommen auf FSAA und in geringerem masse auf Aniso, und hier hat grundsätzliche die Karte die nase vorn, welche mehr rohleistung bringt.

Kompatible und problemlos muss die karte vor allem zu jedwelcher hardware und software sein, denn nix kotzt mich mehr an, als bei nem grakatausch noch das Mobo oder netzteil austauschen zu müssen, nur weil die das Ding so heikel tut.
Bei spielen bin ich fast noch heikler....wenn ich da rumpatchen und tüfteln muss bis es läuft, kotzt mich das an, und die hat mich damals bei der r200 zu angekotzt. hatte die karte ganz neu, war auf ner lan und wollte CS zocken. Ging natürlich nicht weil ich damals keine ahnung vom Ati-fix hatte, geschweige denn dieser Fix runterladbar war (kein Inet und grad keiner der ihn auf ner platte gehabt hätte).....
Damit hatte jemand bei mir extrem viel sympatie verspielt, obwohl es eine Abhilfe dagegen ja gegeben hätte

Bei der BQ kukk ich ned wirklich aufs 2D Bild, wenns schlecht aussieht kauf ich mir ne brille die das kaschiert.
Bei 3D bin ich jedoch äusserst abgeneigt gegen sichtbare MipMap stufen. Deswegen habe ich anno dazumals auch die V5 schon nach wenigen tagen wieder aus dem rechner genommen, denn diese konnte (damals) kein trilineares filtern (unter multitexturing) und das Mipmap dithering war noch fast schlimmer als nur bilinear.
Zumindest war quake3 damit ein übles kotzbrockenzeugs und für mich DER grund, die karte auf den müll zu kippen.

cyjoe
2002-07-09, 12:44:14
Was nutzts mir, wenn meine Graka am schnellsten unter 3dmark2001 ist? Schau ich mir dann den ganzen Tag Car Chase Low, High, Dragothic und was sonst noch alles an und freu mich wie wenig es ruckelt?
Wenn so ein Benchmark wenigstens so repräsantiv wäre, dass die Spielehersteller sagen können: ab 6000 3dmarks, dann ist dieses Spiel unter den gewählten Bedingungen auf ihrem Rechner spielbar, ja DANN hätte so ein Bench einen Sinn... Macht aber keiner - warum?

Beliebter Bench nr2: Q3A
Wisst ihr schon, wem es eigentlich ziemlich egal ist, ob seine Karte nun 199 oder 130 fps in Q3A macht? Richtig geraten :)

Spielehersteller, baut gute Benchmöglichkeiten in eure SPIELE ein, dann lass ich mit mir über Benchmarks reden

daflow
2002-07-09, 13:17:00
...hm kann es sein das ihr der eigentlichen Frage ausweicht??? ;)
Also das ihr von benches nix haltet schoen, aber nun sagt doch bitte wenigstens einer WIE er nun ein(en) chip/Karte beurteilt ??? sprich diese onminoese 'rohleistung'

>Wisst ihr schon, wem es eigentlich ziemlich egal ist, ob seine Karte nun 199 oder 130 fps in >Q3A macht

Schoen interessiert mich ja eigentlich auch net ( bekennender Q3 Hasser ;)) )
Aber genau bei diesen Benches von Shootern sieht man doch dann ob da mehr 'rohleistung' da iss, oder nich? fps='rohleistung' fuer mich; Da gibts sicher viele optimierte Benches oder verfälschte Ergebnisse,
aber wenn 95% der Tester in 95% der faelle einfach 30% mehr 'Leistung' im Sinne von Frames als Ergebniss zeigen, lasse ich mich ehrlich gesagt davon beeindrucken;

Also die Frage steht noch immer offen:

>>wie und womit muss man eurer Meinung nach die Leistung einer Graka in PRAXIS testen, >>um die ware Leistung zu ergründen???

Gruessing,

PeTa

cyjoe
2002-07-09, 13:30:50
mit nwn, morrowind, gore, rtcw, sof2 unter hohen auflösungen und/oder FSAA und AF

daflow
2002-07-09, 13:46:16
>>mit nwn, morrowind, gore, rtcw, sof2 unter hohen auflösungen und/oder FSAA und AF
...na also ;) das doch endlich mal ne Aussage;
also gehts dir ja letztendlich doch auch um die fps bei Spielbenches... dann allerdings duerfte der zwieblelmurks ja auch nich soooo weit hergeholt sein, der macht ja auch nix anderes als in verschiedenen Spielen in verschiedener Qualitaet die Frames zu messen und mit irgendeiner Formel in Punkte auszudruecken; ob da jetzt 50 mehr oder weniger sind sollt net stoeren, aber obs jetzt 10000 oder 5000 sind sagt meiner Ansicht nach schon auch deutlich was ueber die generelle Performance des systems aus, genauso wie die 200 vs 130 Frames bei Quake, da sieht niemand den unteschied, sagt aber was ueber Performance aus;)

Gruss,

PeTa

Exxtreme
2002-07-09, 13:49:22
Originally posted by PeTa
>>mit nwn, morrowind, gore, rtcw, sof2 unter hohen auflösungen und/oder FSAA und AF
dann allerdings duerfte der zwieblelmurks ja auch nich soooo weit hergeholt sein, der macht ja auch nix anderes als in verschiedenen Spielen in verschiedener Qualitaet die Frames zu messen und mit irgendeiner Formel in Punkte auszudruecken;
Gruss,

PeTa
Nicht wirklich. ;)
3DMark ist KEIN Spiel sondern eigenlich nur eine Grafikdemo und deswegen für die Praxis irrelevant, IMHO. Ich habe nichts gegen Benchmarks echter Spiele.

Gruß
Alex

Andre
2002-07-09, 13:50:36
Originally posted by cyjoe
mit nwn, morrowind, gore, rtcw, sof2 unter hohen auflösungen und/oder FSAA und AF

Err, cyjoe:

NWN = interne FPS-Limitierung

RTCW = CPU-limitiert

SOF2 = CPU-limitiert

Nicht grade die Paradebeispiele für die Bestimmung einer Rohleistung.
Klar und 1600 x 1200 mit FSAA/AF wirds dann natürlich auch für die Graka ziemlich eng.
Aber so richtig sinnvoll sind die obengenannten Games zur Bestimmung einer Rohleistung des Chips nicht wirklich.

daflow
2002-07-09, 13:59:52
>3DMark ist KEIN Spiel sondern eigenlich nur eine Grafikdemo und deswegen für die Praxis >irrelevant, IMHO.

Also die szenen die im murks gerendert werden, werden die nicht aehnlich gerendert wie bei 'echten' Spielen? UND: letzetendlich iss es doch so das die Leutz mit den dicken systemen auch die dicken Punkte haben ;)
(auch wenns theoretisch mit der Praxis nix zu tuhen haben sollte) ;)

>Ich habe nichts gegen Benchmarks echter Spiele.

Danke der Zeuge ist entlassen ;)


Gruesse,

PeTa

cyjoe
2002-07-09, 14:10:22
Originally posted by Andre


Err, cyjoe:

NWN = interne FPS-Limitierung

RTCW = CPU-limitiert

SOF2 = CPU-limitiert


kuhl, dann brauch ich erstmal ja gar keine neue grafikkarte :) - bzw nur eine auf r200/gf3 niveau

cyjoe
2002-07-09, 14:13:07
Originally posted by PeTa
Also die szenen die im murks gerendert werden, werden die nicht aehnlich gerendert wie bei 'echten' Spielen? UND: letzetendlich iss es doch so das die Leutz mit den dicken systemen auch die dicken Punkte haben ;)

naja, es sind die leute mit den ATi und nV karten, die die dicken Punkte haben... eine K2, die in 3dmark2k1 grauenhaft abschneidet, kann in "richtigen" Spielen dennnoch schneller als eine gf2ultra sein, die den 3dmark2001 um welten schneller rendert

LovesuckZ
2002-07-09, 14:25:45
Originally posted by cyjoe
eine K2, die in 3dmark2k1 grauenhaft abschneidet, kann in "richtigen" Spielen dennnoch schneller als eine gf2ultra sein, die den 3dmark2001 um welten schneller rendert

Kannst du mal bitte 3, 4 Spiele nennen. Und bitte kein UT.

cyjoe
2002-07-09, 14:43:28
lt Hartware.net:

Return to Castle Wolfenstein HighQ 32 Bit
Pentium 4 2533, i850E, 256MB PC1066, Windows 2000
1024x768

Serious Sam 32Bit
Pentium 4 2533, i850E, 256MB PC1066, Windows 2000
1024x768
(ok hier nur ein frame :D, also eher gleich schnell)

das sind jetzt nur 2 - aber ich würde sagen, wenn die k2 in rtcw derart gut abschneidet, kann man auch sof2 oder jk2 dazuzählen, aber da möchte ich mich nicht festlegen
Und warum kein UT? es gibt immernoch gute Spiele, die auf der UT engine basieren

Matrix316
2002-07-09, 14:49:46
Originally posted by LovesuckZ


Kannst du mal bitte 3, 4 Spiele nennen. Und bitte kein UT.

Genau! ;D Es ist immer wieder lustig wenn Leute mit Unreal Tournament ankommen und dann rumpralen wie schnell doch ihre Kyro II so ist (nur als Beispiel)... :D

Auch nix bringen Benchmarks die auf bestimmte Karten optimiert sind (Village dingens oder so). Jedoch 3DMark ist eigentlich nicht optimiert in dem Sinne, sondern er verlangt einfach nach einer T&L Karte und bei 2001(SE) auch nach Direct X 8(.1) Hardware.

Ich finde als Benchmarks sollte man einerseits diese Spiele nehmen die am weitesten verbreitet sind, denn Benchmarks sollen ja zwar eigentlich nur zeigen wie schnell DIESE Karte im Vergleich zu JENER Karte ist aber damit man das ausprobieren kann, wäre es schon gut wenn man selbst auch diese Spiele hat.

Andererseits haben auch Treiber und andere Faktoren ein Wörtchen bei den FPS mitzureden, so dass man beim Benchen auf absolut Identische Hardware und Software setzten sollte.

daflow
2002-07-09, 14:50:53
Ok ;) bei der K2 mag der zwieblmark nicht unbedingt der Hit sein, wobei der K2 ja seine hohe Performance ja nicht durch seine 'Power' sondern mehr durch resourcensparende Fetures(s)
gegenueber anderen GraKa behaupten kann, diese kommen aber wohl im Murks nicht zur Geltung :(

Gruesse,
PeTa

Lightning
2002-07-09, 15:01:48
Originally posted by Matrix316
Jedoch 3DMark ist eigentlich nicht optimiert in dem Sinne, sondern er verlangt einfach nach einer T&L Karte und bei 2001(SE) auch nach Direct X 8(.1) Hardware.


Na dann ist es doch ganz klar eine Optimierung auf Karten, die T&L haben. Kein anderes Spiel vordert das so extrem.

Simon Moon
2002-07-09, 15:32:11
Originally posted by LovesuckZ


Kannst du mal bitte 3, 4 Spiele nennen. Und bitte kein UT.

Deus Ex, Ultima 9, UT2003... Hier ist die Ultra überall drastisch langsamer im Verhältnis zu den 3DMark benchs.


Aber mal ums klar auszudrücken. Mit meiner alten Hercules MX hätte ich ein besseres System gehabt, nacht 3DMark, denn mit meiner Hercules Kyro2... öh natürlich.

Im endeffekt kommt es mir sowieso nur drauf an, dass es flüssig ist und da sind mir fps mittlerweile wieder mehr oder weniger egal...

zeckensack
2002-07-09, 15:47:26
Benchmarks fälsche ich immer selbst. Ich schmeiße ein Spiel an, gehe an bestimmte Positionen in bestimmten Levels und schiele auf den Framecounter.

Da die ganzen Online- und Printpublikationen eine ganz andere Methode haben, kann ich natürlich auf diese Weise mein eigenes System nicht mit einem anderen vergleichen. Das ist zwar unpraktisch, aber ich kann halt nichts dagegen machen ... immerhin bleibt mir der Vergleich mit meinem letzten System. Ich kann ermitteln wo ich CPU-limitiert bin, ab welcher Auflösung der Grafikkarte die Luft aus geht usw ...

Ich will wissen, wie ein System in einem Spiel läuft, also kann ich auch nur Messungen, die in einem Spiel gemacht werden für voll nehmen.

Nur mal so als Denkanstoß:
1)Q3A-Timedemos (und andere ähnlich konzipierte Benchmarks) laufen zehnmal so schnell ab, wie sie aufgenommen wurden, und berechnen auch nichts, wird alles nur abgespult.
2)3DMurks kann prima Füllrate messen, der Rest ist wurscht, weil kein Bezug zu einem real existierenden Spiel.
Unreal Timedemos (und SeSam) sind halbwegs nützlich, weil sie eine Min-fps-Angabe ausspucken. Diese wird in Graka-'Tests' jedoch nie angegeben.
3)Alle Spiele mit Benchmarkfunktion (bis auf U/UT, SeSam) spucken eine Durchschnittliche fps-Zahl aus. Diese ist völlig irrelevant, daher auch IMO nicht publikationswürdig. Im 3DMurks läuft's übrigens auch so, daß nur die Durchschnitts-fps in die 'Bewertung' einfließen.

cyjoe
2002-07-09, 16:00:27
hätte ich nur nach 3dmark geurteilt, hätte ich mir damals ne gf2mx und keine k2 gekauft. Damit wäre ich nur nicht annähernd so glücklich gewesen ;) - aber ich hätte mehr 3dmarks. Daher *kann* so ein synthetischer Benchmark sogar zu fehlurteilen führen.

Unreg38
2002-07-09, 16:46:35
Originally posted by zeckensack
Unreal Timedemos (und SeSam) sind halbwegs nützlich, weil sie eine Min-fps-Angabe ausspucken. Diese wird in Graka-'Tests' jedoch nie angegeben.


Das die minimalen FPS bei Tests nie angegeben werden, nervt mich immer wieder! Was bringen mir 200 Frames im Durchschnitt, wenn das Game an manchen Stellen nur noch 2 FPS hat?!?

nggalai
2002-07-09, 17:16:59
Hi there,

Z-Bag hat's mit den schönen Worten "Benchmarks fälsche ich immer selbst" eigentlich perfekt zusammengefasst. :) Unkommentierte Benchmarks bringen rein gar nichts--leider läuft das bei Tests in der Regel so ab, dass einfach mal Zahlen gepostet werden. Aktuelles Beispiel: Wenn Daniel nicht erklärt hätte, was denn genau bei Anands UT2003Demo-Benches tatsächlich abgeht (i.e. Fly-by Modus ohne Bots), hätte hier noch immer niemand eine Ahnung, was denn da gebencht wurde. Man sieht die Zahlen und denkt sich was dabei, obwohl die Zahlen kaum Praxisrelevanz besitzen. Dafür kann man dann schöne Balkendiagramme malen. Na toll.

Ich persönlich bevorzuge da eigenes Probespielen, und im Vorfeld einige KOMMENTIERTE Benches ausgewählter Seiten, die auch über die Ergebnisse Aufschluss geben können und nicht einfach nur Resultate in den Raum stellen. In dem Rahmen wären mehr Spiele-Benches à la 3DC nett, sowie ein paar theoretische Benchmarks als Diskussionsgrundlage.

ta,
-Sascha.rb

InsaneDruid
2002-07-09, 17:59:54
Ich finde auch die MIN FPS sagen viel mehr über die Leistungsfähigkeit einer Karte aus als irgendwelche average Grütze. Kann mich da den Vorrednern(-schreibern) nur anschliessen, was nützen 80 fps average in irgenwelchen Benches, wenn es dann an kritischen Stellen auf 10-20 wegbricht und dann auf 300 hochschnellt?

UT ist da wirklich schön aussagekräftig, nur leider recht CPU limitiert.
Für Games die nur average Werte ausspucken ist es deswegn IMHO besonders wichtig möglichst agressive Szenarien für Demos zu benutzen. Die gute alte Crusher Demo für Quake2 war zb so ein Fall.
Oder in GPL: 19CPU Fahrer und dann vom letzten Startplatz aus den Start beobachten - nur dort geht auch auf modernen Systemen die FPS unter die 36FPS (maximaler GPL Wert).
In Il2 macht sich zb ne Quickmission in extrem niedriger Höhe über Waldgebieten mit ein paar Raketen ganz gut etc.

Die üblichen Q3, Aquamark und 3dmurks Werte beschreiben die wirkliche Leistungsfähigkeit jedenfalls eher schlecht. Obwohl die dort dominierenden GF4s WIRKLICH die fixesten Karten sind, aber die Karten die laut dieser Tests totaler Müll sein müssten sind oft ziemlich gut in anderen Spielen unterwegs. Am besten ist da einfach: selber testen, und zwar mit den Einstellungen und in den Games/Apps die man selbst am meisten benutzt. Is nur leider nicht immer machbar :(

Exxtreme
2002-07-09, 18:33:28
Sodele, jetzt poste ich meinen Kram zu diesem Thema.
Minimale Frameraten anzugeben ist zwar schön und gut, nur da kann es nur einen geben. Einen einzigen Wert. Das Problem ist, daß man nicht richtig weiss wie dieser Wert zustande kommt. Ist die GraKa schuld oder hat in dem Augenblick die Platte kurz gerödelt (man kennt Windows ja ;) )? Es könnten aber auch andere Faktoren eine Rolle spielen. Deswegen ist die die Angabe der minimalen Framerate immer mit Vorsicht zu geniessen.

Gruss
Alex

Xmas
2002-07-09, 18:42:14
Hm, man müsste vielleicht statistisch an die Sache herangehen und zum Mittelwert auch noch die Standardabweichung angeben ;)

zeckensack
2002-07-09, 18:53:52
Originally posted by Exxtreme
Sodele, jetzt poste ich meinen Kram zu diesem Thema.
Minimale Frameraten anzugeben ist zwar schön und gut, nur da kann es nur einen geben. Einen einzigen Wert. Das Problem ist, daß man nicht richtig weiss wie dieser Wert zustande kommt. Ist die GraKa schuld oder hat in dem Augenblick die Platte kurz gerödelt (man kennt Windows ja ;) )? Es könnten aber auch andere Faktoren eine Rolle spielen. Deswegen ist die die Angabe der minimalen Framerate immer mit Vorsicht zu geniessen.

Gruss
Alex Deswegen empfehle ich ja auch meine Methode :naughty:
Hinstellen und schauen. Der fps-Counter pendelt sich idR auf einen brauchbaren Wert ein, im Stehen gibt es sowas wie kurze Ruckler halt nicht.

Und die min-Werte in Demos sind normalerweise über 1 Sekunde gemittelt (U/UT) oder anderweitig 'brauchbar gemacht' (SeSam, sustained minimum), wodurch das Problem minimiert wird :)