Was mich an Grafikkarten-Tests stört - ein Gegenvorschlag

[Ceiser Söze]

Möglicherweise interessiert dies gar kein Mensch, aber ich habe im Moment viel Zeit übrig und zudem ein Mitteilungsbedürfnis, also schreibe ich es trotzdem hin :D

Es geht (natürlich) um das leidige Thema der „korrekten“ GraKa-Tests. Der aktuelle Rummel um den Radeon 8500 mit den auf Beta-Boards gemachten Benches und um die neuen Detonatoren hat mich dazu gebracht, wieder einmal über das Thema nachzudenken. In meinen Augen stimmt da nämlich einiges nicht:
Das Problem liegt hauptsächlich daran, dass heute noch getestet wird, wie man es zu Voodoo2-Zeiten gemacht hat. Sprich: In immer drei gleichen Applikationen (bevorzugt Quake3 Arena, 3Dmark und UT) werden einfach alle Auflösungen von 640x480x32 bis 1600x1200x32 durchgecheckt und das war’s dann auch schon. Manchmal kommen noch 16bit-Benches zum Zug, über deren Sinn man sich heute auch streiten kann. Die Ergebnisse werden dann mit den Ergebnissen anderer Grafikkarten verglichen und das schnellere ist automatisch auch das bessere Produkt. Dann werden noch kurz alle wichtigen Features einer Karte genannt, wobei bevorzugt die offiziellen Whitepapers des Herstellers ein wenig paraphrasiert werden und fertig ist der Test.

Doch so sollte man in meinen Augen heute keine Grafikkarte mehr testen. Die Zeiten haben sich geändert und dementsprechend sollte man anders vorgehen. Ich habe mir ein Paar (möglicherweise ziemlich radikal klingende) Punkte notiert, die geändert werden sollten:

Keine direkten Performancevergleiche mit anderen Produkten mehr, zumindest bei HighEnd-Karten: Dies wird vermutlich den meisten unverständlich erscheinen, aber in meinen Augen ist dieser Schritt nicht nur sinnvoll, sondern dringendst nötig. Wir leben nicht mehr in Voodoo2-Zeiten, wo sich die Framrate zwischen 20 und 30 Frames bewegte und die Grenze zum Unspielbaren daher immer sehr nah lag und ein Vergleich auch sinnvoll war. Aktuelle HighEnd-Karten sind problemlos in der Lage, in den meisten Auflösungen Frameraten von über 60Fps zu liefern (bzw. ca. 40 Frames in „gemächlicheren“ Titeln wie Deus Ex & Co. wo dies problemlos ausreicht). Damit erübrigt sich auch ein Vergleich, denn ab 60Fps erkennt das menschliche Auge keine Unterschiede mehr – diese Behauptung ist wissenschaftlich erhärtet (ich wette, dass jetzt trotzdem irgendwelche Quaker daherkommen und behaupten, sie sähen angeblich einen Unterschied zwischen 150Fps und 180Fps). Ein weiterer Grund, weshalb ich keine Vergleiche will, ist psychologischer Natur: Benchmarks sind viel zu mächtig. Es ist eine gängige Praxis bei den Lesern, sich ein Review gar nicht genau durchzulesen, sondern nur schnell die Benchmark-Charts anzusehen und sich dann eine Meinung zu bilden, nämlich: „Das schnellste Produkt ist das Beste!“ Auch wenn das zweitschnellste mit nur 150 Frames statt 160 vielleicht andere Vorteile jenseits von Performance hat.

Damit komme ich zum zweiten Punkt: Mehr Macht den sinnvollen Features. Eine Grafikkarte ist heute nicht mehr nur ein „Beschleuniger“, sondern bietet Dutzende Features, wobei v.A. die Sinnvollen (d.h. in praktisch jedem Spiel einsetzbaren) wie FSAA oder anisotropisches Filtering mehr Beachtung verdient haben. Auch andere Dinge wie Bildqualität, und DVD-Wiedergabe sollten in Reviews stärker gewichtet werden. Eine schlechte Bildqualität nimmt man nämlich viel eher wahr, als ein Unterschied von 10 Fps (80 statt 90...oder so).

Der dritte Punkt verlangt mehr „spielbar / unspielbar-Tests“ statt pedantisches, auf zwei Stellen nach dem Komma gerundetes Benchen. Da gewisse Hersteller angefangen haben, ihre Treiber auf zum Benchen bevorzugte Titel zu optimieren, sind faire Messungen sowieso nicht mehr möglich Was nützen mir 150 statt 140 Frames in Quake3 Arena Demo001, wenn dafür Giants plötzlich an Performance verliert (siehe Radeon8500 Preview auf Tomshardware)? Ich fordere daher, dass man statt 5 Spiele zu benchen besser 15 Spiele nach folgenden Kriterien testet: Ist das Spiel spielbar oder nicht (von Auge messen, nicht per Timedemo)? Treten Grafikfehler auf? Gibt es unnatürliche Slowdowns? Andere Probleme (Abstürze, Kompatibilitätsprobleme etc.)? Dadurch wird ein viel breiteres Spektrum abgedeckt, als wenn immer die 5 gleichen Programme gebencht werden und schummeln seitens des Herstellers ist auch nicht mehr möglich.

Mehr technische Analyse statt Hype: Der letzte Punkt möchte ich an einem konkreten Beispiel erläutern: Ende 1999 war T&L das Thema und alle Sites und Magazine versprachen damit die zweite Offenbarung. Mit einer Ausnahme: Beyond3D äusserte sich als einzige Site kritisch zu dem Thema, nachdem das Team dort die GeForce T&L-Unit genau unter die Lupe genommen hatten. Sie kamen zum Schluss, dass die T&L-Unit an einigen Schwächen litt (unflexibel, unbrauchbar langsamer Lighting-Teil, zuwenig Bandbreite auf dem AGP-Bus für den Rasterizer und die T&L-Unit) und eine viel höhere Darstellungsqualität durch Hardware-T&L daher in den kommenden Monaten nicht zu erwarten sei. Mittlerweile muss man zugeben, dass Beyond3D Recht hatte. Und wenn mehr als nur eine Site das Thema so kritisch angegangen wäre, hätte aus dem ungerechtfertigten Hype nichts werden können. Ich fordere daher, dass die Hardware-Redakteure mehr Zeit in die Analyse neuer Features investieren sollen, statt einen Benchmark nach dem anderen durchlaufen zu lassen. Dies ist zwar anspruchsvoller und aufwendiger, aber zweifellos auch nötiger.

So, ich habe fertig. Wer bis hierher durchgehalten hat und sich ebenfalls zum Thema äussern möchte, soll das doch bitte tun. Wenn mich euer Feedback nicht interessieren würde, hätte ich mir nämlich kaum Zeit für dieses Mega-Posting gemacht ;)

[Tigershark]

Also lieber Ceiser,


das halte ich für wirklich eine klasse Idee ! ;)

Und zwar JEDER einzelne, noch so kleine Punkt. Wenn ich die Zeit hätte und Hardware testen würde, ich hätte es auch so machen wollen.
Am besten wäre es ja, wenn Du so anfängst auf Deiner Seite, dann ziehen vielleicht ( HOFFENTLICH !! ) ein paar andere Seiten nach ( zumindest die, die NICHT von NV gesponsort sind :D ).
Und sooooo wenige Leute lesen dieses Forum hier ja auch nicht....

Ich bin auf jeden Fall Deiner Meinung und ich hoffe dass sich da mal was ändert.


Gruß, Tiger.

[Ceiser Söze]

Ich werde bei meinen zukünftigen Tests auf within3D definitiv nach genannten Punkten vorgehen. Es geht mir dabei gar nicht darum, anti-nVidia (oder wer auch immer die Performancekrone hat) Artikel zu schreiben, aber ich finde, dass ein Test, der die oben genannten Punkte berücksichtigt, ein praxisnaheres und faireres Resultat liefert.

[Leonidas]

Minimaler Haken: Mit eingeschaltetem anisotrop und FSAA hast Du eben *nicht* meine Deine sorgenfreien 60 fps ...

[Korak]

Natürlich kann man Spiele auf den Grakas laufen lassen und ohne Framecounter sagen, dass es flüssig ist oder nicht. Nur wenn es dann doch große unterschiede gibt sind diese nicht feststellbar z.B. eine karte liefert 60fps die andere 120fps das wird man in manchen Progs nicht sehen. Es kann aber als Argument für die Zukunftssicherheit einer Graka gewertet werden.

Bei den heutigen Benches denk ich auch manchmal was sich Tester dabei denken. Man lässt Q3 in 640*480 in 16 bit laufen---> total unrealistisch, als nächstes in 1024*768*16bit---> toll eine Graka schaft 130fps die andere 140fps (den Unterschied krigt man mit Overclocking weg;)), dann kommt 1600*1200*16bit----> wenn es da dann große Unterschiede gibt ist das schon wichtiger. Wenn dann die ganzen Tests in 32bit durchgefürt werden fängt das Ganze wieder von forne an. Am Ende interessieren mich nur 2 Werte 1024*768 und 1600*1200 beides 32bit oder was denken die in welcher Farbtiefe ich mit einer Highend Graka zocken will?

Q3 kann man eigentlich aus der Benchmarkreihe streichen. Der Bench ist doch total unwichtig geworden. Lieber ein paar Games mit selten genutzten Features dazu nehmen z.B. Colin McRea (?) 2.0 es nutzt glaub ich als einziges Prog Cube Mapping. 3DConcept hat es mal verwendet als es die GeF2U getestet hat.

Zusätzlich zu den ganzen öden Eintagsbenchmarks sollte man das ganze auch noch mit den neusten Filtermethoden testen. Also Anistotropik oder ähnliches, FSAA nicht vergessen. Und davon macht man dann am besten schöne Bildchen damit der 'Leser' auch selber von der Darstellungsquallität der Graka überzeugen kann.

Und dazu kann man auch sagen, dass es so viele aktuelle Progs ohne Benchmarkfunktion gibt. Diese Programme interessieren aber trotzdem und da sollte man wieder subjektive 'Benchen'. Und auch wieder hübsche Bildchen machen damit sich der User davon überzeugen kann wie gut denn die Karte nun ist.
Digit-Life amcht das finde ich sehr gut. Die nehmen alle möglichen Games und suchen nach Darstellungsfehlern. So z.B. Die Fehler der Radeon bei Sacrifice oder ähnliches.

Also kann man zusammen fassen, dass bei Benchmarks nicht alle Werte die die Leistungsfähigkeit des menschlichen Auges übersteigen einfach ignoriert werden können.
, dass man möglichst viele Games benched und sich auch Progs ohne Benchmarkfunktion genau anschaut.


Wenn ich das mit zuviel Durcheinander und Rechtschreibfehlern geschrieben hab tuts mir leid, ich bin noch nich ganz wach :)

[Ceiser Söze]

Ich möchte wie schon gesagt den Benchmark nicht abschaffen, sondern bloss seine Allmacht brechen. Das Problem liegt doch ganz einfach darin, dass in Tests nur auf Benchmark-Charts geschaut wird (vermutlich sind die Leute zu faul zum lesen) und 70% einer Kaufentscheidung davon abhängen. Man sieht es ja in jedem Forum: Es wird überall sofort gejubelt, wenn eine Karte 5% schneller ist als eine andere, aber tolle Features wie z.B. das Rotated Grid SuperSampling der Voodoo5 oder das interne TrueColor-Rendering des Kyros werden nur am Rande erwähnt oder gar belächelt. Dabei gehe ich jede Wette ein, dass man einen grösseren Unterschied zwischen 0xFSAA und 2xFSAA wahrnimmt als zwischen 50 und 60 Frames.
Natürlich wird das Testverfahren bei absoluten HighQuality-Tests problematisch, da hier die Framerate möglicherweise auf 40Fps und tiefer sinkt. Aber traurig ist ja, dass in 90% der Reviews gar keine solchen Tests vorkommen(z.B. anisotropisches Filtering und FSAA kombiniert).

Ich bin einfach der Meinung, dass die zu mächtige Position des Benchmarks in Reviews nur so geschwächt werden kann, indem konsequent auf Vergleichswerte verzichtet wird. Dadurch muss der Leser die Benchmark-Chart nämlich etwas genauer betrachten und sich auch Gedanken zu machen. Ein schneller Blick und ein "Aha, Produkt X ist schneller, also ist es besser" genügt da nicht mehr. Die Lösung ist sicher in gewissen Fällen nicht optimal, aber sie regt den Leser zum bewussten Lesen an, was ich für wichtiger als alles andere halte. Nur schnell die Benchmark-Charts zu überfliegen geht nicht mehr - ein solcher Test muss ganz gelesen werden. Und danach hat der Leser auch ein genaueres Bild der Karte und nicht nur ein Paar Vergleichswerte, die für eine endgültige Beurteilung nie und nimmer ausreichen.

Was das "Höhere Werte = Zukunftssicherheit der Karte" betrifft: Ich halte das persönlich für Schwachsinn, da eine HighEnd-Karte mindestens ein Jahr lang problemlos jedes Spieel flüssig auf den Monitor zaubern kann (eine GeForce2 GTS 64Mbyte reicht heute problemlos aus - ebenfalls eine Voodoo5). Ein gewöhnlicher User kauft sich in den meisten Fällen ein neues Produkt, bevor sein altes zu langsam ist...

[Unregistered]

Tja, Leute...

Was soll man dazu sagen ?

Sicherlich sind 180fps kein Sinnvolles 'Feature' mehr...
Aber mal ganz ehrlich:

ATI wollte einen Beschleuniger bauen, der 33% schneller ist, als alles, was zur Zeit am Markt ist, resp. die GeForce3, die ja wohl offensichtlich das Ziel dieser Aussage war...

Das beste Kaufargument ist nun mal die Geschwindigkeit, oder wie ist es zu erklären, daß so etwas wie eine gf2u für lockere 1400DM zu verkaufen war ?

Nun konnte ATI dieses Ziel mit ihren Beta-Boards/Treibern (?) nun nicht erreichen und überall wir plötzlich gesagt:
"Wir wollen ja gar nicht die schnellste Karte" und "Man muß doch auch die Qualität und die Features berücksichtigen".
Hmmm...

Na was denn nun ?
Selbst eine gf3 (habe selber eine) kommt an ihre Leistungsgrenzen (nicht unbedingt bei Q3 ;-)... Warum soll also die Geschwindigkeit kein Argument mehr sein ?

Klar sollte man nicht nur Q3, UT und 3DMark nutzen um die Spiele-Tauglichkeit zu testen, ein breit ausgelegter Test ist absolut unumgänglich (siehe z.Bsp. die Tests auf 3DConcept).

Ich liebe es zum Beispiel, mit 32-Bit, FSAA und AnisoFilter zu Spielen, auch hab' ich dann und wann das Besdürfnis, meine gute alte Revelator3D anzuschmeißen und 'richtiges' 3D zu erleben...

Die 180fps von Q3 gehen dann sehr schnell auf unter 60fps (meiner Meinung nach notwendige durchschnitts Geschwindigkeit). Also ist die Aussage 180fps (ohne Features) letztendlich auch die Aussage: Mit ALLEN features spielbar ! Wenn diese Aussage nun nicht mehr gemacht würde, dann nützt mit die Aussage: "Bei 1024x768x32 spielbar !" überhaupt nichts !!!

Ich bin der Meinung das Tests vielfältiger ausgelegt werden, somit die klassischen Benchmarks NEBEN Feature-Vergleich zu stellen und nicht das eine der Masss vorenthalten, weil es ev einen psychologischen Effekt auf die Leser hat.

Ich HASSE es regelrecht, wenn Leute glauben, daß man Informationen in einer bestimmter Weise darstellen muß, damit die Masse es dann auch richtig versteht. Ich habe nichts dagegen, neue Ansätze zu finden, aber bitte nicht die Informationen verdrehen. Der Leser wird (je nach Intention) schon die richtigen Info's heraus ziehen, ihn zu entmündigen halte ich für falsch !

Wenn jemanden die Gechwindigkeit wichtig ist, das ist das seine Sache, nicht aber die des Hardware-Testers.

In diesem Sinne...

Razor

[StefanV]

@Ceisar

Dann schau dir jetzt mal MoBo Tests an...

Wenn ich das so sehe, da sträuben sich bei mir die Haare...

WAS WILL MAN DENN BITTE SCHÖN DA RAUSBENCHEN???

Das das eine Board 0,1 Prozent schneller ist als das andere???

Das ist doch NOCH Hirnrissiger...

Jedenfalls wird mit dem Benchen 'etwas' übertrieben...

Mal nebenbei bemerkt, die einzig wahren Tests waren nur auf 3DConcept und 3DCenter...

Wobei bei letzterem die Tests nicht sooo gut sind, da das verwendete Celleron 850 System IMHO 'etwas' lahm ist...

Dafür werden die Tests jetzt 'etwas' besser ;)...

PS: ein 'CPU Scaling Test' fehlt aber noch hier in den Tests ;)...

[Unregistered]

Originally posted by Ceiser Söze
Keine direkten Performancevergleiche mit anderen Produkten mehr, zumindest bei HighEnd-Karten: Dies wird vermutlich den meisten unverständlich erscheinen, aber in meinen Augen ist dieser Schritt nicht nur sinnvoll, sondern dringendst nötig. Wir leben nicht mehr in Voodoo2-Zeiten, wo sich die Framrate zwischen 20 und 30 Frames bewegte und die Grenze zum Unspielbaren daher immer sehr nah lag und ein Vergleich auch sinnvoll war. Aktuelle HighEnd-Karten sind problemlos in der Lage, in den meisten Auflösungen Frameraten von über 60Fps zu liefern (bzw. ca. 40 Frames in „gemächlicheren“ Titeln wie Deus Ex & Co. wo dies problemlos ausreicht). Damit erübrigt sich auch ein Vergleich, denn ab 60Fps erkennt das menschliche Auge keine Unterschiede mehr – diese Behauptung ist wissenschaftlich erhärtet

SONY hat das mal für IMAX gecheckt, gemäss denen gibt es Menschen, welche 60 von 80 fps unterscheiden können. Ausserdem bedeuten durchschnittliche 60 fps nicht, dass sich das Spiel flüssig spielen lässt. Wichtig sind die Tiefstwerte.

Abgesehen davon haben selbst die schnellsten Grafikkarten Leistungsprobleme mit aktiviertem FSAA und besserem Filtering sowie neueren 3D-Engines. Von daher sind Leistungsvergleiche äusserst wichtig und dürfen in keinem Grafikkarten-Test fehlen. Wichtig ist, WAS verglichen wird. 16bit-Werte zu vergleichen ist heute reichlich sinnlos, FSAA Vergleichstests dürfen bei High-End-Karten dagegen nicht mehr fehlen.


Mehr technische Analyse statt Hype: Der letzte Punkt möchte ich an einem konkreten Beispiel erläutern: Ende 1999 war T&L das Thema und alle Sites und Magazine versprachen damit die zweite Offenbarung. Mit einer Ausnahme: Beyond3D äusserte sich als einzige Site kritisch zu dem Thema, nachdem das Team dort die GeForce T&L-Unit genau unter die Lupe genommen hatten. Sie kamen zum Schluss, dass die T&L-Unit an einigen Schwächen litt (unflexibel, unbrauchbar langsamer Lighting-Teil, zuwenig Bandbreite auf dem AGP-Bus für den Rasterizer und die T&L-Unit) und eine viel höhere Darstellungsqualität durch Hardware-T&L daher in den kommenden Monaten nicht zu erwarten sei

Seien wir ehrlich - wer hat den schon den Durchblick durch die vielen neuen Technologien? Die meisten Website-Betreiber sind normale Kunden mit einem Job ausserhalb der Industrie, manchmal Studenten. Der angesprochene T&L-Artikel von Beyond3D ist von einem Informatiker mit Abschluss, der jetzt bei einem Grafikchiphersteller arbeitet. Es gibt kaum Websites, die qualifizierte Leute als Autoren vorweisen können. Auch die "grossen" Websites haben keine technisch ausreichend qualifizierten Leute, welche die Technologien wirklich verstehen würden. Fundiert kritisch äussern kann sich nur, wer den Durchblick hat. Die "White Papers" sind marketingtechnisch sehr klug geschrieben, es ist viel einfacher und weniger aufwändig, ein Review mit diesen Aussagen zu schreiben als dem dort geschriebenen zu widersprechen. US-Sites können die Passagen sogar 1:1 übernehmen.

[Leonidas]

Ich werfe nur mal so ein, daß vergleichende Benchmarks mit anisotropischen Filtern und FSAA nicht so einfach zu realisieren sind, weil:


1. Anisotrop ist eine Sache der Stufe! Es geht von 2-tab bis 128-tab -> unterschiedliche Karten unterstützen unterschiedliche Stufen. Wenn man es im Treiber einstellen kann - gut. Aber wenn man auf die Einstellung im Spiel angewiesen ist, dann ist es scheisse, weil viele Spiele für unterschiedliche GraKa unterschiedliche anisotrop-Stufen benutzen, was keinen fairen Vergleich ergibt.


2. Ähnliches Problem bei FSAA: Man kann FSAA nicht anhand der FSAA-Stufe vergleichen, sondern ausschließlich anhand der Bildqualität! Es ist also Unsinn, 4xFSAA der Voodoo5 gegen 4xFSAA der GeForce2 zu benchen - es sind ja unterschiedliche Qualitäten. Zuerst muß man hier einen Qualitätsvergleich machen, welche FSAA-Arten überhaupt miteinander vergleichbar sind. Erst dann kann man benchen. Dies wird eigentlich immer nicht beachtet.

[Catweasel]

Hi,

was mich an vielen Benchmarks stört, ist daß die Abstände teilweise stark über- und untertrieben werden. Da wird dann von 'deutlich geschlagen' geredet wenn gerade mal ein Frame dazwischen liegt, wenn aber das selbe Produkt ein Frame zurück liegt, dann heißt es 'nur knapp geschlagen'. Ausserdem stören mich die Grafiken einiger Benchmarks, da sehen dann kleine Abstände riesig aus, obwohl diese Abstände genausogut nur Messchwankungen sein können. :|

Von daher sollte man Benchmarks immer genau betrachten und nicht nur auf die länge der bunten Balken und das leicht gefärbte Geplapper einiger Tester achten.

MfG ;D

[Unregistered]

Es gibt kein 2 tab ...

[Ceiser Söze]

Kommt darauf an, wie man das "tap" interpretiert (auch so eine verwirrende Sache). Soviel ich weiss, lautet die nVidia-Definition "tap = Anzahl verwendeter Texel", während die Definition der Bitboys hingegen "Anzahl der verwendeten bilinear gefilterten Pixel" (also 4 Texel) lautet.
Ein 2-tap Filtering ist also nach nVidia Definition etwas, das es nicht gibt und nach Bitboys-Defintion ein Filtering unter Verwendung von insgesamt 8 Texeln, welches dann qualitativ in etwa dem trilinearen Filtering entsprechen sollte...

[ow]

Originally posted by Ceiser Söze
Ende 1999 war T&L das Thema und alle Sites und Magazine versprachen damit die zweite Offenbarung. Mit einer Ausnahme: Beyond3D äusserte sich als einzige Site kritisch zu dem Thema, nachdem das Team dort die GeForce T&L-Unit genau unter die Lupe genommen hatten. Sie kamen zum Schluss, dass die T&L-Unit an einigen Schwächen litt (unflexibel, unbrauchbar langsamer Lighting-Teil, zuwenig Bandbreite auf dem AGP-Bus für den Rasterizer und die T&L-Unit) und eine viel höhere Darstellungsqualität durch Hardware-T&L daher in den kommenden Monaten nicht zu erwarten sei. Mittlerweile muss man zugeben, dass Beyond3D Recht hatte.



Widerspruch:)

Die T&L ist für viele Spiele sicher entbehrlich, aber sie wurde ja nicht nur im Bezug auf Games entwickelt.

Mit der T&L hat NVidias den alteingessenen Vertretern des (OGL) 'Profi'-Lagers mal gezeigt wo der Hammer hängt.

Das sahen Karten wie die FireGL1, 3Dlabs Oxygen GVX1/420, Intergraph, Evans&Sutherland auf einmal EXTREM alt aus.

Und das die Karten mit NVidia Chips absolut brauchbar für professionelle 3D Rendering SW (3DSMAx, Maya,..)ist, kann wohl keiner bestreiten.

Ich hab mit der GF2MX auf meinem K6-2 450 mal den Viewperf und Indy3D gebencht.
Da sind mir fast die Augen aus dem Kopf gesprungen:D wegen der unglaublichen Leistung der T&L. Hätte nicht gedacht, dass die soviel bringt.
Eine 5GHz CPU wird schon nötig sein, um die reine Transformationsleistung von NVs T&L zu erreichen.


OpenGL Spiele profitieren in meinem Fall natürlich auch sehr stark von der T&L, da sie aber immer füllraten-limitiert sind und die T&L daher gar nicht ihr Potenzial zeigen kann, tut´s hier auch eine schnelle CPU (1GHz).

[Ceiser Söze]

Dass Hardware-T&L für CAD-Programme ganz nützlich sein kann, bestreitet hier auch niemand.
Fakt ist jedoch, dass 1999/2000 Hardware-T&L als "the next big thing" für Spiele gehypt wurde: Gigantische Polygon Counts wurden versprochen, DIE Revolution seit der Voodoo1. Und der Hype kam nicht nur von nVidia bzw. ATI, sondern auch von so ziemlich jeder Hardware-Site und jedem Hardware- bzw. Spiele-Magazin.
Wie wir alle wissen, hat sich "the next big thing" als schlappe 10 - 20 Frames (in relevanten Auflösungen) entpuppt, mehr nicht. Keine Spur von höheren Polygon Counts.
Jedenfalls ist Hardware-T&L (neben MMX) eines der besten Beispiele dafür, dass bei vielen Online-Publikationen Handlungsbedarf besteht. Viele Sites haben zwar aus den Fehlern gelernt und stehen den neuen Features (Vertex- und Pixel-Shader) skeptischer gegenüber, genug ist dies jedoch nicht. Natürlich ist eine auf eigenen Recherchen basierende Berichterstattung wesentlich aufwendiger, als einfach die PDF-Files der Hersteller abzuschreiben. Aber ob hobbymässig oder professionell: Jede Publikation hat auch eine gewisse Verantwortung gegenüber der Leserschaft. Die erwartet nämlich von einer Hardware-Site objektive Artikel. Wenn man Hype will, kann man nämlich auch gleich www.nvidia.com oder www.ati.com besuchen...

[Thowe]

Was mich an Reviews stört?

-> Keiner bzw. kaum einer versteht sie!

und darum liest sie auch keiner.


Also üblicherweise läuft das ja so:

Vorstellung
Specs
noch mehr Specs
Benchmark
noch mehr Benchmark
Bla Bla
Conclusion


Also Ceiser Söze hat da durchaus recht das die meisten Leute nur die Tabellen interpretieren und das war es dann auch, einfach weil die meisten eh nicht verstehen was da ansonsten steht.

Ich gehöre zu den Fazit Lesern, sonst nix. (Auch nicht das wahre, aber ich hab auch kein Bock tausend mal die Specs & Facts zu lesen)


Wenn ich es jetzt besser machen sollte, würde ich es wie folgt versuchen. (Als Vorschlag zu verstehen und durchaus Diskutionsfähig)

Eine Seite die relativ kurz gehalten ist und nur das wesentliche des Tests beinhaltet, halt die Features, Leistung nur kurz anschneidet, Besonderheiten hervorhebt und dann in das eigentliche und in diesem Fall sehr ausführliche Fazit wechselt. Hier kann man natürlich auch sehr effektiv erreichen Aufmerksamkeit auf gewisse Artikelteile zu erregen.

Innerhalb dieser Seite dann die diverse Links die einzelne Details, Features, Specs erklären und Benchmarktabellen aufrufen.

Innerhalb der Details könnte man hier wieder tiefen verlinken um noch konkreter/detailierter zu werden.

Das Ganze sollte halt so eine Art Stufensystem werden.

1. DAU
2. Interessierter
3. Hobbyprofi

so das jeder die Information erhält die er verarbeiten und verstehen kann und somit braucht.


Naja, halt IMHO in der Art etwa die beste Lösung.

[Thowe]

Stört wirklich niemanden mehr was?

[Korak]

Nö bin grundlos glücklich :)

[Razor]

@Thowe

Wozu ?
Finde, daß Dein Vorschlag, das ganze noch komplizierter macht, als es ohnehin schon ist... Auch bin ich ein Gegner davon, die Leute in Klassen einzuteilen. Auch ist es doch wohl eher ein Ding der Seiten-Betreiber, ihre Seiten 'auszurichten' und damit ein bestimmtes Publikum anzusprechen, oder ?

Bis denne

Razor

[nggalai]

Ceiser Söze,

find ich gut, deine Vorschläge (und dein Bemängeln der aktuellen Test-Situation). Mich nerven diese ganzen Tests schon lange, so dass ich im Normalfall wie Thowe ein Fazit-Leser bin. Manchmal, z.B. bei den 3 ersten Radeon 8500 Previews, lese ich schonmal alles durch, hauptsächlich um zu schaun, wie sich die Tests wiedersprechen und die Journalisten mit Fehlschlüssen verheddern. :)

Was mich persönlich am meisten an den üblichen Tests stört ist das Fehlen von Hinweisen zur Texturfiltering und FSAA Unterstützung. Das hat mich besonders an den R8500 previews genervt--weshalb kauft man sich denn jetzt eine Top-Karte? Damit sie in 2 Jahren noch aktuell ist? Neee, das funktioniert ja eh nicht. Ich kaufe mir eine High-End Karte, damit ich Spiele jetzt mit mehr Qualität spielen kann. Anständiges Texturfiltering ohne zu starken Performance-Verlust ist mir deutlich wichtiger als FPS in den hundertern.

Ich schliesse mich daher deiner Meinung an: Karte mit einem Dutzend Spielen testen und jeweils hinzuschreiben, wie das Spiel so lief, und was man alles anschalten konnte, ohne dass es unspielbar wurde.

ta,
.rb

[Thowe]

Ahhh noch ein Fazit Leser ...

Ich persönlich bin ja der Meinung das ein gut verfasstes Fazit häufig mehr aussagt als 100.000 Benchmark Tabellen.

Darum vertrete ich ja auch meine Ansicht von irgendwo da oben, wenn ich mich erst mühsam durch den Artikel kämpfen muss kann es schon mal passieren das ich lieber das kleine Kreuz oben rechts am Bildschirmrand klicke.

Die meisten Leute können doch gar nicht den echten Sinn eines Features verstehen wenn sie es nicht selbst "erlebt" haben, darum halte ich die subjektive bzw. objektive Meinung des Testers für wesentlich. Wenn dann als Fazit kommt, "Die Karte ist gut bietet aber noch Raum für Verbesserungen" dann ist das in den Augen der meisten Personen eine sch... Karte. Egal wieviel Features die hat, sind eh nach den Benchmarktabellen vergessen.

Die Einteilung in Klassen ist zwar von mir auch nicht erwünscht, aber sie ist von sich her da. Der durchschnittliche Leser eines Grafikkartentests kann einfach nicht alles interpretieren bzw. verstehen, warum sollte man ihn dann auch noch gleich mit Daten erschlagen?

Ein guter Test ist in meinen Augen einer den die breite Masse versteht, alles andere ist dann wohl eher sinnlos investierte Zeit.

[Leonidas]

Originally posted by nggalai
Was mich persönlich am meisten an den üblichen Tests stört ist das Fehlen von Hinweisen zur Texturfiltering und FSAA Unterstützung. Das hat mich besonders an den R8500 previews genervt--weshalb kauft man sich denn jetzt eine Top-Karte? Damit sie in 2 Jahren noch aktuell ist? Neee, das funktioniert ja eh nicht. Ich kaufe mir eine High-End Karte, damit ich Spiele jetzt mit mehr Qualität spielen kann. Anständiges Texturfiltering ohne zu starken Performance-Verlust ist mir deutlich wichtiger als FPS in den hundertern.



Bei den Radeon8500 Reviews gab es wenig FSAA-Betrachtungen, weil mit dem Deto4 viele FSAA-Einstellungen der Vergleichs-HW GF3 nicht funktionierten :-)))))))))))

[Razor]

@Leonidas

Tja, das passiert eben, wenn Hardware mit Beta-Treibern vergleichen wird...

Oder hast Du nicht mitbekommen, daß sowohl die Treiber der Radeon, als die der gf3 BETA waren ?

Razor

[Legolas]

Nur das man für die Geforce3 richtige, offizielle Treiber hätte nehmen können, anstatt Betatreiber..

[Unregistered]

wieso gibts eigentlich praktsich keine "Tests" wo mit Fenster und Linux gearbeitet wird?

[Kai]

Ich finde man hätte die Tests gar nicht ausführen dürfen ... aber wenn es sein musste, dann muss ich mich meinen Vorrednern anschliessen und behaupte, man hätte keinen inoffiziellen Detonator benutzen dürfen der vielleicht irgendwann, irgendwo mal rauskommt - und eventuell bis zu 30 % Performance plus gegenüber dem 3er Deto hat.

Irgendwie unfair ...

[StefanV]

Wobei momentan unklar ist, WARUM diese Treiber schneller sind...

30% klingt irgendwie unrealistisch!!!

ES sei denn, es sind Mogel Treiber, a la 3DFX HSR...

[Razor]

Die Deto3 Treiber sind offiziell die von nVidia herausgegebenen Treiber um DX8 zu unterstützen (auch DX VA 1.0 und Stereo) !
(schon mal die Release Notes gelesen ?)

Auch wurde in diesem Release schon so einiges für die gf3 eingebaut, aber nur rudimentär, wie bei den Beta-Treibern ATI's eben auch...

Nun werden wieder so 3 Monate vergangen sein, nachdem der letzte offizielle Treiber von nVidia gekommen ist, also:

Die Deto4 Treiber werden eine Anpassung für DX8.1 und OpenGL 1.3 enthalten (Microsoft hat offiziell bestätigt, daß die gf3 DX8.1-Kompliant ist !). Und eben weitere Anpssungen für die gf3, was unter anderem das Memory-Interface betrifft, da dieses bisher nur wenig Berücksichtigung fand...

Ich persönlich hoffe, daß nun auch offizell die 3DTexturen unterstützt werden (wird dann vielleicht wieder ein hübsches Tech-Demo geben ;-) und es endlich einen Tab (wie für AA ja auch) für die detaillierte Einstellung des anisotropischen Filters geben wird. Was übrigens von nVidia versprochen wurde, aber trotz allem natürlich nur ein 'Gerücht' ist.

Sehr schön würde ich eine übergreifende Profilverwaltung finden (Color, Stereo, Overlay, OC, AA, aniFilter, D3D, OGL auf einen Streich !), aber das wird wohl ein Traum bleiben *schnüff*.

Auch sind im jedem neuen Release immer optimiertere Routinen, effizienteres Speichermanagement etc. pp zu finden.

Die effizientere Nutzung des Crossbar-Memory-Interfaces alleine dürfte schon eine Menge bringen, so finde ich eine Steigerung von 30% überhaupt nicht erstaunlich !

Razor

[Razor]

Ähhhmmmm....

Um dem eigentlichen Leitthema zu folgen:

Was macht es für einen Unterschied, ab ich nun einen Beta-Treiber von ATI auf einer noch nicht existierenden Hardware teste, oder aber einen noch nicht existierenden Beta-Treiber von nVidia auf vorhandener Hardware ?

Ich persönlich glaube nicht, daß ATI noch viel an der Hardware verändert (dürfte ein ein ähnlicher 'schub' wie bei dem A3-to-A5 Stepping der gf3 sein, nämlich gar keiner, außer kleinem BugFixing). Bei den Treibern sehe ich allerdings mehr Potential bei nVidia, als bei ATI, aber erst die (nahe) Zukunft wird's zeigen...

Auch ATI war klar, daß mit den gängigen Benchmarks getestet werden würde, also unterselle ich hier mal ganz frech, daß auch ATI ein großes Interesse daran hatten, das ihr neues Flagschiff besonders gut darauf läuft !

Also bevor hier irgendwelche Grundsatzdiskussionen geführt werden, die alles bisher gewesene in Frage stellen, bitte ich doch abzuwarten, bis beides, die finale ATI Hard- und Software und auch die finale nVidia-Software verfügbar ist...

Wir werden sehen und dann wieder kräftig diskutieren !

In diesem Sinne...

Razor