PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Richtige Benchmarkvergleiche - nur wie?


Die gelbe Eule
2007-02-12, 21:51:37
Schaue ich mir CB an, kommt mir das grausen.

Unter G7X gibt es keine Optimierung der trilineraren Filterung, bei der G8X schaltet man sie einfach dazu. Bei der R5XX läßt man dagegen A.I. auf standard und schaltet gleichzeitig noch HQ AF ab. Wie soll man da einen genauen Vergleich bekommen, wenn ATi bevorteilt wird?
Leider verfährt man auch in anderen Reviews ähnlich.

Woran liegt es also, das man die beste Qualität, wenn auch möglich einstellbar, einfach links liegen läßt?

Black-Scorpion
2007-02-12, 22:03:21
Wenn du glaubst das du alle Optimierungen bei NV im Treiber deaktivieren kannst bist du naiv.
Und wo bei CB HQ-AF deaktiviert wird liegt es vielleicht einfach daran das die GF7 keins hat?

Gast
2007-02-12, 22:03:22
Richtiges Benchmarken ist unmöglich.

Wenn eine Seite wie computerbase, verständliche Reviews für Laien schreibt, so berücksichtigen sie sicherlich auch, das diese Leser eher selten von den ganzen Optimierungen wissen.

Da wird meist das gebencht, was im Treiber voreingestellt ist, weil gerade das, das von den meisten Usern genutzte Setting ist.

Endorphine
2007-02-12, 22:14:41
"Richtige" Benchmarks gibt es nicht. Es liegt wie immer im Auge des Betrachters, welche Benchmarks und welche Einstellungen nun "die richtigen" sind. :)

Mit den sogenannten Optimierungen zu benchmarken ist daher genau so richtig oder verkehrt wie ohne. Imho ist es mehr eine Frage der Philosophie, ob man die Hersteller erziehen möchte oder ob man ihre Tricksereien mitspielt.

Die gelbe Eule
2007-02-12, 22:20:27
Wenn du glaubst das du alle Optimierungen bei NV im Treiber deaktivieren kannst bist du naiv.
Und wo bei CB HQ-AF deaktiviert wird liegt es vielleicht einfach daran das die GF7 keins hat?

Und der G8X hat es auch nicht? Der Abstand zu R5XX ist gewaltig, das wird erst bei gleichen Einstellungen ersichtlich. Bei A.I. low oder high weiß niemand was alles optimiert wird und im Vergleich dazu erlaubt NV explizit sämtliches auszustellen.

Black-Scorpion
2007-02-12, 22:32:32
Und du glaubst CB hat ein riesen Lager wo sie bei jedem Bench alle Karten nochmal testen?
Und wie schon gesagt kannst du im Treiber genau das deaktivieren was der Hersteller will und nicht was du willst.
Und jetzt auf den Zug aufspringen weil der G80 das bessere AF liefert aber vorher hat es dich auch nicht gestört.

reunion
2007-02-12, 22:36:55
Jaja Eule, wenns nicht gar so offensichtlich wäre. Seltsam das dir das grausen nie kam, als man nVs Flimmer-AF gegen ATis AI_low gebencht hat.

Klar wäre gleiche Bildqualität wünschenswert, allerdings ist das aufgrund der G7X-Reihe nicht möglich. Deshalb halte ich es für sinnvoll, gleiche Generationen mit gleicher IQ zu benchen. Beim R600 sollte man selbstverständlich auf eine möglichst identische BQ im Vergleich zu G80 achten.

deekey777
2007-02-12, 22:45:19
Schonmal einen Test bei B3D gelesen?

Die gelbe Eule
2007-02-12, 22:45:25
Für was bencht man dann überhaupt den G8X und stellt ihn zum Vergleich mit den R5XX, wenn doch nur G7X Vergleiche angewendet werden.
Und ja sie müssten wohl alles neu testen, sonst würde der Cat 7.1 dort nicht rumstehen. Alles andere wäre eine Verfälschung des Ergebnisses.
Bei meiner G71 hat nichts auf HQ (Q stelle ich nie ein, warum auch) geflimmert, eher wenn ich A.I. off bei X1800XT, X1900XT und X1800XL angestellt habe. Ich kann nur das vergleichen, was ich selbst gesehen habe, deswegen ist es mir nicht verständlich, warum Optionen die ich immer aktiviere, dort extra ausgelassen werden, um den Balken zu verlängern.

Wenn eine G8X gebencht wird, erwarte ich wenigstens treiberseitig auf ATi Seite die gleichen Werte.

J0ph33
2007-02-12, 22:48:53
Die Rache der nV-Fanboys? ;)

...aber mal im ernst...es wird immer so getan, als seien bei nV-HQ alle optimierungen aus...

keine frage, AI ist in seiner jetzigen form nicht schön, aber nV ist sicher nicht vom Saulus zum Paulus geworden, was optimierungen angeht...

mapel110
2007-02-12, 23:01:59
AI auf low und dann eben ohne AF benchmarken. Imo die einzige Möglichkeit, fair zu vergleichen.
Dann wären bei beiden die AF-Optimierungen nicht aktiv, aber die Shaderreplacements.

Gast
2007-02-12, 23:04:40
Und du glaubst CB hat ein riesen Lager wo sie bei jedem Bench alle Karten nochmal testen?
Lager ja, neu testen nein.

Black-Scorpion
2007-02-12, 23:06:57
Wenn eine G8X gebencht wird, erwarte ich wenigstens treiberseitig auf ATi Seite die gleichen Werte.
Jetzt weil es so schön in den Kram passt an allem hochziehen.
Du weißt bestimmt nicht mal was bei A.I. alles deaktiviert wird.
Den Beweis liefert deine Aussage das es bei dir mit A.I. off geflimmert hat.
Sorry, aber was du hier wieder veranstaltest ist sowas von Durchsichtig.

Die gelbe Eule
2007-02-12, 23:15:56
Du weißt es, dann bitte gib es Preis, aber mit allen Details.
Ich hatte in den letzten 6 Monaten 4 HighEnd Karten von NV und ATi und alle über eine längere Zeit. Leider oder zum Glück muss ich nun wieder zu NV greifen, weil ATi nichts neues am Start hat für um die 300€.
Ich meine, ich hatte Vergleiche über die letzten 6 Monate, Du krebst noch mit der X800XL rum, da erfinde ich bestimmt nichts, damit der eine oder andere besser dasteht. A.I. off beeindruckt mich gerade immernoch was die BQ angeht und genau in diesem Moment, nur die Bodentexturen vor mir, die flimmern vor sich hin, was meine GTO nicht ansatzweise zeigte. Trotzdem lasse ich es aus, weil es mit low einfach beschissen aussieht.

HisN
2007-02-12, 23:16:17
Hmmm....
Mich nervt am meisten diese Verpisste FPS-Geilheit. Gibt es nicht irgend einen Weg davon wegzukommen? Was sagt es denn aus wenn ein Chip irgend ein Spiel in 30 Frames pro Sekunde darstellt? GAR NIX, es sagt uns nicht wie die Frames aussehen, es sagt uns nicht ob es durchgehend 30 FPS sind oder jede Sekunde ein Framedrop drinne ist und es sagt uns nicht ob die Ergebnisse vergleichbar sind weil wir meine beiden ersten Punkte nicht kennen.


Ansatz:
Man erstellt eine Referenz-Scene die dargestellt werden muss und zwar Timing-Genau. Bedeutet für mich: Jedes Frame muss zu einen ganz genau definierten Zeitpunkt angezeigt werden. Kommt es zu spät oder zu früh.. Punktabzug.
Dann vergleicht man die Referenz-Szenen-Bilder Punkt für Punkt (geht ja per algorithmus ganz fix) mit denen der zur Testen gelieferten Karte ... stimmen dort Punkte nicht überein (Texturfilterung/Bildver(schlimm)besserung .. Punktabzug.

Leider hab ich gar keine Ahnung ob der erste Teil überhaupt durchführbar wäre *seufz* Und wie man dort ne Skalierbarkeit reinbringen könnte... vielleicht über die Auflösung. Vielleicht geht ja auch sowas wie der ACID-Test für Browser .. Schwierige Sachen müssen dargestellt werden :-)

deekey777
2007-02-12, 23:20:26
Ich wiederhole mich:
Schonmal einen Test bei B3D gelesen?
Schaue ich mir CB an, kommt mir das grausen.

Unter G7X gibt es keine Optimierung der trilineraren Filterung, bei der G8X schaltet man sie einfach dazu. Bei der R5XX läßt man dagegen A.I. auf standard und schaltet gleichzeitig noch HQ AF ab. Wie soll man da einen genauen Vergleich bekommen, wenn ATi bevorteilt wird?
Leider verfährt man auch in anderen Reviews ähnlich.

Woran liegt es also, das man die beste Qualität, wenn auch möglich einstellbar, einfach links liegen läßt?
Zunächst: Richte das Ganze an CB.
Es gibt keinen fairen Vergleich. Es fängt schon bei den Spielen an. Far Cry ist das schlimmste Beispiel. Danach kommt HL2 (hier muss der Reviewer die grafikkarten-spezifischen Einschränkungen manuell entfernen, sonst auch hier keine Vergleichbarkeit).
Und dann kommen die Eigenarten der Treiber und der Grafikkarten selbst. Niemand will ernsthaft behaupten, dass winkelabhängige AF genauso gut ist wie fast winkelunabhängige?
Was die Reviewer tun können und müssen, ist auf diese Unterschiede hinzuweisen, damit der Leser sein eigenes Bild von dem Test machen kann.

Die gelbe Eule
2007-02-12, 23:29:44
Leider fängt es damit an, das man nach subjektivem Ermessen dann Werte einstellt, welche gut aussehen und ordentlich performen. Sowas kann halt nicht angehen. Ein gutes hat CB dennoch, man wird nun zu keiner ATi greifen, weil man mit schlechteren Einstellungen in der BQ immernoch schlechter abschneidet. Warum das so sein muss, erklärt niemand ;)

Und ja ich lese B3D, doch xbit und anandtech sind mir am liebsten, da sie unverfälscht an die Karten herangehen und auch ein System nutzen, das noch usernah ist.

deekey777
2007-02-13, 00:01:58
X-bit Labs hat bis vor Kurzem mit... etwas seltsamen Einstelungen getestet. ATi mit Quality (MipMap) + AI vs. nVidias Q mit trilinearer Optimierung und Anisotropic sample optimization. Beide Einstellungen haben miteinander recht wenig zu tun. Jetzt testen sie mit HQ-MipMap+AI+HQ-AF vs. HQ+alles aus. Vergleichbar? Nein, aber besser.
Anandtech war nie die Anlaufstelle für perfekte Benchmarks.
iXBT ist irgendwie unlogisch. Sie haben auch eine Untersuchung durchgeführt, wo wer schummelt, aber kamen zum Ergebnis, weiterhin mit nVidias Q zu testen, es sei denn, da wird zu viel gepfuscht, dann gibt HQ. Seit dem G80 gibt es nur ein Statement: Wer mit dieser Grafikkarte mit Q spielt, ist doof. :biggrin:
B3D macht es am Besten: Sie vermeiden von Anfang an ATi vs. NV antreten zu lassen.
Und nicht vergessen: die liebe 3DC-Crew. Seit die Reviews nicht mehr (nur) von Leo gemacht werden, kann man sie zwar kritisieren, dass AI in bestimmten Fällen nicht gerechtfertigt aktiviert ist, sonst gehören die Reviews zu den Besten, weil sie auch lesernah sind (siehe Umfragen im Spiele-Bereich).

So oder so: Es liegt am Leser. Ist der Leser wenig informiert, so folgt er blind den Aussagen der Tester. Ist der Leser informiert, macht er sich sein eigenes Fazit. Und dann gibt es die, die nur auf die Balkenlänge schauen.

Die gelbe Eule
2007-02-13, 00:05:28
Jo 3DC ist immer lesenswert, nur seitdem ATi nicht mehr so zugänglich ist, muss man halt länger warten. Dabei sollte im Zuge des Fernabsatzgesetzes doch jede Karte beschaffbar sein um zeitnah Reviews zu bringen ;)

Marc-
2007-02-13, 11:38:16
Dabei sollte im Zuge des Fernabsatzgesetzes doch jede Karte beschaffbar sein um zeitnah Reviews zu bringen ;)


DAS... ist nicht wirklich dein ernst...lässt tief blicken.

Die gelbe Eule
2007-02-13, 11:44:00
Meinst Du andere Seiten die angeben, wenn sie die Karte von bestimmten Shops haben, behalten sie danach einfach?
Ich muss Dich enttäuschen, ich "teste" keine Karten aus Langeweile. Und siehst den Smiley hinter meinem Post? Da war schon ne ganze Ecke Ironie dahinter ...

deekey777
2007-02-13, 11:45:17
Meinst Du andere Seiten die angeben, wenn sie die Karte von bestimmten Shops haben, behalten sie danach einfach?
Ich muss Dich enttäuschen, ich "teste" keine Karten aus Langeweile. Und siehst den Smiley hinter meinem Post? Da war schon ne ganze Ecke Ironie dahinter ...
Die Ironie sehe ich zwar nicht, aber dass es nicht ernst gemeint war, sieht jeder.

Marc-
2007-02-13, 11:52:07
Meinst Du andere Seiten die angeben, wenn sie die Karte von bestimmten Shops haben, behalten sie danach einfach?
Ich muss Dich enttäuschen, ich "teste" keine Karten aus Langeweile. Und siehst den Smiley hinter meinem Post? Da war schon ne ganze Ecke Ironie dahinter ...
was du meinst nennt man wohl sponsoring bzw simples review material zur verfügung stellen. Du glaubst nicht im ernst, das die sites das FAG dafür ausnutzen (welches übrigens nicht weltweit gilt wie dir bekannt sein duerfte)

Die gelbe Eule
2007-02-13, 12:03:27
Ich beschränke mich auf Deutschland und wie gesagt, es war ein Scherz, auch wenn es anders liest. Und nun schreib doch mal etwas zum Thema, könnte sonst aussehen das Du mich nur angreifen wolltest, was ziemlich OT ist.

Lawmachine79
2007-02-13, 16:14:51
Ach Leute...als ob AF und Optimierungen SO großen Einfluss auf die FPS haben. Das war vielleicht zu Zeiten der GF4 so. Gerade das ist doch der Kritikpunkte an den Optimierungen, insbesondere beim G70. Der Verlust an BQ steht in keinem Verhältnis zum FPS-Gewinn. Wenn eine Karte 1-2% schneller ist als die andere, dann kann die Waage vielleicht durch Filteroptimierungen kippen. Das hat mittlerweile auch NV eingesehen und auf dem G80 den Müll ausgemacht.
Aber ich will auch meinen Beitrag zum Fanboy (bin ja schließlich auch einer, das lasse ich mir nicht nehmen) Gebashe leisten: ich habe es kürzlich auch schon in einem anderen Thread geschrieben: klar ist es unfair, NVs "optimierten" (fast so ein Unwort wie "sozialverträgliches Ableben" ;) ) Filter gegen ATIs winkelunabhängigen (naja, fast --> G80 ;) )antreten zu lassen. Aber wo war denn das Geschrei, als man zu Zeiten des NV4X und R4XX NVs 8xS AA gegen ATIs 6xAA hat antreten lassen? Man hätte beide auch einfach in 4x benchen können. Aber nein, man nimmt den qualitativ DEUTLICH besseren (aber eben auch leistungshungrigen) 8xS und stellt ihn gegen ATIs zwar ganz netten, aber im Vergleich zum Hybridmodus lächerlichen 6xAA Modus...war ja klar wer das gewinnt.

Gast
2007-02-13, 16:55:31
Meinst Du andere Seiten die angeben, wenn sie die Karte von bestimmten Shops haben, behalten sie danach einfach?Meist ist es eher so, dass die Shops die Hardware freiwillig zur Verfügung stellen. Ob der Reviewer sie dann behalten kann, ist wieder eine andere Sache. Mal so, mal so.
Aber wo war denn das Geschrei, als man zu Zeiten des NV4X und R4XX NVs 8xS AA gegen ATIs 6xAA hat antreten lassen? Das ist ein Punkt, den ich schon damals an den 3D-Center-Reviews kritisiert habe. Man hat die Ergebnisse von 8xS und 6x MSAA einfach nebeneinander in ein Balkendiagramm gepackt. Wie oft musste ich in anderen Foren lesen, dass eine x850xt doch schneller als eine 7800GTX sei, weil die Leute zu blöd waren die gutgemeinten 3DC-Tests richtig zu interpretieren.