PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : NVIDIA und Futuremark


Seiten : [1] 2

Salvee
2003-05-15, 03:23:04
The plot thickens, wie man so schön neudeutsch sagt:

http://www.extremetech.com/article2/0,3973,1086025,00.asp

Es wird vermutet, dass nV im 3DMark03 cheaten könnte, indem eine Art 'vorberechnetes Cullingbzw HSR' erfolgt, dass in einem Benchmark einfach zu bewerkstelligen sein sollte, da der Bewegungsablauf immer der selbe ist.

nV sagt, es handele sich um einen Bug.

Das ganze wird auch bei Beyond3D (http://www.beyond3d.com/forum/viewtopic.php?t=5833&start=40) seziert.

tEd
2003-05-15, 03:27:05
Originally posted by Salvee
The plot thickens, wie man so schön neudeutsch sagt:

http://www.extremetech.com/article2/0,3973,1086025,00.asp

Es wird vermutet, dass nV im 3DMark03 cheated, indem eine Art 'vorberechnetes Culling' erfolgt, dass in einem Benchmark einfach zu bewerkstelligen sein sollte, da der Bewegungsablauf immer der selbe ist.

nV sagt, es handele sich um einen Bug.

Das ganze wird auch bei Beyond3D (http://www.beyond3d.com/forum/viewtopic.php?t=5833&start=40) seziert.

ein cheat bug , ohne ihne hätte man den cheat sonst nicht entdeckt

Salvee
2003-05-15, 03:39:06
Du meinst, der Cheat hat einen Bug ? :lol: ;D

Das wäre recht amüsant, um es mal gelinde auszudrücken.

Crushinator
2003-05-15, 03:47:35
Die Passage gefällt mir:

"nVidia believes that the GeForceFX 5900 Ultra is trying to do intelligent culling and clipping to reduce its rendering workload, but that the code may be performing some incorrect operations. Because nVidia is not currently a member of FutureMark's beta program, it does not have access to the developer version of 3DMark2003 that we used to uncover these issues."

....und übrigens das ist auch noch interessant:

"NOTE: nVidia engineers are currently investigating this issue, and will be letting us know what they discover. Once we have that information, we'll give you an update as to what's going on. FutureMark, the developer of 3DMark2003, has told us that it is also aware of the issue with nVidia's 44.03 driver, and is currently investigating it as well."

:cop:

Salvee
2003-05-15, 03:52:05
Wenn das wirklich stimmen sollte, dann wären doch alle populären Benchmarks mit festgelegten Kamerapfaden irgendwie nicht mehr sonderlich aussagekräftig.
Da hilft es wohl nur noch, eigene Demos a la Pyramid-Demo fünf Minuten vor Benchmarkbeginn aufzuzeichnen.

Crushinator
2003-05-15, 03:58:52
^^ Full Ack! Ich bin auch für lange FreeLook-Benchmarks.

Ailuros
2003-05-15, 04:39:36
http://www.extremetech.com/article2/0,3973,1086025,00.asp

Ich warte lieber bis ein driver-update aufkreuzt, bevor ich zu irgendwelchen Schlussvolgerungen komme.

Was ich nicht wusste und erst mit dem Artikel darauf aufmerksam wurde, ist dass Mother Nature "sorting" betreibt? Ist das nicht eine auesserst schlechte Art einen IMR zu behandeln?

Weiterhin war es Futuremarks komische Idee den render-order so anzusetzen, oder koennen wir erwarten dass Entwickler in zukuenftigen Spielen vielleicht auch noch so weit kommen? Irgendwas macht hier keinen Sinn oder ich hab mich zu weit wieder verkorkst.

Aqualon
2003-05-15, 06:51:09
Das ist doch ein Problem mit allen "Standard"-Benchmarks, die es gibt. Um vergleichbare Ergebnisse zu liefern muss der Ablauf immer exakt gleich sein und kann deswegen möglicherweise zum Cheaten durch den Graka-Treiber ausgenutzt werden.

Am sinnvollsten wäre wirklich ein eigenes Timedemo von Spielen zu verwenden, das für jeden Test neu aufgezeichnet wird. Aber das wird wohl keine Review-Seite machen, weil es Zeit kostet und sie nicht mit den Standard-Benches protzen können.

Und dass manche Reviews unter enormen Zeitdruck entstehen, weil der Reviewer eine Karte nur 24h hat und dabei trotzdem 1000 Benchmarks mit 10 Mio Settings ablaufen lässt, kann es IMO durchaus zu Fehlern kommen, die bei ordentlicher Durchführung nicht aufgetreten wären.

Ein fairer Vergleich wäre meines Ermessens nach eine Neuinstallation von Windows vor dem Wechsel eines Treibers oder einer Grafikkarte und die Verwendung von speziell erstellten Timedemos. Aber der Aufwand wird wohl den meisten heutzutage, wo es nur darum geht die ersten mit nem Test zu sein, zuviel sein.

Demirug
2003-05-15, 08:23:01
Das diese Bildanomalien nur auftreten wenn man sich vom normalen Durchlauf wegbewegt ist schon mal sehr merkwürdig.

Allerdings kann ich mich der Analyse von extremetech bezüglich der Cliplanes nicht so ganz anschliessen. Die Kante ab welcher der Himmel fehlt ist abgerundet. Bei einer Clipplane müsste sie eigentlich gerade sein.

Das sieht eher so aus als würde man da einfach einen Teil des Skydomes nicht rendern.

Axel
2003-05-15, 08:31:34
Originally posted by crushinator
Die Passage gefällt mir:

"nVidia believes that the GeForceFX 5900 Ultra is trying to do intelligent culling and clipping to reduce its rendering workload, but that the code may be performing some incorrect operations.


Wow, die erste GPU mit eingebauter KI! ;)

Ich hoffe, nvidia ist trotzdem in der Lage das Problem zu lösen, ohne Einbruch der Geschwindigkeit. Ich finde es nicht akzeptabel, wenn das Topprodukt nicht in der Lage ist, eine durchgehend ordentliche Bildqualität zu liefern.

seahawk
2003-05-15, 08:39:59
Mal überlegen. Es scheint da wohl zwei Probleme zu geben zu einem den Unschärfefilter unter OGL und Probleme beim 3DMark.

Für alle anderen D3D Benches haben wir noch nichts gefunden. Trotzdem sieht man die UT2003 einen Leistungsgewinn. Ein Anpassen auf die BEnchmakrs erscheint unwahrscheinlich,da jede Seite einen eigenen hat, bzw. man es leicht testen könnte in dem Man eifach eine andere map bencht.

Beim 3Mark kann es wirklich sein, dass es da einen Bug mit dem Treiber gibt. Allerdings ist die PRogrammierung des 3DMarks auch imo etwas unüblich.

Bin mal auf die Aufklärung gespannt, Cheat oder Bug ?? Und wo steht die FX5900 wirklich ??

Ich würde mal gerne VC oder so Benches sehen, irgendein Programm, das sonst nicht zum Benchen genutzt wird.

Exxtreme
2003-05-15, 09:17:41
Originally posted by Salvee
The plot thickens, wie man so schön neudeutsch sagt:

http://www.extremetech.com/article2/0,3973,1086025,00.asp

Es wird vermutet, dass nV im 3DMark03 cheaten könnte, indem eine Art 'vorberechnetes Cullingbzw HSR' erfolgt, dass in einem Benchmark einfach zu bewerkstelligen sein sollte, da der Bewegungsablauf immer der selbe ist.

nV sagt, es handele sich um einen Bug.

Das ganze wird auch bei Beyond3D (http://www.beyond3d.com/forum/viewtopic.php?t=5833&start=40) seziert.
LOOOOOL,

da fällt mir ein Spruch von K.D. ein:

"We at NVIDIA don’t make it a practice to optimize our pipeline for specific benchmarks - we want to provide high quality and high performance on a wide variety of useful and entertaining applications, rather than just getting a good score. Ask yourself (or, better yet, ask ATI) why Radeon 8500 performs well on this one test, and poorly on many other 3DMark2001 tests."

P.S. Threads merged.

ow
2003-05-15, 09:31:14
Originally posted by Salvee
The plot thickens, wie man so schön neudeutsch sagt:

http://www.extremetech.com/article2/0,3973,1086025,00.asp

Es wird vermutet, dass nV im 3DMark03 cheaten könnte, indem eine Art 'vorberechnetes Cullingbzw HSR' erfolgt, dass in einem Benchmark einfach zu bewerkstelligen sein sollte, da der Bewegungsablauf immer der selbe ist.

nV sagt, es handele sich um einen Bug.

Das ganze wird auch bei Beyond3D (http://www.beyond3d.com/forum/viewtopic.php?t=5833&start=40) seziert.

???

Seit wann ist in den 3DMarks der Bewegungsablauf immer derselbe??
Also bei mir ist da immer die Laufzeit konstant und die Anzahl der gerenderten Frames variiert.

mapel110
2003-05-15, 09:43:30
Originally posted by ow


???

Seit wann ist in den 3DMarks der Bewegungsablauf immer derselbe??
Also bei mir ist da immer die Laufzeit konstant und die Anzahl der gerenderten Frames variiert.

was hat die anzahl der gerenderten frames mit der reproduzierbarkeit der bewegungsäbläufe zu tun ?

Demirug
2003-05-15, 09:46:13
Originally posted by ow


???

Seit wann ist in den 3DMarks der Bewegungsablauf immer derselbe??
Also bei mir ist da immer die Laufzeit konstant und die Anzahl der gerenderten Frames variiert.

Beim 03 wird bei jedem Durchlauf genau die gleiche Bildsequenz gerendert. Steht im Whitepaper. Damit soll sichergestellt werden das unabhängig von der Hardware immer genau das gleiche Arbeitsvolumen anfällt.

Richthofen
2003-05-15, 11:11:37
my 2cents zu dem Topic.

Haut den 3DMark in die Tonne. Ich bin für Game Benchies und dort natürlich nach möglichkeit mit eigenen Timedemos. Das setzt allerdings vorraus, das die Reviewer bisserl Ahnung haben. Sonst macht einer ein Timedemo, dass nicht unbedingt aussagekräftig ist.

Die künstlichen Benchmarks kann man von mir aus alle in die Tonne treten und weschmeisse. Ich hab mich für den 3DMark noch nie interessiert, ausser mal für einen Einzeltest um ein Problem zb wie bei der GF4 mit dem Application AF zu untersuchen.
Ansonsten ist mir der Benchmark Jacke wie Hose und die Punktzahl geht mir am Arsch vorbei.
Da sie wohl kaum in der kürzer der Zeit die Doom3 Demo analysieren konnten und ID das abgesegnet hat, glaub ich kaum das zb bei diesem relevanten Benchmark auch erstmal alles analysiert wurde (jede einzelne Bewegung).
Ich meine sind wir mal ehrlich. Wer glaubt denn hier ernsthaft, dass die Firmen nicht versuchen werden auf sowas wie den 3DMurks zu optimieren? Solange der in jedem noch so stümperhaften Test enthalten ist, solange wird da optimiert was das Zeug hält.
Die Reviewerwelt würde den Gamern einen ungeheuren Gefallen tun, wenn sie die ganzen synthethischen Benchmarks rausschmeissen aus den Programmen.
Dann würden sich die Treiberabteilungen auch mehr um wirkliche Bugs kümmern die zb. Spiele beeinflussen anstatt sich 3/4 des Tages mit den Szenen des 3DMark zu beschäftigen.
Von mir aus können die den 3Dmurks zusammencheaten wie sie wollen. Ich nehm die Ergebnisse da sowieso nicht ernst. Die Gefahr bei Games ist etwas geringer, allerdings wäre ein guter Verbesserungsansatz, dass die Reviewer eigene Timedemos recorden können. Das finde ich brauchen wir und nicht diesen synthetischen Quatsch. Das ist auch das was mich bei den CPU Tests immer aufregt. Dauern dieser Sandra, Sysmark und PC Mark Müll. Was interessiert mich denn solch ein schwachsinniges Benchmark Programm.

Just my 2cents.

PS: Ihr könnt vergessen, dass die das rausmachen werden. Die fummeln jetzt rum und dann fällt es erstmal ne Weile nicht auf bis wieder einer was entdeckt. Dann wird der Treiber wieder umgebaut usw...
Die Reviwer würden da den Gamern einen riesen Dienst erweisen, den ganzen synthetischen Quatsch rauszuschmeissen.

Quasar
2003-05-15, 11:13:54
Diese Fehler, die Extremetech da produziert hat, kommen mir irgendwie bekannt vor: Bei mir hab ich sie in ziemlich genau der Form (diese abgehackten Streifen, die sich ständig wiederholen, wie in einem gebrochenen Spiegel) schon öfter im "Gun"-Demo von PowerVR gesehen...

InifinteGuardBand? Oder funktioniert das nur unter OpenGL?

Exxtreme
2003-05-15, 11:18:28
@ Richthofen

Prinzipiell Full Ack.

2 Sachen wären aber da:

1. Der 3DMark eignet sich doch ziemlich hervorragend dazu einzelne Aspekte einer GraKa zu testen.

2. Ich denke, daß die Firmen doch lieber ihre Resourcen nicht in Benchmark-Optimierung reinstecken sollten sondern eher in eine allgemeine Optimierung.

Demirug
2003-05-15, 11:22:31
Originally posted by Quasar
Diese Fehler, die Extremetech da produziert hat, kommen mir irgendwie bekannt vor: Bei mir hab ich sie in ziemlich genau der Form (diese abgehackten Streifen, die sich ständig wiederholen, wie in einem gebrochenen Spiegel) schon öfter im "Gun"-Demo von PowerVR gesehen...

InifinteGuardBand? Oder funktioniert das nur unter OpenGL?

InifinteGuardBand funktioniert immer. Aber irgendwie kann ich mir nicht unbedingt erklären wie das damit zusammenhänge soll. InifinteGuardBand soll ja nur das Clippen von Polys überflüssig machen.

Bei der Gun-Demo habe ich das bisher immer nur in einzelen Bereichen gesehen. Da sich das ganze ja scheinbar über den ganzen Screen erstreckt tippe ich auf Fast Z / Color Clear.

Demirug
2003-05-15, 11:25:14
Originally posted by Exxtreme
@ Richthofen

Prinzipiell Full Ack.

2 Sachen wären aber da:

1. Der 3DMark eignet sich doch ziemlich hervorragend dazu einzelne Aspekte einer GraKa zu testen.

2. Ich denke, daß die Firmen doch lieber ihre Resourcen nicht in Benchmark-Optimierung reinstecken sollten sondern eher in eine allgemeine Optimierung.

1. Nein dafür sind selbst bei den Technologietest zuviel Dinge vermischt und zudem sind die Tests zu schlecht dokumentiert.

2. Ja nur solange mit dem Teil gebencht wird werden die IHVs versuchen da auch gut auzusehen.

Exxtreme
2003-05-15, 11:27:04
Originally posted by Demirug


1. Nein dafür sind selbst bei den Technologietest zuviel Dinge vermischt und zudem sind die Tests zu schlecht dokumentiert.

Ich meine eher die Fillrate- und Polygon-Durchsatz-Tests etc.

Demirug
2003-05-15, 11:32:43
Originally posted by Exxtreme

Ich meine eher die Fillrate- und Polygon-Durchsatz-Tests etc.

So wie der 3dmark die Fillrate ermittelt tendiert er aber eher zum Bandbreiten bench. Und die Polydursatz ist ja ganz schön aber da wird IMHO einfach zuwenig skaliert. Ich würde da gerne mehrere unterschiedliche HT&L Kombinationen und verschiedene Shader sehen. Dann können die IHVs auch nicht mehr nur auf einzelne genaue definitierte Fälle optimieren.

Richthofen
2003-05-15, 11:35:00
Originally posted by Exxtreme
@ Richthofen

Prinzipiell Full Ack.

2 Sachen wären aber da:

1. Der 3DMark eignet sich doch ziemlich hervorragend dazu einzelne Aspekte einer GraKa zu testen.

2. Ich denke, daß die Firmen doch lieber ihre Resourcen nicht in Benchmark-Optimierung reinstecken sollten sondern eher in eine allgemeine Optimierung.


zu 1) der 3DMark wird als DX9 Test verkauft und ist damit schonmal völliger Quatsch weil DX9 sprich PS/VS 2.0 bis zum Erbrechen nicht zum Einsatz kommt sondern mehrheitlich 1.4 das in der Gamerwelt keine Sau interessiert.
Den Bench kann man vergessen.

zu 2) Wie stellstn dir das vor? Solange jeder Döskopf 3DMark bencht und die Punktzahl am Ende hinschreibt, solange werden die Hersteller darauf optimieren was das Zeug hält. Ich erwarte von denen gar nix anderes, da sie nur eins wollen - Produkte verkaufen. Wie ist doch egal.
Würden die Reviewer mehr Games nutzen, dann würde zwar auch optimiert aber wenigstens hab ich als Spieler dann was davon. Eigene Timedemos recorden und alle paar Wochen die Timedemo wechseln wäre natürlich der ideale Ansatz um das ganze Theater zu vermeiden.

Wer unbedingt den 3DMark nutzen möchte für einzelne spezielle Untersuchungen, der kann das ja machen. Man brauch ja nur die Punktzahl am Ende nicht erwähnen und einfach jeden Test einzeln analysieren und schauen was passiert und was dazu schreiben. Nur 90% der Seiten sind dazu schonmal nicht in der Lage, weil das Fachwissen fehlt. Ergo benchen die einfach mal flink durch und schreiben die Punktzahl hin und solange das so ist wird dort optimiert werden was das Zeug hält. Sind wir mal ehrlich, der 3DMark bietet sich doch geradezu an dafür. Der ist doch so stümperhaft und schlecht gemacht, dass es geradezu einfach ist dort höhere Punkte zu erzielen.

ow
2003-05-15, 11:54:05
Originally posted by Demirug


Beim 03 wird bei jedem Durchlauf genau die gleiche Bildsequenz gerendert. Steht im Whitepaper. Damit soll sichergestellt werden das unabhängig von der Hardware immer genau das gleiche Arbeitsvolumen anfällt.

??

wie denn das, wenn die Anzahl an gerenderten Frames immer variiert?

mapel110
2003-05-15, 12:33:38
Originally posted by ow


??

wie denn das, wenn die Anzahl an gerenderten Frames immer variiert?

genau daraus resultiert ja dann das ergebnis.

was willst du denn bitte schön noch vergleichen, wenn die fps, die gesamtzeit des benches und die darstellungsqualität identisch ist :|

irgendwie stehts du hier wohl gerade auf einem richtig dicken fetten schlauch :D

ow
2003-05-15, 13:01:21
Originally posted by mapel110


genau daraus resultiert ja dann das ergebnis.

was willst du denn bitte schön noch vergleichen, wenn die fps, die gesamtzeit des benches und die darstellungsqualität identisch ist :|


???
fps UND gesamtzeit koennen ja nicht identisch sein.


irgendwie stehts du hier wohl gerade auf einem richtig dicken fetten schlauch :D


dann erklaer DU es mir doch, es macht ja den eindruck als haettest du das verstanden.
also nochmal die frage: wieso ist der bewegungsablauf immer derselbe, wenn verschiedene karten unterschiedliche frames rendern??

Demirug
2003-05-15, 13:12:03
Ich glaube ich weiss jetzt woher die Konfusion kommt.

der 03 kann beide Verfahren.

-Time based
-Frame based

Ich habe jetzt aber extra nochmal nauchgeschaut: http://www.futuremark.com/companyinfo/3dmark03_whitepaper.pdf

Für die Punkte wird nach wie vor Timebased benutzt.

Das ändert aber im Prinzip nichts daran das die Kamerafahrt statisch ist. Wenn man nun den Test auf einer sehr schnellen CPU gegen ein NULL-Device laufen läst bekommt man die genaue Kamerafahrt heraus und könnte dann ausrechnen (viel Arbeit) welche Teile niemals (egal wie schnell eine Karte ist) sichtbar werden können.

Aqualon
2003-05-15, 13:15:22
Ich denke mit "gleicher Bewegungsablauf" ist gemeint, dass eine Graka bei jedem Durchlauf dieselben Daten bekommt, die sie dann berechnen muss.

In dem Fall kann der Treiber quasi "voraussehen" was die Graka nun zu berechnen hat.

Wieviel sie dann davon schafft und mit welcher Geschwindigkeit spielt da ja keine Rolle.

Aqua

P.S. Das war jetzt ein nichttechnischer Erklärungsversuch. Kann sein, dass die ganze Sache vom Prinzip her völlig anders funktioniert.

mapel110
2003-05-15, 13:37:21
Originally posted by ow
wieso ist der bewegungsablauf immer derselbe, wenn verschiedene karten unterschiedliche frames rendern??

nicht unterschiedliche frames, nur unterschiedliche anzahl an frames, eben timebased messung. zeit bleibt gleich, nur die karten schaffen eine unterschiedliche anzahl an frames. der inhalt der frames bleibt aber immer derselbe.
das ist es ja, was man sich zu nutze machen kann.

ow
2003-05-15, 13:42:01
Originally posted by Demirug
Ich glaube ich weiss jetzt woher die Konfusion kommt.

der 03 kann beide Verfahren.

-Time based
-Frame based

Ich habe jetzt aber extra nochmal nauchgeschaut: http://www.futuremark.com/companyinfo/3dmark03_whitepaper.pdf

Für die Punkte wird nach wie vor Timebased benutzt.

Das ändert aber im Prinzip nichts daran das die Kamerafahrt statisch ist. Wenn man nun den Test auf einer sehr schnellen CPU gegen ein NULL-Device laufen läst bekommt man die genaue Kamerafahrt heraus und könnte dann ausrechnen (viel Arbeit) welche Teile niemals (egal wie schnell eine Karte ist) sichtbar werden können.


ah ja....dass die kamerafahrt statisch ist ist mir schon klar.
aber bei timebased sind doch die frames eben nicht dieselben.

ow
2003-05-15, 13:44:28
Originally posted by mapel110


nicht unterschiedliche frames, nur unterschiedliche anzahl an frames, eben timebased messung. zeit bleibt gleich, nur die karten schaffen eine unterschiedliche anzahl an frames. der inhalt der frames bleibt aber immer derselbe.
das ist es ja, was man sich zu nutze machen kann.

nein, der inhalt der gerenderten frames bleibt eben nicht derselbe.
wie soll das denn auch gehen?

die eine karte schafft 100 frames, die andere zB. 500.
und keines dieser frames aus diesen 2 serien kann identisch sein.
das ist eben timbased.

nur bei framebased, wie es zB Q3 nutzt, werden immer und auf allen karten dieselben frames gerendert.

Salvee
2003-05-15, 13:53:50
Auch bei timebased besteht doch ein Benchmarkdurchlauf aus einer endlichen Anzahl aus möglichen verschiedenen Frames, oder nicht?

seahawk
2003-05-15, 14:06:00
Nein, die Dauer des Tests ist konstant, die Anzahl der Frames hingegen rein theoretisch unendlich ...

Der Unterschied zwischen den einzelnen Frames geht zwar gegen null, letztendlich ist aber jeder Frame minimal anders.

Zur Optimierung muss der Treiber wissen welche Teile des Bildes unter keinen Umständen zu sehen sein werden.

(Ich glaube allerdings nicht, dass NV diesen Weg gewählt hat)

mapel110
2003-05-15, 14:07:54
timebased: gesamtzeit bleibt gleich, anzahl der frames wird gemessen
framebased: gesamtframeanzahl bleibt gleich, zeit wird gemessen

bei beiden bleibt der inhalt der frames identisch !
wie will man sonst vergleichen können, sprich reproduzierbar bleiben ?

seahawk
2003-05-15, 14:15:11
Nein jeder Frame ist anders.

Beispiel : sagen wir der Test dauert 100 Sekunden :

Eine Grafikkarte schafft 100 frames in der Sekunde
Eine andere schafft nur 30 frames in der Sekunde

Karte 1 : 10000 Bilder in dem Test
Karte 2 : 3000 Bilder

Die einzelnen Bilder sind aber nicht identisch. Da der Test ja nicht immer wieder das gleiche Bild berechnet sondern praktisch eine bestimmte Kamerafahrt.

Gehen wir von dem jeweiligen 2ten Bilde aus, dann zeigt :

Karte 1 : den Blick der Kamera nach 0,01 Sekunden der Fahrt
Karte 2 : den Blick nach 0,03333 Sekunden der Fahrt

Karte 2 zeigt also nie den Blick dder Karte 1, umgekehrt zeigt Karte 1 nie das Bild der Karte 2.

(Wie Demi sagt, kann man nur bestimmen welche Teile nie zu sehen sind, diese kann man dann in jedem Falle nicht darstellen. Denkbar ist natürlich auch, dass die FX5900U wirklich eine Logik hat vorherzubestimmen welche Teile nicht zu sehen sind und diese Logik beim 3DMark versagt. Immerhin ist die Programmierung des 3DMarks etwas unüblic - richtig Demi ??)

Salvee
2003-05-15, 14:22:08
Hmm, ich denke, dass eine 3D-Engine immer nur endliche Genauigkeit bietet. Auch Vertexshader laufen nur mit endlicher Genauigkeit.
Daher kann man doch davon ausgehen, dass meinetwegen nur bei einer Winkeländerung von sagen wir mal 0,5 Grad (oder was weiss ich) wirklich ein anderes Bild auf dem Bildschirm erscheint, eine geringere Gradabweichung führt aufgrund limitierter Präzision bei der Berechnung zu dem exakt gleichen Frame.

Alles imo natürlich

Edit: So verstehe ich Demirugs Ausführung: Lässt man mit einer sehr schnellen CPU ein NULL-Device laufen, bekommt man die maximal mögliche Anzahl von Frames heraus ->endlich Anzahl.

Achill
2003-05-15, 14:28:57
Wäre folgendes möglich?

Man bestimmt die Bildwiederholungsfrequenz des Monitors. Nun rendert man das erste Bild, dieses wird auf dem Monitor ausgegeben. Jetzt hat man ein Zeitfenster, in dem 100% kein gerendertes Bild auf dem Monitor erscheint, ein Bench kann zwar daten an die Grafikkarte übertragen, diese nimmt diese auch auf, rendert aber nicht die Daten sondern gibt irgend ein quatsch aus (schwarzes Bild), da dies sehr viel schneller geht.
Dies fällt nun nicht auf, weil es sich im Zeitfenster abspielt, in dem das aktuelle Bild noch auf dem Monitor gezeichnet wird.
Sobald das nächste Bild fertig ist, schaltet man auf normalmodus zurück, zeichnet ein richtiges Bild und dann beginnt man das spiel von neuem...

Demirug
2003-05-15, 14:32:39
Originally posted by seahawk
(Wie Demi sagt, kann man nur bestimmen welche Teile nie zu sehen sind, diese kann man dann in jedem Falle nicht darstellen. Denkbar ist natürlich auch, dass die FX5900U wirklich eine Logik hat vorherzubestimmen welche Teile nicht zu sehen sind und diese Logik beim 3DMark versagt. Immerhin ist die Programmierung des 3DMarks etwas unüblic - richtig Demi ??)

Futuremark verstösst scheinbar so ziemlich gegen jede Optimierungsregel die es gibt. Ob das nun wirklich so unüblich ist bezweifle ich manchmal. ;)

Eine komplexe HSR Logik im Chip halte ich jetzt eher mal für ausgeschlossen. Ich kann mir kaum einen Weg vorstellen der da wirklich effektiv ist. Wobei es da natürlich in Verbidnung mit statischer Geometrie durchaus ein paar Gemeine möglichkeiten geben könnte.

Was ich mir aber unter Umständen vorstellen könnte ist Job-Reordering. Dabei werden die Dinge in einer anderen als der ursprünglichen vorgesehenen Rheienfolge gerendert. Allerdings erfordert soetwas wieder mal etwas Analysearbeit im Treiber.

Demirug
2003-05-15, 14:40:00
Originally posted by Salvee
Hmm, ich denke, dass eine 3D-Engine immer nur endliche Genauigkeit bietet. Auch Vertexshader laufen nur mit endlicher Genauigkeit.
Daher kann man doch davon ausgehen, dass meinetwegen nur bei einer Winkeländerung von sagen wir mal 0,5 Grad (oder was weiss ich) wirklich ein anderes Bild auf dem Bildschirm erscheint, eine geringere Gradabweichung führt aufgrund limitierter Präzision bei der Berechnung zu dem exakt gleichen Frame.

Alles imo natürlich

Edit: So verstehe ich Demirugs Ausführung: Lässt man mit einer sehr schnellen CPU ein NULL-Device laufen, bekommt man die maximal mögliche Anzahl von Frames heraus ->endlich Anzahl.

Selbst bei einem NULL-Device bekommt man nicht alle möglichen Frames aber die maximale zeitliche Auflösung welche die Engine auf dieser CPU leisten kann. Mit einer Grafikkarte kann es also niemals mehr werden.

Die Kunst bei solchen "Cheat" ist es nicht für jeden möglichen Frame die richtige optimierung zu finden sondern eine Optimierung für alle Frames die innerhalb eines Zeitraums X theoretisch auftreten können. Das ist aber wie gesagt nicht ganz einfach. Ein einfaches Beispiel wäre hier das ein Benchmark von Timepoint 0:50 - 0:55 immer ein bestimmtes Object zum rendern übergibt diese aber von anderen Objekte immer verdeckt wird. Man könnte nun also von Timepoint 0:51 - 0:54 die Renderaufträge für diese Object einfach ignorieren.

Demirug
2003-05-15, 14:40:51
Originally posted by Achill
Wäre folgendes möglich?

Man bestimmt die Bildwiederholungsfrequenz des Monitors. Nun rendert man das erste Bild, dieses wird auf dem Monitor ausgegeben. Jetzt hat man ein Zeitfenster, in dem 100% kein gerendertes Bild auf dem Monitor erscheint, ein Bench kann zwar daten an die Grafikkarte übertragen, diese nimmt diese auch auf, rendert aber nicht die Daten sondern gibt irgend ein quatsch aus (schwarzes Bild), da dies sehr viel schneller geht.
Dies fällt nun nicht auf, weil es sich im Zeitfenster abspielt, in dem das aktuelle Bild noch auf dem Monitor gezeichnet wird.
Sobald das nächste Bild fertig ist, schaltet man auf normalmodus zurück, zeichnet ein richtiges Bild und dann beginnt man das spiel von neuem...

Benchmarks laufen meist ohne V-Sync. Dadurch würde eine solche optimierung schwer.

Achill
2003-05-15, 14:58:07
Originally posted by Demirug


Benchmarks laufen meist ohne V-Sync. Dadurch würde eine solche optimierung schwer.

darauf habe ich ja spekuliert, erst ohne V-Sync. gibt es ja Frames, die nicht ausgegeben werden - die man also nicht sieht und die fps können höher sein als die Bildqiederholungsfrequenz des Monitors.
Wenn ein Monitor mit 100 Hz läuft, so werden ja 100 Bilder pro sec. Ausgegeben, zwischen dem Bildaufbau vergehen also 0.01 sek., in der Zeit kann die GPU machen was sie will, man muss nur dafür sorgen, dass nach 0.01 sek. ein richtiges Bild wieder ext., welches auf dem Bildschirm ausgeben wird kann.
Bei einem Benchmark wird doch nur der Bufferwechsel gezählt ... vieleicht hab ich ja auch ein denkfehler.

Demirug
2003-05-15, 15:21:27
Wenn VSync aus ist wird entsteht ja tearing. Man sieht also von jedem Frame nur einen Teil.

Letzende Endes ist auch aufgrund der Tatsache das ja die Grafikkarte immer etwas hinter der CPU herläuft solche Cheats auf reiner Treibereben gar nicht möglich.

nagus
2003-05-15, 18:33:30
hier zeigt sich wieder einmal wie nvidias taktik funktionert...

1. für neue Grakas neue treiber releasen die auf Qauek3 und 3DMark optimiert sind und bei realen spielen nix taugen

2. wenn schön langsam alle nach und nach merken was los ist, sagt nvidia einfach es seien treiberbugs

3. effekt ist der, dass die NV35 jetzt deim 3dmark "offiziell" schneller ist als die konkurrenz, in wirklichkeit aber nicht bzw. gleichwertig.


... und bei Q3 ists das gleiche. da wird einfach statt echtem 4x "versehentlich" natürlich qunicunx FSAA aktiviert... effektiv also maximal 2x.

was mich aber am meisten dabei aufregt ist, dass leute wie razor, richthofen, quasar, etc... nvidia auch noch in schutzt nehmen wollen! :bonk:


resüme: NV35 Q3 und 3Dmark banchiews (wahrscheinlich auch Doom3) sind FÜR DIE TONNE.

btw, ist eigentlich schon jemandem aufgefallen, dass bei den Doom3 benchmarks alles auf "medium quality" gebencht wurde?? wahrscheinlich weil auch high-quality die 9800PRO geich oder sogar schneller wäre... würde mich nicht wundern.

ADIEU

Demirug
2003-05-15, 18:52:20
nagus,

Also beim 3dmark kann das durchaus ein Cheat sein aber auch ein Bug wäre möglich. Man sollte eben aufhören mit dem Teil zu benchen. Das es nicht zuverlässig ist muss man ja leider immer wieder erkennen.

Das mit dem Blur bei OpenGL Spielen ist doch mehr oder minder schon geklärt. Die Bilder entsprechen nicht dem was man auf dem Monitor sieht. Thilo hat das überprüft.

Wie man bei einer Timedemo die man nicht kennt cheaten kann musst du mir aber bitte mal erklären.

Wenn die zahlen bei Tom ja nicht so merkwürdig wäre könnte man sich ja dort einen High Quality Bench anschauen.

LovesuckZ
2003-05-15, 19:09:30
Originally posted by nagus
1. für neue Grakas neue treiber releasen die auf Qauek3 und 3DMark optimiert sind und bei realen spielen nix taugen

Fuer Q3 brauch Nvidia keinen Treiber herausbringen, selbst der alte 43.45 hat hier schon sehr gute Werte erreicht. Der neue bringt hier kaum mehr Leistung. Dafuer geht die Leistung unter D3D deutlich in die Hoehe, dies scheint dir aber wohl nicht in das Bild zu passen...

3. effekt ist der, dass die NV35 jetzt deim 3dmark "offiziell" schneller ist als die konkurrenz, in wirklichkeit aber nicht bzw. gleichwertig.

Je mehr Leute die Leistung einer Karte anhand eines solchen ueberfluessigen Bench messen, umso mehr musst du dich mit solchen Taten herumschlagen.

Richthofen
2003-05-15, 19:23:26
Originally posted by nagus
hier zeigt sich wieder einmal wie nvidias taktik funktionert...

1. für neue Grakas neue treiber releasen die auf Qauek3 und 3DMark optimiert sind und bei realen spielen nix taugen

2. wenn schön langsam alle nach und nach merken was los ist, sagt nvidia einfach es seien treiberbugs

3. effekt ist der, dass die NV35 jetzt deim 3dmark "offiziell" schneller ist als die konkurrenz, in wirklichkeit aber nicht bzw. gleichwertig.


... und bei Q3 ists das gleiche. da wird einfach statt echtem 4x "versehentlich" natürlich qunicunx FSAA aktiviert... effektiv also maximal 2x.

was mich aber am meisten dabei aufregt ist, dass leute wie razor, richthofen, quasar, etc... nvidia auch noch in schutzt nehmen wollen! :bonk:


resüme: NV35 Q3 und 3Dmark banchiews (wahrscheinlich auch Doom3) sind FÜR DIE TONNE.

btw, ist eigentlich schon jemandem aufgefallen, dass bei den Doom3 benchmarks alles auf "medium quality" gebencht wurde?? wahrscheinlich weil auch high-quality die 9800PRO geich oder sogar schneller wäre... würde mich nicht wundern.

ADIEU

zu 1. dafür hat sich bei Q3 aber wenig getan muss ich sagen :)
Die hinzugewinne der Performance waren meisst sowieso nur beim Einsatz von AA und AF und da in allen Anwendungen unter anderem auch UT2003.

zu 2. glaubst du allen Ernstes die cheaten da vor sich hin in der Hoffnung es merkt keiner? Lies dir doch mal die Entwicklung zum Thema 3DMark03 und Nvidia die dieses Jahr schon ablief so durch. Der Treiber kommt doch gerade zu mit Ankündigung. Die wollen den 3DMark runtermachen und das werden sie auch schaffen. Futuremark hat einen Fehler mit dem Benchmark gemacht. Der ist zu ATI lastig und Nvidia passt er nicht. Der Benchmark ist schon so gut wie tot und mich als Anwender stört das auch nicht. Je eher solche Benchies in der Versenkung verschwinden umso besser. Ich will spielen und nicht 3DMark Punkte bewundern.

zu 3. Haltlose Behauptung. Der NV35 ist und bleibt vorerst der schnellste Chip bzw. das schnellste Produkt. ATIs R350 liegt dahinter auch ohne 3DMark. R200 Chips bekommen auch viele Punkte im 3DMark sind den Chips der Konkurenz beim Zocken aber in aller Regel unterlegen. Daran sieht man schon wie hirnrissig dieser Bench ist.

zum Q3 Problem: Du solltest dich informieren. Denn das haben wir bereits schon geklärt ein einem anderen Thread. Das ist ein Screenshot Problem. Thilo hat es überprüft. Bleibt also die wunderbare Performance mit 4x AA und 8x Quality AF und damit NV35 als beste Karte - persiod.

"
was mich aber am meisten dabei aufregt ist, dass leute wie razor, richthofen, quasar, etc... nvidia auch noch in schutzt nehmen wollen! :bonk:
"
Ich nehme niemanden in Schutz. Mir ist es Jacke wie Hose, wer nun wie im 3DMark rumcheatet. Dieser Benchmark interessiert mich nicht und hat mich noch nie interessirt. Das trifft natürlich auch für Sysmark, PCMark, Sandra usw.. zu. Alles eine Suppe.
Nur weil es in deine heile ATI Welt nicht passt... Ist mir doch egal. Geh dich bei den Pfeifen auf rage3d.com ausweinen.

Ich freu mich in Anbetracht dieser Entwicklung unheimlich muss ich sagen :) Das Ende dieses fick Benchmarks ist damit schon so gut wie besiegelt. Wird Zeit das die Futuremark Leute sich nen anderen Brötchengeber suchen. Aber da ATI im Vorfeld schon so gut gesponsort hat, übernehmen die die vielleicht :)
Hardocp wird die 3DMark Game Benchies nicht mehr nutzen in seinen Reviews. Da werden nach und nach andere folgen und das stimmt mich dann eher positiv. Die sollen lieber Game Tests machen. Da optimieren die Hersteller zwar auch was das Zeug hält und das erwarte ich auch gar nicht anders aber dann hab ich wenigstens was davon.

Salvee
2003-05-15, 19:30:04
Originally posted by LovesuckZ


Fuer Q3 brauch Nvidia keinen Treiber herausbringen, selbst der alte 43.45 hat hier schon sehr gute Werte erreicht. Der neue bringt hier kaum mehr Leistung. Dafuer geht die Leistung unter D3D deutlich in die Hoehe, dies scheint dir aber wohl nicht in das Bild zu passen...

Je mehr Leute die Leistung einer Karte in einen solchen ueberfluessigen Bench messen, umso mehr musst du dich mit solchen Taten herumschlagen.

Erstmal die heutige Schlagzeile der Webseite, die gestern den DetonatorFX in den Himmel lobte:

'We've seen a stunning performance boost with the new NVIDIA Detonator FX 44.03 drivers, and it appears NVIDIA has already been caught cheating in 3DMark03. You can read the whole story in this article by Dave Salvator. The Detonator FX drivers use custom pre-defined clip planes and avoid doing key buffer clears in order to boost performance artificially. These kind of tricks only work when the camera follows a pre-defined path, as it does in the 3DMark03 benchmark.

As you'd expect, these revelations change our opinion somewhat about the benefits of NVIDIA's Detonator FX drivers, which we cataloged right here. We will be looking into the extent of NVIDIA's cheating on common benchmarks.

These revelations, however, do not surprise us in any grand way. NVIDIA has always been, top to bottom, ambitious to a fault. Intentional deception of the press, the enthusiast community, add-in board partners, consumers and shareholders with these kinds of tricks is nothing less than what we'd expect from the company. I'm sorry, but if they do not like us writing such things about them, then they should stop behaving as they do. '

Link (http://tech-report.com/onearticle.x/5135)

Desweiteren scheinst du nicht zu verstehen, dass diese Art des Cheats bei jeglichem gängigen Benchmark mit festem Kamerapfad möglich ist.
Das bedeutet, wenn es hart auf hart kommt, sind alle Benches, die du bei Tech-Report gesehen hast, für die Tonne, da sie allesamt auf altbekannten Timedemos basieren!
Ich schätze, in den nächsten Tagen werden etliche Benches mit selbstaufgenommenen Timedemos die wirklichen Unterschiede der bisherigen Detos mit dem DetoFX aufzeigen. Wenn es sich um einen Bug handelt, müsste der Performancevorsprung ja überall ersichtlich sein.

PS: Wenn es dir persönlich nichts ausmacht, vereiert zu werden, ist es dein gutes Recht. Allerdings dürfte die überwältigende Mehrheit der geneigten Leserschaft deine Ansichten nicht teilen.

LovesuckZ
2003-05-15, 19:36:32
@ Salvee

Unter OpenGl gab es nur einen winzigen Leistungssprung bei Tech Report. Bedeutet dies nun, dass Nvidia nur in D3D Spielen cheatet?

http://www.tech-report.com/etc/2003q2/detonator-fx/jk2.gif

Ehrlich gesagt weiß ich nicht, was an diesem Vorgehen schlimm sein sollte, da The Tech Report selbst bestaetigte, dass in UT2003 die Imagequalitaet nicht abgenommen habe. Schlimm wird es erst, wenn dieses Vorgehen Bildfehler verursacht, doch bei gleicher Bildqualitaet freut man sich um die erhoehte Leistung.

Salvee
2003-05-15, 19:42:58
a) Vielleicht ist Jedi Knight schon längst optimiert?
b) Die erhöhte Leistung hat man im Falle eines Cheats aber nur auf einer bestimmten Kamerabahn. Solltest du dich also in UT2k3 immer nur exakt auf dieser Bahn bewegen, wirst du von der 'Optimierung' profitieren, sonst nicht (überspitzt formuliert).

Momentan ist halt alles Spekulation, ich beschreibe den worst-case, der aber genausogut nur beim 3DMark03 gegeben sein kann.

LovesuckZ
2003-05-15, 20:24:30
Originally posted by Salvee
a) Vielleicht ist Jedi Knight schon längst optimiert?

Wahrscheinlich cheatet Nvidia mit diesem Cheat schon seit dem ersten Treiber...

b) Die erhöhte Leistung hat man im Falle eines Cheats aber nur auf einer bestimmten Kamerabahn. Solltest du dich also in UT2k3 immer nur exakt auf dieser Bahn bewegen, wirst du von der 'Optimierung' profitieren, sonst nicht (überspitzt formuliert).


Jeder D3D Bench hat von dem neuen treiber profitiert, das heißt also, dass Nvidia fuer jeden gaenglichen Benchmark die Treiber per Hand optimiert hat?

StefanV
2003-05-15, 20:52:37
Hm, interessant, daß einige hier NV verteidigen aber ATI wegen des 'Quak' Bugs des Cheatens bezichtigt haben...

LovesuckZ
2003-05-15, 21:03:02
Von hardocp.com:

Two days after Extremetech was not given the opportunity to benchmark DOOM3, they come out swinging heavy charges of NVIDIA intentionally inflating benchmark scores in 3DMark03. What is interesting here is that Extremetech uses tools not at NVIDIA's disposal to uncover the reason behind the score inflations. These tools are not "given" to NVIDIA anymore as the will not pay the tens of thousands of dollars required to be on the "beta program" for 3DMark "membership".

First off it is heavily rumored that Extremetech is very upset with NVIDIA at the moment as they were excluded from the DOOM3 benchmarks on Monday [...]

Please don't misunderstand me. Et has done some good work here. I am not in a position to conclude motive in their actions, but one thing is for sure.

3DMark03 scores generated by the game demos are far from valid in our opinion. Our reviewers have now been instructed to not use any of the 3DMark03 game demos in card evaluations, as those are the section of the test that would be focused on for optimizations. I think this just goes a bit further showing how worthless the 3DMark bulk score really is.

Salvee
2003-05-15, 21:06:32
Originally posted by LovesuckZ


Wahrscheinlich cheatet Nvidia mit diesem Cheat schon seit dem ersten Treiber...



Jeder D3D Bench hat von dem neuen treiber profitiert, das heißt also, dass Nvidia fuer jeden gaenglichen Benchmark die Treiber per Hand optimiert hat?

Die NV OpenGL Treiber sind die besten, die es für Consumerhardware gibt imo. Da zweifel ich nicht dran.
Natürlich legen die Benches auch durch Optimierungen beim AA, AF, etc. pp zu.
Solange allerdings die Cheat-Sache nicht geklärt ist, sehe ich die Benchmarkergebnisse nur als 'vorläufig' an, das ist alles.

Ach ja, [H] vermutet, dass Extremetech angepisst war, und das ganze eine Racheaktion sein soll.
Ich bezweifel aber, dass Extemetech clip planes in den 3DMark eingepflegt hat ;)

seahawk
2003-05-15, 21:19:00
Die Nvidia X-Files sind eröffnet.

Ich bin bis heute nicht überzeugt, dass NV beim 3DMark cheatet. Den offensichtlich fallen die Fehler nur mit der Beta/Member/Developer Version auf. Da hat NV aber keinen Zugang zu. Es kann sich also auch um einen simpelen Bug im Zusammenspiel mit dieser Version handeln.

Wenn nicht, ist das kein Cheat. NV ist nicht mehr im Team mit Futuremark, die sind also nicht verpflichtet eine fairen Treiber zu bringen. 3DMark ist ein Benchmark (und als solcher ein ziemlich bescheidener) der nur wenig Bezug zur Realität hat. Und wenn NV mit dem Treiber zeigt wie man 3DMark unsinnig machen kann, dann herzlichen Glückwunsch Nvidia.

(PS es stellt sich ja auch die Frage ob der ATI Treiber nicht auch vielleicht .. nur die sind im Team und konnten mir der Developer Version ...)

Wenn diese Manipulation im treiber möglich ist, dann ist jeder mit 3DMark erzielte Benchmark aussagelos. Vielleicht kommen die guten AATI Scores nach Veröffentlichung ja auch vom einer Optimierung. (Und als Entwicklungspartner können die ja sicher prüfen, ob diese Verbesserungen sichtbar werden)

Die Idee, dass für andere Spiele-Timedemos Optimierungen im Treiber sind ist lächerlich.

Guck Dir UT an. Nimm ne andere map, lass den Flyby laufen und fertig.

PS. Wie die für das Doom3 Demo gecheatet habe sollen ist mir noch unklarer.

LovesuckZ
2003-05-15, 21:20:52
Originally posted by Salvee
Ach ja, [H] vermutet, dass Extremetech angepisst war, und das ganze eine Racheaktion sein soll.
Ich bezweifel aber, dass Extemetech clip planes in den 3DMark eingepflegt hat ;)

So wie ich das verstehe, hat ET die Fehler entdeckt, in dem sie Tools verwendet haetten, die Nvidia nicht zur Verfuegung stuenden. Vielleicht kann das auch dadran liegen, da Nvidia eben nicht diese Moeglichkeiten haette, frei im Nature umher zu laufen und Bugs so finden zu koennen.

Aqualon
2003-05-15, 21:49:36
Ich frag mich, warum sich manche überhaupt so aufregen? Es gibt einen neuen Treiber und wenn der mehr Leistung bringt bei gleicher Bildqualität ist das gut aus meiner Sicht.

Und mich interessieren da keine realitätsfremden Benches ala 3DMark, sonder nur wie sich der Treiber in realen Spielen schlägt. Und wenn ich da mehr Leistung bekomme, bei am Monitor betrachtet gleicher Qualität ist das doch super.

Was jucken mich denn irgendwelche Screenshots, wenn die IMO eh nicht viel über das Spielerlebnis aussagen?

Aber vielleicht bin ich da auch in der Minderheit, wenn ich sage dass mich solche Sachen eigentlich nicht stören, solange ein Spiel Spaß macht.

Aqua

[LOG]Skar
2003-05-15, 22:23:42
Ich sehe das ein wenig anders... Wenn eine Firma Test für ihre Produkte fälscht, dann verbessert sie damit ihr Position am MArkt auf nicht faire Weise. Das scheint zwar hier nicht viele zu Stören, aber ich finde es mehr als traurig. Die Tests sind ja dazu da um eine Kaufentscheidung zu fällen. Ich persönlich habe eigentlich nicht die Möglichkeit eine Karte persönlich vor einem Kauf zu Testen.
Und wer dann einmal darauf reingefallen ist steht auch auf der anderen Seite.

Also finde ich es gut wenn es Leute gibt die alles unter die Lupe nehmen. Wenn man also merkt dass die Karte bei einem Bench überdurschnittlich schnell ist kann man ja mit Begründung seinen Verdacht äußern.

In diesem Fall steht jetzt Nvidia unter verdacht. Da sie mit der GF FX 5800 Ultra unter Druck geraten sind und ein sehr Werbewirksamer Benchmark ihr gar nicht gut liegt, hätten sie ein Motiv. Und die Treiber Programmierer von nVidia gehören nun mal auch zu den fähigsten Leuten.

Richthofen
2003-05-15, 22:47:40
Originally posted by seahawk
Die Nvidia X-Files sind eröffnet.

Ich bin bis heute nicht überzeugt, dass NV beim 3DMark cheatet. Den offensichtlich fallen die Fehler nur mit der Beta/Member/Developer Version auf. Da hat NV aber keinen Zugang zu. Es kann sich also auch um einen simpelen Bug im Zusammenspiel mit dieser Version handeln.

Wenn nicht, ist das kein Cheat. NV ist nicht mehr im Team mit Futuremark, die sind also nicht verpflichtet eine fairen Treiber zu bringen. 3DMark ist ein Benchmark (und als solcher ein ziemlich bescheidener) der nur wenig Bezug zur Realität hat. Und wenn NV mit dem Treiber zeigt wie man 3DMark unsinnig machen kann, dann herzlichen Glückwunsch Nvidia.

(PS es stellt sich ja auch die Frage ob der ATI Treiber nicht auch vielleicht .. nur die sind im Team und konnten mir der Developer Version ...)

Wenn diese Manipulation im treiber möglich ist, dann ist jeder mit 3DMark erzielte Benchmark aussagelos. Vielleicht kommen die guten AATI Scores nach Veröffentlichung ja auch vom einer Optimierung. (Und als Entwicklungspartner können die ja sicher prüfen, ob diese Verbesserungen sichtbar werden)

Die Idee, dass für andere Spiele-Timedemos Optimierungen im Treiber sind ist lächerlich.

Guck Dir UT an. Nimm ne andere map, lass den Flyby laufen und fertig.

PS. Wie die für das Doom3 Demo gecheatet habe sollen ist mir noch unklarer.

ganz meine Meinung. Solange ich bei Spielen keine Probleme habe ist mir das egal und wenn es dafür sorgt, dass Futuremark und der ganze 3DMark sich und ihr Produkt einmotten können, dann umso besser.

Quasar
2003-05-15, 22:51:30
Originally posted by Stefan Payne
Hm, interessant, daß einige hier NV verteidigen aber ATI wegen des 'Quak' Bugs des Cheatens bezichtigt haben...

Also wirklich, Stefan Payne.....

Neee nee. Beinahe wär' ich wirklich drauf angesprungen und hätte versucht, mit dir zu argumentieren (Spiel vs. Benchmark, Sichtbar vs. Nicht Sichtbar, Cheat vs. Bug, Zugegeben vs. Ungeklärt)...

Aber da das bekanntlich zu nix führt nur ein kurzes: Schade, hätte klappen können.

StefanV
2003-05-15, 23:20:20
Originally posted by Quasar
Also wirklich, Stefan Payne.....

Neee nee. Beinahe wär' ich wirklich drauf angesprungen und hätte versucht, mit dir zu argumentieren (Spiel vs. Benchmark, Sichtbar vs. Nicht Sichtbar, Cheat vs. Bug, Zugegeben vs. Ungeklärt)...

Aber da das bekanntlich zu nix führt nur ein kurzes: Schade, hätte klappen können.

Ja und??
Bug in einer Optimierung, der nächste Treiber hat die gleiche Performance wie dieser 'Cheat Treiber' gehabt...

Quasar
2003-05-16, 00:08:25
:nono:

Ailuros
2003-05-16, 04:36:56
Originally posted by Demirug


Futuremark verstösst scheinbar so ziemlich gegen jede Optimierungsregel die es gibt. Ob das nun wirklich so unüblich ist bezweifle ich manchmal. ;)

Eine komplexe HSR Logik im Chip halte ich jetzt eher mal für ausgeschlossen. Ich kann mir kaum einen Weg vorstellen der da wirklich effektiv ist. Wobei es da natürlich in Verbidnung mit statischer Geometrie durchaus ein paar Gemeine möglichkeiten geben könnte.

Was ich mir aber unter Umständen vorstellen könnte ist Job-Reordering. Dabei werden die Dinge in einer anderen als der ursprünglichen vorgesehenen Rheienfolge gerendert. Allerdings erfordert soetwas wieder mal etwas Analysearbeit im Treiber.

Demirug,

Verwendet letztenendes Mother Nature "sorting" oder nicht? Wenn ja wuerde ich mal gerne wissen wieso FutureMark ueberhaupt dazu kam.

Demirug
2003-05-16, 07:40:51
Originally posted by Ailuros


Demirug,

Verwendet letztenendes Mother Nature "sorting" oder nicht? Wenn ja wuerde ich mal gerne wissen wieso FutureMark ueberhaupt dazu kam.

Der 3d mark hat leider einen Spy Schutz was es etwas kompliziert macht genau zu sehen was er tut. So wie es aber aussieht betreibt man dort kein sorting in dem Sinn das man alles mit Absicht Back2Front sortiert. Es gibt aber wohl scheinbar eine gewisse Ordnung in der Rheienfolge wie gerendert wird. Und da scheint man den Skydome zuerst zu rendern. Normalerweise macht man das aber am schluss weil dieser ja nur die Lücken füllen soll wo noch nichts gerendert wurde.

nagus
2003-05-16, 08:16:34
Originally posted by Richthofen


zu 1. dafür hat sich bei Q3 aber wenig getan muss ich sagen :)
Die hinzugewinne der Performance waren meisst sowieso nur beim Einsatz von AA und AF und da in allen Anwendungen unter anderem auch UT2003.

zu 2. glaubst du allen Ernstes die cheaten da vor sich hin in der Hoffnung es merkt keiner? Lies dir doch mal die Entwicklung zum Thema 3DMark03 und Nvidia die dieses Jahr schon ablief so durch. Der Treiber kommt doch gerade zu mit Ankündigung. Die wollen den 3DMark runtermachen und das werden sie auch schaffen. Futuremark hat einen Fehler mit dem Benchmark gemacht. Der ist zu ATI lastig und Nvidia passt er nicht. Der Benchmark ist schon so gut wie tot und mich als Anwender stört das auch nicht. Je eher solche Benchies in der Versenkung verschwinden umso besser. Ich will spielen und nicht 3DMark Punkte bewundern.

zu 3. Haltlose Behauptung. Der NV35 ist und bleibt vorerst der schnellste Chip bzw. das schnellste Produkt. ATIs R350 liegt dahinter auch ohne 3DMark. R200 Chips bekommen auch viele Punkte im 3DMark sind den Chips der Konkurenz beim Zocken aber in aller Regel unterlegen. Daran sieht man schon wie hirnrissig dieser Bench ist.

zum Q3 Problem: Du solltest dich informieren. Denn das haben wir bereits schon geklärt ein einem anderen Thread. Das ist ein Screenshot Problem. Thilo hat es überprüft. Bleibt also die wunderbare Performance mit 4x AA und 8x Quality AF und damit NV35 als beste Karte - persiod.

"
was mich aber am meisten dabei aufregt ist, dass leute wie razor, richthofen, quasar, etc... nvidia auch noch in schutzt nehmen wollen! :bonk:
"
Ich nehme niemanden in Schutz. Mir ist es Jacke wie Hose, wer nun wie im 3DMark rumcheatet. Dieser Benchmark interessiert mich nicht und hat mich noch nie interessirt. Das trifft natürlich auch für Sysmark, PCMark, Sandra usw.. zu. Alles eine Suppe.
Nur weil es in deine heile ATI Welt nicht passt... Ist mir doch egal. Geh dich bei den Pfeifen auf rage3d.com ausweinen.

Ich freu mich in Anbetracht dieser Entwicklung unheimlich muss ich sagen :) Das Ende dieses fick Benchmarks ist damit schon so gut wie besiegelt. Wird Zeit das die Futuremark Leute sich nen anderen Brötchengeber suchen. Aber da ATI im Vorfeld schon so gut gesponsort hat, übernehmen die die vielleicht :)
Hardocp wird die 3DMark Game Benchies nicht mehr nutzen in seinen Reviews. Da werden nach und nach andere folgen und das stimmt mich dann eher positiv. Die sollen lieber Game Tests machen. Da optimieren die Hersteller zwar auch was das Zeug hält und das erwarte ich auch gar nicht anders aber dann hab ich wenigstens was davon.

http://www.theforumisdown.com/uploadfiles/0103/Zbuffer.jpg

nagus
2003-05-16, 08:17:23
http://www.theforumisdown.com/uploadfiles/0103/TheWay.jpg

StefanV
2003-05-16, 08:43:32
Originally posted by Quasar
:nono:

Jaja, ATI ist ein Cheater, weil sie diverse Texturen durcheinander bringen, NV würde NIEMALS Cheaten, schon klar...

PS: dieses Posting enthält Sarkasmus

PS: bei UT2003 hat ja auch kaum jemand behauptet, daß ATI Cheaten würde, da die Texturen eigentlich vorhanden sind...

@Nagus

Deine Bilderchen sind zwar recht nett anzuschauen, doch dummerweise hat die Seite einen Link Schutz, das was du siehst ist der Browser Cache...

seahawk
2003-05-16, 08:49:47
Da fragt man sich natürlich auch wo die überprportionalen Gewinne von ATI mit dem Cat 3.4 herkommen.

Komischer Weise wirken sich die Änderungen besonders stark im 3DMark03 aus.

nagus
2003-05-16, 08:56:21
- http://www.theforumisdown.com/uploadfiles/0103/TheWay.jpg
- http://www.theforumisdown.com/uploadfiles/0103/Zbuffer.jpg
- http://www.theforumisdown.com/uploadfiles/0103/insidethebox.jpg

Demirug
2003-05-16, 08:58:53
Originally posted by nagus
- http://www.theforumisdown.com/uploadfiles/0103/TheWay.jpg
- http://www.theforumisdown.com/uploadfiles/0103/Zbuffer.jpg
- http://www.theforumisdown.com/uploadfiles/0103/insidethebox.jpg

No way. Das funktioniert auch nicht.

StefanV
2003-05-16, 09:02:17
Originally posted by Demirug
No way. Das funktioniert auch nicht.

Doch, aber nur per Copy&Paste...

Direkt Link auf diese Seite ist also (leider) nicht...

StefanV
2003-05-16, 09:05:33
Originally posted by seahawk
Da fragt man sich natürlich auch wo die überprportionalen Gewinne von ATI mit dem Cat 3.4 herkommen.

Komischer Weise wirken sich die Änderungen besonders stark im 3DMark03 aus.

naja, Optimierungen der Shaderleistung könnte man das schon erklären...
Mit den ATI Demos könnte man das auch feststellen, dummerweise gibts bei diesen Proggies keine FPS Anzeige

Achill
2003-05-16, 09:15:08
Bei mir ist der 3DMark03 um ~7% schneller geworden, von ca. 470x auf 500x punkte.

Thilo schrieb hier: http://www.forum-3dcenter.org/vbulletin/showthread.php?s=&threadid=71135 , das die GF FX in normalen spielen real um 2-5% schneller geworden ist.

ich denke also schon, dass solche werte am anfang einer Treiberreihe drin sind und diese der wirklichkeit entsprechen.

Achill
2003-05-16, 09:18:02
Originally posted by Stefan Payne


naja, Optimierungen der Shaderleistung könnte man das schon erklären...
Mit den ATI Demos könnte man das auch feststellen, dummerweise gibts bei diesen Proggies keine FPS Anzeige

geht nicht das gute alte fraps bzw. von www.tommti-systems.de ShaderMark ?

ow
2003-05-16, 10:58:03
Originally posted by Stefan Payne


naja, Optimierungen der Shaderleistung könnte man das schon erklären...
Mit den ATI Demos könnte man das auch feststellen, dummerweise gibts bei diesen Proggies keine FPS Anzeige

:rofl:
du meinst wohl 3DMark cheat, oder wie unterscheidest du da zwischen NV und ATi??

Richthofen
2003-05-16, 11:40:39
Originally posted by seahawk
Da fragt man sich natürlich auch wo die überprportionalen Gewinne von ATI mit dem Cat 3.4 herkommen.

Komischer Weise wirken sich die Änderungen besonders stark im 3DMark03 aus.

Ja weil die wie NV auch alles daran setzen bei dem Benchmark gut auszusehen. Die sollen das mal lieber bei Spielen tun. Wird Zeit das der Benchmark in der Versenkung verschwindet.
NV arbeitet ja fleissig in die Richtung. Da werden noch ne ganze Weile fragwürdigen Code für den 3DMark einbauen. Irgendwann werden die Reviewer kapitulieren, weil nichts mehr vergleichbar ist und dann ist der Benchmark tot.

StefanV
2003-05-16, 12:04:36
Originally posted by Achill
geht nicht das gute alte fraps bzw. von www.tommti-systems.de ShaderMark ?

Fraps -> laut Leo nicht immer Zuverlässig.

tbs Shadermark bzw Treasure Chest-> uups, das hab ich doch glatt vergessen :sulkoff:

StefanV
2003-05-16, 12:06:46
Originally posted by ow
:rofl:
du meinst wohl 3DMark cheat, oder wie unterscheidest du da zwischen NV und ATi??

Vielleicht gibts den Unterschied, daß man bei NV mal eben über 50% Leistung beim Treiber 'gefunden' hat, was auf dem ersten Blick schonmal schwer verdächtig ist, zum anderen liefert ATI 5-10% mehr Leistung, die es aber nicht nur im 3Dmark sondern auch möglicherweise in anderen Programmen (Techdemos) geben könnte...

Oder hast du schon ein paar Benches über die R300 laufen lassen, die meine Vermutung wiederlegt??

ow
2003-05-16, 12:12:28
@SP


Zeig mir soch mal Benches, die zeigen, dass der neue NV Treiber NUR im 3DM zulegt.
Irgendwie hab ich in Erinnerung, dass auch eine ganze Reihe Games davon profitieren.

Richthofen
2003-05-16, 14:00:44
ja in der Tat vor allem mit dem guten alten application AF und 4x AA :)

Salvee
2003-05-16, 15:07:05
Originally posted by Richthofen


Ja weil die wie NV auch alles daran setzen bei dem Benchmark gut auszusehen. Die sollen das mal lieber bei Spielen tun. Wird Zeit das der Benchmark in der Versenkung verschwindet.
NV arbeitet ja fleissig in die Richtung. Da werden noch ne ganze Weile fragwürdigen Code für den 3DMark einbauen. Irgendwann werden die Reviewer kapitulieren, weil nichts mehr vergleichbar ist und dann ist der Benchmark tot.

Dann sollten sie den Codecreatures Benchmark auch gleich in die Tonne kloppen, die Ergebnisse einer FX sind da insbesondere beim Einsatz von AA und AF extrem zweifelhaft.
Womit auch das Argument hinfällig wäre, es geht nVidia nur darum zu zeigen, wie schlecht der 3DMark doch sei.

Aktueller Link (http://www.au-ja.org/review-3d2003-b19.phtml), das Phänomen gibt es aber schon länger.

LovesuckZ
2003-05-16, 15:14:53
Originally posted by Salvee
Dann sollten sie den Codecreatures Benchmark auch gleich in die Tonne kloppen, die Ergebnisse einer FX sind da insbesondere beim Einsatz von AA und AF extrem zweifelhaft.
Womit auch das Argument hinfällig wäre, es geht nVidia nur darum zu zeigen, wie schlecht der 3DMark doch sei.

Aktueller Link (http://www.au-ja.org/review-3d2003-b19.phtml), das Phänomen gibt es aber schon länger.

???

http://www.anandtech.com/video/showdoc.html?i=1779&p=17

Und die Werte stimmen fast ueberein!

Salvee
2003-05-16, 15:23:29
Originally posted by LovesuckZ


???

http://www.anandtech.com/video/showdoc.html?i=1779&p=17

Und die Werte stimmen fast ueberein!

Stimmt genau !

Während bei den anderen Benches auf deiner Link-Seite beim Einsatz von AA udn AF die FX mehr oder minder deutlichst abfällt,
tut sie das beim Codecreatures Benchmark ganz und gar nicht (gg. der Kunkurrenzkarte).

Vielleicht gibt es dafür eine rationale Erklärung, auf die ich gerade nicht komme.

StefanV
2003-05-16, 15:28:47
Originally posted by Salvee
Vielleicht gibt es dafür eine rationale Erklärung, auf die ich gerade nicht komme.

Ist der Codecreatures nicht OGL??

Dann -> unter OGL werden die Panel Settings nicht geforct, wenn die Application z.B. AF explizit anfordert...

'Beweis':

Xmas AA Tester...

Salvee
2003-05-16, 15:33:22
D3D soweit ich das sehe:

'Support for different interfaces
Full support for Microsoft’s ™ DirectX 8 & 9 API.
So-called sub systems make it possible to integrate future APIs (or certain OpenGL extensions) without any problems. Legacy mode for subsystems (for compatibility with former components).'

www.codecult.com

Oder weiss jemand etwas genaueres?

Es ist D3D, steht beim Anand-Bench mit dabei
Auch nett ist dieser Satz ;)

'And we close things out with a 40% advantage at 1600x1200. It is too bad that this is only a synthetic test and we haven't been able to see even remotely similar results in any of our real-world benchmarks.'

Demirug
2003-05-16, 15:38:07
Bei D3D ist das aber auch so. Wenn die Application AF anfordert gelten die Paneleinstellungen nicht mehr.

Aber Codecreatures war schon von Anfang an etwas merkwürdig.

Ailuros
2003-05-16, 18:05:35
Originally posted by Demirug


Der 3d mark hat leider einen Spy Schutz was es etwas kompliziert macht genau zu sehen was er tut. So wie es aber aussieht betreibt man dort kein sorting in dem Sinn das man alles mit Absicht Back2Front sortiert. Es gibt aber wohl scheinbar eine gewisse Ordnung in der Rheienfolge wie gerendert wird. Und da scheint man den Skydome zuerst zu rendern. Normalerweise macht man das aber am schluss weil dieser ja nur die Lücken füllen soll wo noch nichts gerendert wurde.

Klingt trotzdem ziemlich unorthodox. Kann es sein dass das demo so angelegt wurde dass die Leistung mehr einbricht als ueberhaupt noetig ist? Oder wuerde eine normale Ordnung wenig an der Leistung aendern?

Demirug
2003-05-16, 18:23:07
Originally posted by Ailuros


Klingt trotzdem ziemlich unorthodox. Kann es sein dass das demo so angelegt wurde dass die Leistung mehr einbricht als ueberhaupt noetig ist? Oder wuerde eine normale Ordnung wenig an der Leistung aendern?

Warum Futuremark das so macht kann ich auch nicht sagen.

Einen positiven Unterschied sollte sich aber auf jeden Fall ergeben. Wenn man den Himmel zuerst rendert muss für jeden Pixel auf dem Bildschirm die Farbe berechnet werden und ein grosser Teil dieser Pixel wird danach dann doch überzeichnet. Man verheitzt also fleisig völlig unnötig Bandbreite und Shaderleistung. Render man den Himmel erst am Schluss werden nur die Pixel damit gerendert die bisher noch nicht gerendert wurden.

Möglicherweise hat NVIDIA sich auch in Job reordering versucht. Dabei wird die Rheienfolge der Drawcalls so modifiziert das weniger Overdraw zu erwarten ist.

aths
2003-05-16, 20:02:03
Originally posted by ow
@SP

Zeig mir soch mal Benches, die zeigen, dass der neue NV Treiber NUR im 3DM zulegt.
Irgendwie hab ich in Erinnerung, dass auch eine ganze Reihe Games davon profitieren. Hm, ich habe in Erinnerung, dass meistens nur der 3DMark relevant zulegt.

aths
2003-05-16, 20:03:56
Originally posted by Demirug
Möglicherweise hat NVIDIA sich auch in Job reordering versucht. Dabei wird die Rheienfolge der Drawcalls so modifiziert das weniger Overdraw zu erwarten ist. Meinst du allgemeines Job-Reordering, oder habe ich das richtig verstanden, spezielles Reordering für den Benchmark?

StefanV
2003-05-16, 20:11:15
Originally posted by Demirug


Warum Futuremark das so macht kann ich auch nicht sagen.

Einen positiven Unterschied sollte sich aber auf jeden Fall ergeben. Wenn man den Himmel zuerst rendert muss für jeden Pixel auf dem Bildschirm die Farbe berechnet werden und ein grosser Teil dieser Pixel wird danach dann doch überzeichnet. Man verheitzt also fleisig völlig unnötig Bandbreite und Shaderleistung. Render man den Himmel erst am Schluss werden nur die Pixel damit gerendert die bisher noch nicht gerendert wurden.

Nunja, vielleicht war das ja auch die Absicht von Futuremark, damit die Frameraten möglichst niedrig bleiben?

Demirug
2003-05-16, 20:24:37
Originally posted by aths
Meinst du allgemeines Job-Reordering, oder habe ich das richtig verstanden, spezielles Reordering für den Benchmark?

Nachdem ja nun ein ähnliche Problem bei SS:SE aufgetreten ist scheint sich der Bug/Cheat nicht nur auf ein Programm zu beschränken.

Möglich wäre aber beides. Bekantermassen können nvidia Karten ja spätestens seit dem NV20 den Pixel-Overdraw pro Batch zählen. Wenn man nun erkennt das bestimmte Batches viel overdraw verursachen könnte man diese im nächsten Frame wenn sie wieder auftauchen in der Displayliste weiter nach vorne nehmen. Allerdings muss man dabei ein bischen aufpassen das man Effekte die von der Renderreihenfolge abhängen nicht zerstört.

Nur für einzelne Benchmarks/Programme könnte man das natürlich auch machen. Das gemeine daran ist das wenn man keinen Fehler dabei macht es niemals auffallen wird weil die Sachen ja richtig dargestellt werden und der Leistungsgewinn real ist.

Exxtreme
2003-05-16, 21:21:23
Originally posted by Stefan Payne


Nunja, vielleicht war das ja auch die Absicht von Futuremark, damit die Frameraten möglichst niedrig bleiben?
Also das Gefühl habe ich langsam auch. Man wollte wohl auf Biegen und Brechen einen Benchmark, der mit aktuellen GraKas nicht flüssig läuft.

Unregistered
2003-05-17, 01:03:27
Originally posted by Aqualon
Ich frag mich, warum sich manche überhaupt so aufregen? Es gibt einen neuen Treiber und wenn der mehr Leistung bringt bei gleicher Bildqualität ist das gut aus meiner Sicht.

Und mich interessieren da keine realitätsfremden Benches ala 3DMark, sonder nur wie sich der Treiber in realen Spielen schlägt. Und wenn ich da mehr Leistung bekomme, bei am Monitor betrachtet gleicher Qualität ist das doch super.

Was jucken mich denn irgendwelche Screenshots, wenn die IMO eh nicht viel über das Spielerlebnis aussagen?

Aber vielleicht bin ich da auch in der Minderheit, wenn ich sage dass mich solche Sachen eigentlich nicht stören, solange ein Spiel Spaß macht.

Aqua

woher weisst du dass der treiber mehr leistung bringt? weil alle reviews es mit static timedemos getestet haben! Und die sind ja gar nicht realitätsfremd und vor allem nicht cheatbar.... logik.

fvck, you're giving me a headache!

Aqualon
2003-05-17, 14:26:09
Originally posted by Unregistered


woher weisst du dass der treiber mehr leistung bringt? weil alle reviews es mit static timedemos getestet haben! Und die sind ja gar nicht realitätsfremd und vor allem nicht cheatbar.... logik.

fvck, you're giving me a headache!

Ich hab geschrieben "wenn" sie mehr leisten und nicht dass sie mehr leisten. Ich bin noch nicht dazugekommen sie auf meiner FX5200 zu testen, aber ich werd mir auch die Mühe machen ein eigenes Timedemo in Serious Sam zu erstellen und damit zu messen.

StefanV
2003-05-17, 19:30:03
Originally posted by Exxtreme

Also das Gefühl habe ich langsam auch. Man wollte wohl auf Biegen und Brechen einen Benchmark, der mit aktuellen GraKas nicht flüssig läuft.

Ich denke auch, daß Futuremark den Weg, der am langsamsten ist genommen hat...

Die Frage ist nur warum sie die FPS niedrig halten wollen...

Um die Punkte möglichst niedrig zu halten?
Oder um mit möglichst viel Aufwand einen möglichst fordernden Bench zu schreiben??

LovesuckZ
2003-05-17, 19:32:53
Originally posted by Stefan Payne
Die Frage ist nur warum sie die FPS niedrig halten wollen...


Um einen laengerfristigen Einsatz zu gewaehrleisten. Wen interessiert denn schon ein Bench, wenn nach einem halben Jahr die Top Karte schon locker über 100FPS / 10000 Punkte kommen.

Unregistered
2003-05-17, 20:57:32
Ich bin jetzt zu faul, den Thread durchzulesen. Wenn das folgende also schon gepostet wurde, einfach löschen :


Hi guys,
I posted this to our forums at www.futuremark.com and though it would be proper to also post it here to this thread (sorry about being a little late with this).
-----------------------------------------------
Everyone,
Last night ExtremeTech, a member of our Beta Program wrote an article called "Driver Irregularities May Inflate nVidia Benchmarks" (http://www.extremetech.com/article2/0,3973,1086025,00.asp)
The findings in the article have also been confirmed by Beyond3D,which is also one of our Beta Members.
(http://www.beyond3d.com/forum/viewtopic.php?topic=5856&forum=9)
We've been notified last week about the same issues and as mentioned in the articles we have also tested these issues at our own labs. Based on our initial research the issues pointed out in the articles are real and should not exist as part of the 3DMark benchmark run.
We've also notified Nvidia about these issues a couple of days ago and are still waiting for a technical response. Please note that all Beta Members have an access to 3DMark version with freecam enabled. We'd hope that Nvidia would participate in our beta program so that we could work on this kind of issues together with them.
Right now we are gathering more information about the subject and may comment to this later.
-----------------------------------------------
Given that the above post was done two days ago it might be also proper to mention that there's little to update about it. As of this writing we still have received no other explanation from Nvidia except the generic "it is most likely a driver bug".
Cheers,
AJ
_________________
Aki Järvilehto
VP, Benchmark Products
Futuremark Corporation



Cheating Nividia also mal wieder.

Kann ich jetzt überhaupt noch einem Benchmark vertrauen? Oder machen die das ganze auch bei Quake3, etc...

Aqualon
2003-05-17, 21:35:29
Originally posted by Unregistered
Kann ich jetzt überhaupt noch einem Benchmark vertrauen? Oder machen die das ganze auch bei Quake3, etc...

Du kannst einem Benchmark nur vertrauen, wenn du selbst ein Timedemo eines Games aufnimmst und dann mit diesem testest. So ist es ausgeschlossen, dass der Treiber auf einen bestimmten Bench optimiert ist.

Aber den Aufwand machen sich die wenigsten Reviewer, die möglichst viele Benches in ner bestimmten Zeit machen, weil sie dann die Graka wieder zurückgeben müssen.

Ailuros
2003-05-18, 03:10:33
Nicht nur das. Resultate sind dann auch nicht mehr vergleichbar.

Salvee
2003-05-18, 04:06:07
Originally posted by Ailuros
Nicht nur das. Resultate sind dann auch nicht mehr vergleichbar.

Ja, ein grosses Problem wäre die Reproduzierbarkeit, sei es für Vergleiche zwischen Tests verschiedener Webseiten oder dem Vergleich
'daheim' mit den Ergebnissen aus diesen Tests.

Ich bin sehr gespannt, wie sich gerade dieses Thema weiterentwickelt, für den Anfang wären solche kurzfristig aufgezeichneten Timedemos aber immer noch
besser als Benchmarkscores, die sowieso wertlos (weil gecheated) sind.

Ailuros
2003-05-18, 07:35:28
Es wird irgendwas gemunkelt dass Futuremark die Camera bei 3dmark2k3 irgendwann freischalten koennte, aber sicher bin ich mir darueber nicht ;)

LovesuckZ
2003-05-18, 09:08:53
Originally posted by Ailuros
Es wird irgendwas gemunkelt dass Futuremark die Camera bei 3dmark2k3 irgendwann freischalten koennte, aber sicher bin ich mir darueber nicht ;)

Die schalten fuer den "normalen" Menschen ja nicht mal die Aufloesungsmoeglichkeiten frei, warum grad das dann...

mapel110
2003-05-18, 09:24:01
Originally posted by LovesuckZ


Die schalten fuer den normalen Menschesn ja nicht mal die Aufloesungsmoeglichkeiten frei, warum grad das dann...

normaler mensch ?

warum ?
wer sagt denn, dass man keine neuen anreize für eine registrierung dieses prächtigen stücks software schaffen darf ? ;)

LovesuckZ
2003-05-18, 09:25:40
Originally posted by mapel110
normaler mensch ?


Die, die sich das Programm nicht gekauft haben.
Ausserdem denke ich nicht, dass viele sich extra das Programm kaufen wuerden, nur weil sie im Nature umherfliegen und die Aufloesung verstellen koennen :)

Demirug
2003-05-18, 10:30:44
We'd hope that Nvidia would participate in our beta program so that we could work on this kind of issues together with them.

Das gefällt mir am besten. Ich glaube kaum das sich nVidia dazu hinreisen läst etwas was sie absolute ablehnen durch die Teilnahme an einem kostenpflichtigen BETA programm zu unterstützen.

Aqualon
2003-05-18, 11:30:08
Originally posted by Salvee


Ja, ein grosses Problem wäre die Reproduzierbarkeit, sei es für Vergleiche zwischen Tests verschiedener Webseiten oder dem Vergleich 'daheim' mit den Ergebnissen aus diesen Tests.


Stimmt, das wär dann nicht mehr gegeben. Aber man sollte immerhin eine Tendenz erkennen können, welche Grafikkarte schneller ist bei einem bestimmten Spiel.

Und die absoluten Werte müssten auch ungefähr vergleichbar sein, wenn die Reviewer drauf achten, dass die Performance in einem selbst erstellten Timedemo ungefähr der Erfahrung im Spiel entspricht.

Aber das dürfte wohl wieder ein nicht unerheblicher Aufwand sein, den die meisten scheuen werden.

Unregistered
2003-05-18, 14:06:12
Originally posted by Demirug


Das gefällt mir am besten. Ich glaube kaum das sich nVidia dazu hinreisen läst etwas was sie absolute ablehnen durch die Teilnahme an einem kostenpflichtigen BETA programm zu unterstützen.


Schön..und?

Was ist mit Quake3, Codecreatures, SPECviewperf, SS2 und auch eigentlich allen anderen "Timedemo"-selbstablaufenden Benchmarks ??

der Witz an der Sache ist doch, das Nvidia sich durch seine Ablehnung vom 3DMark03 selbst ein Bein gestellt hat. Wären sie immer noch Beta-Member wären sie nie auf die Idee gekommen so extrem zu Cheaten, da sie dann ja die Funktion mit der freidrehbaren Kamera gekannt hätten. Ergo.. selbst schuld und doppelt doof.

UND; ohne den "besseren" 3DMark03 wäre die ganze Sache doch nie aufgekommen. Vielleicht macht Nvidia das ganze schon seit dem 3DMark99 (und verarscht damit seit Jahren alle Käufer).

UND; welchen Benchmark-Ergebnissen kann ich noch vertrauen? Soll ich mir jetzt eine GeForce holen, oder doch lieber eine Radeon? Die Geforce-Karten schauen in den Benchmarks ja nocht schlecht aus, ABER WAS DAVON IST ECHT UND WAS IST ERSTUNKEN UND ERLOGEN ??? ??? ???

Demirug
2003-05-18, 14:53:32
Das alles könnte auch schlicht und ergreifend Teil der "3DMark muss weg" Strategie von nVidia sein. Als nächstes kämme dann ein Treiber welcher genausoviele oder noch mehr punkte bringt aber den Fehler nicht mehr zeigt. Aber ein fader Beigeschmack bleibt trotzdem und so untergräbt man Stück für Stück die Aktzeptanz eines Benchmarks. Das Trident jetzt bei cheaten erwischt wurde dürfte nVidia ins Konzept passen.

StefanV
2003-05-18, 15:06:41
Originally posted by Demirug
Das alles könnte auch schlicht und ergreifend Teil der "3DMark muss weg" Strategie von nVidia sein. Als nächstes kämme dann ein Treiber welcher genausoviele oder noch mehr punkte bringt aber den Fehler nicht mehr zeigt. Aber ein fader Beigeschmack bleibt trotzdem und so untergräbt man Stück für Stück die Aktzeptanz eines Benchmarks. Das Trident jetzt bei cheaten erwischt wurde dürfte nVidia ins Konzept passen.

Nun, die Frage ist doch eher, wen es mehr schadet...

Möglicherweise ist dieser Plan ein riesiger Schuss ins Knie und der Anfang vom Ende von nV...

Salvee
2003-05-18, 15:09:32
Originally posted by Demirug
Das alles könnte auch schlicht und ergreifend Teil der "3DMark muss weg" Strategie von nVidia sein. Als nächstes kämme dann ein Treiber welcher genausoviele oder noch mehr punkte bringt aber den Fehler nicht mehr zeigt. Aber ein fader Beigeschmack bleibt trotzdem und so untergräbt man Stück für Stück die Aktzeptanz eines Benchmarks. Das Trident jetzt bei cheaten erwischt wurde dürfte nVidia ins Konzept passen.

Hmm, die 3DMark Reihe ist die mit Abstand populärste Benchmark-Suite aller Zeiten, ob es nV passt oder nicht.
Diese angebliche Strategie, (an die ich kein bisschen glaube btw.), könnte auch fein nach hinten losgehen.
Stellt euch vor, bei jedem zukünftigen Review stehen nur noch ATi-Werte mit der Randbemerkung, dass nVidia diesen benchmark nicht ordnugsgemäss durchführt.
Würde ich sehr begrüssen.

Wie sollte das weitergehen? Beim nächsten neuen Benchmark, wo nVidia überlegen ist, cheated dann ATi, um dafür zu Sorgen, dass der Bench nicht mehr benutzt wird.

Was nV da abzieht, ist wirklich aus der untersten Schublade, und sollte auf jeder Website als Sticky vermerkt werden bis zur offiziellen Stellungnahme. Allerdings scheint es so, dass viele Websites nicht ihre guten Kontakte zu nV aufs Spiel setzen wollen, deshalb halten sie die Klappe und tun so, als wäre nichts gewesen.

Demirug
2003-05-18, 15:24:32
Das Problem ist das solange niemand nVidia die Absicht nachweise kann jede Behauptung das die Benchmark Ergebnisse nicht richtig sind den Tatbestand der üblen Nachrede erfüllen würde. Selbst mit den aktuellen Treibern kann man diese Behauptung nicht ohne das Risiko eines Rechtsstreits aufstellen. Der "Fehler" tritt ja nur auf wenn man sich ausserhalb des normalen Wegs bewegt. Da dieser Weg zum ermitteln der Punkte aber nicht verlassen wird ist es nicht möglich hier einen Cheat nachzuweisen. Die einzige Möglichkeit dafür wäre eine komplette Analyse des AGP-Datenverkehrs und da die Schnittstelle auf dieser Ebene nicht bekannt ist würde das ein sehr aufwendiger Job werden.

zudem cheated sowieso jeder beim 3dmark ;) Solange es aber nicht zu visuellen Beinträchtigungen kommt nennt man das Optimierung und viele freuen sich über das mehr an Punkten.

LovesuckZ
2003-05-18, 15:32:34
Originally posted by Salvee
Stellt euch vor, bei jedem zukünftigen Review stehen nur noch ATi-Werte mit der Randbemerkung, dass nVidia diesen benchmark nicht ordnugsgemäss durchführt.
Würde ich sehr begrüssen.


Wieso fuehrt Nvidia den Bench nicht ordnungsmaeßig durch? gibt es irgendwelche Anomalien waehrend dem benchen, dass dich zu so einer Behauptung kommen laesst?

Salvee
2003-05-18, 15:45:57
Originally posted by LovesuckZ


Wieso fuehrt Nvidia den Bench nicht ordnungsmaeßig durch? gibt es irgendwelche Anomalien waehrend dem benchen, dass dich zu so einer Behauptung kommen laesst?

Soll das ein Scherz sein ?

nagus
2003-05-18, 15:51:53
Originally posted by Demirug
Das Problem ist das solange niemand nVidia die Absicht nachweise kann jede Behauptung das die Benchmark Ergebnisse nicht richtig sind den Tatbestand der üblen Nachrede erfüllen würde. Selbst mit den aktuellen Treibern kann man diese Behauptung nicht ohne das Risiko eines Rechtsstreits aufstellen. Der "Fehler" tritt ja nur auf wenn man sich ausserhalb des normalen Wegs bewegt. Da dieser Weg zum ermitteln der Punkte aber nicht verlassen wird ist es nicht möglich hier einen Cheat nachzuweisen. Die einzige Möglichkeit dafür wäre eine komplette Analyse des AGP-Datenverkehrs und da die Schnittstelle auf dieser Ebene nicht bekannt ist würde das ein sehr aufwendiger Job werden.

zudem cheated sowieso jeder beim 3dmark ;) Solange es aber nicht zu visuellen Beinträchtigungen kommt nennt man das Optimierung und viele freuen sich über das mehr an Punkten.

PRO nvidia bist du überhaupt nicht, wie? solche "optimierungen" verfälschen ganz beträchtlich die reale leistung, meinst du nicht?

btw, http://www.theforumisdown.com/uploadfiles/0103/hardocpFX.jpg

LovesuckZ
2003-05-18, 15:52:58
Originally posted by Salvee
Soll das ein Scherz sein ?

Noe. Was aendert es an der Punktzahl, wenn man in einen Modus einen Fehler entdeckt, der vielleicht 1% aller 3dMark2003 Besitzer nutzen koennen? Solange wie beim normalen Durchlauf nix passiert, ist das sowas von Schnuppe. Ausserdem gibt es im NvidiaForum keine Threads, dass dieser "Ciplane" Bug noch in anderen Games auftritt.

ow
2003-05-18, 15:56:13
Originally posted by Demirug


zudem cheated sowieso jeder beim 3dmark ;)


Eben.
Wozu auch sonst sollten zB. Firmen wie ATi Futuremark Geld in den Rachen werfen, um am Beta-Programm teilnehmen zu dürfen?
Das liegt doch auf der Hand: man kriegt alle Infos, die man braucht, um perfekt zu cheaten und möglichst gut in dem Bench auszusehen.
Das ist der Sinn der Teilnahme von HW-Herstellern an Benchmark-Entwicklungen.

Salvee
2003-05-18, 15:57:57
Originally posted by LovesuckZ


Noe. Was aendert es an der Punktzahl, wenn man in einen Modus einen Fehler entdeckt, der vielleicht 1% aller 3dMark2003 Besitzer nutzen koennen? Solange wie beim normalen Durchlauf nix passiert, ist das sowas von Schnuppe. Ausserdem gibt es im NvidiaForum keine Threads, dass dieser "Ciplane" Bug noch in anderen Games auftritt.

Zum ersten ist es kein Fehler. Wer daran glaubt, sieht am 24.12. auch den Weihnachtsmann umherstürzen.

Was sich an der Punktzahl ändert?
Ok, noch mal für dich: Es ist von Futuremark nicht vorgesehen, dass alles ausserhalb des normalen Kamerapfades weggeclipt wird.
Wenn die Hardware das selbst erkennen würde, wäre es toll, nur leider wurde es im Treiber hardgecoded.
Es dürfte wohl jedem klar sein, dass eine Graka, die nicht alles wie vorgesehen rendert, schneller ist als eine die den 'the way it's meant to be benched' beachtet.

Demirug
2003-05-18, 16:08:14
Originally posted by nagus


PRO nvidia bist du überhaupt nicht, wie? solche "optimierungen" verfälschen ganz beträchtlich die reale leistung, meinst du nicht?

btw, http://www.theforumisdown.com/uploadfiles/0103/hardocpFX.jpg

Nein, ich bin hier nicht PRO-nVidia weil ATI von mir aus das gleiche machen darf. Solange das Bild auf dem Schirm korrekt ist macht der Treiber seine Arbeit korrekt für mich.

Von welcher realen Leistung sprichst du hier? Alles was der 3dmark messen kann ist die Leistung wie schnell eine Treiber Chip Kombination die 3dmark Bildsequenzen rendern kann nicht mehr und aber auch nicht weniger.

LovesuckZ
2003-05-18, 16:08:24
Originally posted by Salvee

Was sich an der Punktzahl ändert?
Ok, noch mal für dich: Es ist von Futuremark nicht vorgesehen, dass alles ausserhalb des normalen Kamerapfades weggeclipt wird.
Wenn die Hardware das selbst erkennen würde, wäre es toll, nur leider wurde es im Treiber hardgecoded.


Es ist egal, was von Futuremark vorgesehen wird, da ich nur das sehen kann, was im Durchlauf erscheint. Somit freue ich mich, dass die Punktzahl im 3DMark2003 gesteigert wurde. Alles was links und rechts passiert, kann ich nicht beeinflussen.
Der Treiber ist ganze 4% schneller als zum vorherigen (Balanced <> Quality).

Exxtreme
2003-05-18, 16:09:17
Originally posted by Demirug

zudem cheated sowieso jeder beim 3dmark ;) Solange es aber nicht zu visuellen Beinträchtigungen kommt nennt man das Optimierung und viele freuen sich über das mehr an Punkten.
Naja, solange es nicht zu visuellen Beeinträchtigungen kommt, dürfte man es schwer als Cheat abtun. Das Problem ist aber, daß es in diesem Fall doch zu visuellen Beeinträchtigungen kommt wenn man den normalen Pfad verlässt.

Demirug
2003-05-18, 16:09:50
Originally posted by LovesuckZ


Noe. Was aendert es an der Punktzahl, wenn man in einen Modus einen Fehler entdeckt, der vielleicht 1% aller 3dMark2003 Besitzer nutzen koennen? Solange wie beim normalen Durchlauf nix passiert, ist das sowas von Schnuppe. Ausserdem gibt es im NvidiaForum keine Threads, dass dieser "Ciplane" Bug noch in anderen Games auftritt.

Bei SS:SE gibt es auch eine Problem mit der Skybox das auf ein ähnliches Problem hinweist.

LovesuckZ
2003-05-18, 16:14:26
Originally posted by Demirug
Bei SS:SE gibt es auch eine Problem mit der Skybox das auf ein ähnliches Problem hinweist.

Das duerfte dank nagus jeder mitbekommen haben. Koennte dies auf ein bug im Treiber hindeuten?

Demirug
2003-05-18, 16:19:47
Originally posted by Exxtreme

Naja, solange es nicht zu visuellen Beeinträchtigungen kommt, dürfte man es schwer als Cheat abtun. Das Problem ist aber, daß es in diesem Fall doch zu visuellen Beeinträchtigungen kommt wenn man den normalen Pfad verlässt.

Ja es kommt es zu einer Beinträchtigung. Und was ist die Ursache dieser Beinträchtigung? Ein Bug in der "Optimierung". Man wird diesen Bug beseitigen und was ist dann? Man weiss das NVIDIA irgendwie trickst kann aber nichts nachweisen.

StefanV
2003-05-18, 16:21:52
Originally posted by LovesuckZ
Das duerfte dank nagus jeder mitbekommen haben. Koennte dies auf ein bug im Treiber hindeuten?

Das deutet eher darauf hin, daß der Treiber einige Dinge umsortiert, die die Progger urprünglich anders gedacht haben...

LovesuckZ
2003-05-18, 16:24:57
Originally posted by Stefan Payne
Das deutet eher darauf hin, daß der Treiber einige Dinge umsortiert, die die Progger urprünglich anders gedacht haben...

Und dies koennte im naechsten Treiber behoben werden.

Exxtreme
2003-05-18, 16:25:26
Originally posted by Demirug


Ja es kommt es zu einer Beinträchtigung. Und was ist die Ursache dieser Beinträchtigung? Ein Bug in der "Optimierung". Man wird diesen Bug beseitigen und was ist dann? Man weiss das NVIDIA irgendwie trickst kann aber nichts nachweisen.
Dann ist's aber auch egal ob sie tricksen oder nicht. Daß die Treiber an Benchmarks/Benchmarkspiele angepasst werden, das ist kein Geheimnis. NV und Trident sind halt ziemlich plump vorgegangen wobei Trident echt den Vogel abgeschossen haben.

Demirug
2003-05-18, 16:26:18
Originally posted by Salvee


Zum ersten ist es kein Fehler. Wer daran glaubt, sieht am 24.12. auch den Weihnachtsmann umherstürzen.

Was sich an der Punktzahl ändert?
Ok, noch mal für dich: Es ist von Futuremark nicht vorgesehen, dass alles ausserhalb des normalen Kamerapfades weggeclipt wird.
Wenn die Hardware das selbst erkennen würde, wäre es toll, nur leider wurde es im Treiber hardgecoded.
Es dürfte wohl jedem klar sein, dass eine Graka, die nicht alles wie vorgesehen rendert, schneller ist als eine die den 'the way it's meant to be benched' beachtet.

Futuremark darf aber solche Annahmen nicht machen. Alles was Futuremark darf, ist zu erwarten das eine bestimmte Anweisungsfolge X zu einem Bildsequenz Y führt. Alles was dazwischen liegt ist eine Blackbox über die man keinerlei annahmen machen darf.

Salvee
2003-05-18, 17:39:33
Originally posted by Demirug


Futuremark darf aber solche Annahmen nicht machen. Alles was Futuremark darf, ist zu erwarten das eine bestimmte Anweisungsfolge X zu einem Bildsequenz Y führt. Alles was dazwischen liegt ist eine Blackbox über die man keinerlei annahmen machen darf.

Sorry, aber ich versteh gerade nicht, wie ich dein Statement zu deuten habe...

Exxtreme
2003-05-18, 17:55:28
Originally posted by Salvee


Sorry, aber ich versteh gerade nicht, wie ich dein Statement zu deuten habe...
Demirug meint wohl, daß wenn FM in einem Programm ein Polygon anfordern, dann dürfen sie auch erwarten, daß das Polygon auch dort erscheint, wo sie es haben wollen. Sie dürfen aber keine Annahmen machen, wie das Polygon auf dem Bildschirm gezaubert wird.

Demirug
2003-05-18, 18:38:40
Originally posted by Exxtreme

Demirug meint wohl, daß wenn FM in einem Programm ein Polygon anfordern, dann dürfen sie auch erwarten, daß das Polygon auch dort erscheint, wo sie es haben wollen. Sie dürfen aber keine Annahmen machen, wie das Polygon auf dem Bildschirm gezaubert wird.

Ja so im Prinzip nur noch eine nummer grösser. ;)

Eine 3D-API (wie OpenGL, D3D usw.) stellt eine formale Schnitstelle dar mit der man ein Bild beschreibt.

Dabei gelten folgende Dinge.

Reproduzierbarkeit: Die gleiche Anweisungfolge muss immer zum gleichen Ergebniss führen.

Redundanz: Unterschiedliche Anweisungsfolgen können zum gleichen Ergebniss führen.

daraus ergibt sich dann auch die

Fehlende Umkerbarkeit: Aus dem Ergebniss läst sich die ursprüngliche Anweisungsfolge nicht mehr rekonstruieren.

Stellt nun ein Hersteller die Funktionalität seiner Hardware durch eine API zur Verfügung so verpflichtet er sich nur dazu das eine Anweisungsfolge das entsprechende Bild erzeugt. Wie er das ganze erreicht obliegt vollständig dem Hersteller.

Da sich ein Hersteller also nur dazu verpflichtet ist kann ein Programmierer auch nicht mehr als das erwarten.

Baut also ein Programmierer mit Absicht eine seiner Meinung nach ineffektive Anweisungsliste braucht er sich nicht zu wundern wenn der Treiber diese etwas verbessert. ;)

Salvee
2003-05-22, 12:36:24
Originally posted by Demirug


Ja so im Prinzip nur noch eine nummer grösser. ;)

Eine 3D-API (wie OpenGL, D3D usw.) stellt eine formale Schnitstelle dar mit der man ein Bild beschreibt.

Dabei gelten folgende Dinge.

Reproduzierbarkeit: Die gleiche Anweisungfolge muss immer zum gleichen Ergebniss führen.

Redundanz: Unterschiedliche Anweisungsfolgen können zum gleichen Ergebniss führen.

daraus ergibt sich dann auch die

Fehlende Umkerbarkeit: Aus dem Ergebniss läst sich die ursprüngliche Anweisungsfolge nicht mehr rekonstruieren.

Stellt nun ein Hersteller die Funktionalität seiner Hardware durch eine API zur Verfügung so verpflichtet er sich nur dazu das eine Anweisungsfolge das entsprechende Bild erzeugt. Wie er das ganze erreicht obliegt vollständig dem Hersteller.

Da sich ein Hersteller also nur dazu verpflichtet ist kann ein Programmierer auch nicht mehr als das erwarten.

Baut also ein Programmierer mit Absicht eine seiner Meinung nach ineffektive Anweisungsliste braucht er sich nicht zu wundern wenn der Treiber diese etwas verbessert. ;)

Ok, danke, das habe ich jetzt kapiert ;)

Man kann also zusammenfassend sagen:

- treten die Darstellungsfehler in der Developerversion des Murks nur durch das von dir angesprochene 'Job Reordering' auf,
dann ist es schlicht ein Bug in der Optimierung des DetoFX auf den Murks, aber kein Cheat.

- Ist die Änderung in der Anweisungsfolge aber zugleich verbunden mit einer Verkürzung der Anweisungsfolge (sprich: weniger Anweisungen=weniger
workload, wobei der Treiber diese Verkürzung nicht durch eigene 'Intelligenz' erreicht, sondern lediglich das ganze fest im Treiber bezogen auf diese
eine Applikation und diesen einen Blickwinkel gecoded ist), handelt es sich um einen Cheat.
Dabei ist es unerheblich, ob das Endergebnis am Bildschirm richtig aussieht, denn nach deinem Statement
'Stellt nun ein Hersteller die Funktionalität seiner Hardware durch eine API zur Verfügung so verpflichtet er sich nur dazu das eine Anweisungsfolge das entsprechende Bild erzeugt' wäre diese Verpflichtung durch eine künstliche Verkürzung der Anweisungsfolge verletzt.

Demirug
2003-05-22, 12:55:20
Originally posted by Salvee


Ok, danke, das habe ich jetzt kapiert ;)

Man kann also zusammenfassend sagen:

- treten die Darstellungsfehler in der Developerversion des Murks nur durch das von dir angesprochene 'Job Reordering' auf,
dann ist es schlicht ein Bug in der Optimierung des DetoFX auf den Murks, aber kein Cheat.

Ja das könnte man so sagen.

- Ist die Änderung in der Anweisungsfolge aber zugleich verbunden mit einer Verkürzung der Anweisungsfolge (sprich: weniger Anweisungen=weniger
workload, wobei der Treiber diese Verkürzung nicht durch eigene 'Intelligenz' erreicht, sondern lediglich das ganze fest im Treiber bezogen auf diese
eine Applikation und diesen einen Blickwinkel gecoded ist), handelt es sich um einen Cheat. Dabei ist es unerheblich, ob das Endergebnis am Bildschirm richtig aussieht, denn nach deinem Statement
'Stellt nun ein Hersteller die Funktionalität seiner Hardware durch eine API zur Verfügung so verpflichtet er sich nur dazu das eine Anweisungsfolge das entsprechende Bild erzeugt' wäre diese Verpflichtung durch eine künstliche Verkürzung der Anweisungsfolge verletzt.

Nein verletzt wäre die Verplichtung nicht da das Bild ja der Anweisungsfolge entspricht.

Denoch würde eine solche vorgehensweise natürlich den Zweg des Benchmarks gewissermassen ab absurdum führen. Nur machen kann man dagegen nichts weil wenn es richtig gemacht wurde erkennt man das entfernen von Teilen aus der Anweisungsliste ja gar nicht. Es werden dabei ja nur Teile entfernt die am Ende keinen Einfluss auf das Endgültige bild haben.

Ob das aber jetzt wirklich jemand so gemacht hat kann ich beim besten Willen nicht sagen.

BigBen
2003-05-24, 16:05:59
Hi Leute,

da mittlerweile ein neuer Patch zusammen mit einem recht umfassungsreichen Statement über das driver cheating und den damit zusammenhängenden Änderungen im 3D Mark 03 released worden ist, würde ich gerne wissen, was Ihr jetzt davon haltet (z.B. ist ATi ja auch aufgefallen *g*), danke.

- 3D Mark 2003 Patch (http://www.futuremark.com/download/?3dmark03patch330.shtml)
- Futuremark zum NVIDIA Treiber Cheating (http://www.futuremark.com/companyinfo/3dmark03_audit_report.pdf) (PDF)

Bei Riverstation (http://www.riverstation.com) gibt es einen Auszug.

Gruß
Ben

Mr. Lolman
2003-05-24, 17:07:32
Originally posted by BigBen
Hi Leute,

da mittlerweile ein neuer Patch zusammen mit einem recht umfassungsreichen Statement über das driver cheating und den damit zusammenhängenden Änderungen im 3D Mark 03 released worden ist, würde ich gerne wissen, was Ihr jetzt davon haltet (z.B. ist ATi ja auch aufgefallen *g*), danke.

- 3D Mark 2003 Patch (http://www.futuremark.com/download/?3dmark03patch330.shtml)
- Futuremark zum NVIDIA Treiber Cheating (http://www.futuremark.com/companyinfo/3dmark03_audit_report.pdf) (PDF)

Bei Riverstation (http://www.riverstation.com) gibt es einen Auszug.

Gruß
Ben

Haben wir schon gesehen. Fakt ist mittlerweile, dass ATi programmspezifische Shaderoptimierungen machte, so wie sie in jedem grösserem Spiel auch vorkommen. Diese Optimierungen haben keinerlei Beeinträchtigungen der BQ zufolge, werden aber von ATi, wenn es der Wunsch der Users ist, wieder entfernt, da es eigentlich nicht dem Sinne eines Benchmarks entspricht, auf diesen hin gezielt zu optimieren.

Bei NV jedoch gibt es eine Beeinträchtigung der BQ, und dass nicht nur im Freefly Mode. Anscheinend arbeiten die Shader absichtlich mit geringerer Genauigkeit, zusätzlich noch zu dem treiberseitigen, nur durch des festen Kamerapfades möglichen HSR.Was nicht gegen irgendwelche Regeln der DX Spezifikationen verstösst, aber den Sinn eine Benchmarks noch mehr untergräbt, da hier wirklich Leistung vorgegeben wird, die nicht vorhanden ist. Ist zwar bei ATi ähnlich, jedoch bleibt die BQ gleich, und solche Optimierungen kommen auch in anderen Games vor, welche auch eine schnellere Spielgeschwindigkeit zulassen. Bei NV ist das nicht der Fall, obwohl mit dem Det. FX auch in Spielen die Geschwindigkeit gesteigert werden konnte. (nicht so signifikant, und mit anderen Methoden, und dass ist der Punkt.)

Wie ein Member schon treffend beschrieb, gebührt ATi für so eine Aktion maximal eine Ohrfeige, während man NV schon mit einem Tritt in die Weichteile bedienen sollte.

NV versucht anscheinend wirklich den Benchmark zu untergraben, da man ansonsten beim Cheaten doch etwas subtiler vorgehen würde. Da ziegt sich wieder eine Art Doppelmoral. Zwar ist der (aktuelle) 3dmark nicht wirklich auf effizientes Rendering programmiert worden, jedoch spiegelt sich die Leistung der Pixelshader ziemlich gut wieder. Auch folgenden Gedanken greife ich auf. Futuremark war (aus welchem Grund auch immer) nicht im Stande, einen Benchmark herzustellen, der aktuelle Grafikkarten, ohne Verschwendung von Ressourcen, zufriedenstellend auslastete. So entscheid man sich halt für diese Methode, da sie IMHO doch eine ungefähre Indikation darfür ist, wie zukünftige komplexe Shadergrafik auf den unterschiedlichen Grafikkarten performed. Dass NV jetzt Futuremark mit den Füssen tritt, obwohl sie tw. durch die gross geworden sind, zeigt Doppelmoral der grossen Firmen auf. Gibt die Kuh nicht mehr genug Milch, wird sie halt geschlachtet. Das ist das Geschäft. (Richthofen mag das zwar toll finden, aber nicht jeder ist ein NV - Aktienspekulant.)

(ATi würde wahrscheinlich ähnlich handeln, befindet sich aber nicht in der Situation.)





Ausserdem finde ich manche NV Fans lollig. Kein Zweifel, die FX5900 ist wirklich sehr schnell, und der Detonator FX scheint für diese Karte, trotz einiger Ungereimtheiten optimal zu sein. Die kleineren Fxe und GF4s verlieren zwar (noch) Leistung, doch dass ist nur eine Frage der Zeit, bis NV dies unter Dach und Fach bekommt. (Notfalls durch unterschiedliche Renderpfade für die einzelnen GFs).

Aber den ATi Fans agressiveres Bashing vorzuwerfen, nur weil man keine passenden Gegenargumente hat, finde ich etwas arm, genauso wie das mit den Füssen treten von Futuremark, welche doch jahrelang Vorzeigeprodukte für NV Karten produzierten zeugt von der Sprunghaftigkeit einiger Fans. Warum sagt den keiner das der ach-so-tolle Chamäleon Mark für die Tonne ist, als herauskam dass, dieses für GF4 geproggte Benchmarktool, in manchen Settings Radeon9700pro Karten sage und schreibe 7x schneller ist als bei GF4s !!?? (bitte keinen Link verlangen, ich hab keinen zur Hand, ist aber eine Tatsache!!!)

-> Richtig weil der Chamäleonmark für die meisten Reviewer (und fast allen Usern) keinerlei Relevanz darstellt.


edit: @Demirurg. Ich bin mir zu 100% sicher, dass NV es in naher Zukunft nicht zuwege bringen wied, den 3dmark ohne speziellem TreiberHSR und geringerer Genauigkeit gleich schnell performen zu lassen.

Unregistered
2003-05-24, 21:37:06
Originally posted by Stefan Payne
Möglicherweise ist dieser Plan ein riesiger Schuss ins Knie und der Anfang vom Ende von nV...

Steffi live. :lol:
Träum weiter, Kleiner.

So gut wie ATì`s Mainboard Chipsätze laufen,
kauft eher nv einfach ATi auf.

Winter[Raven]
2003-05-27, 23:06:44
Muhaha ... so, dann darf ich jezt aber auch Ati auslachen oder ? ...

ATI Technologies’ Director of PR, Chris Evenden, responded to accusations in cheating with the CATALYST drivers in order to achieve higher results in 3DMark03. The scandal broke on Friday, the 23rd of May, when Futuremark, the developer of the 3DMark03 issued a document stating that NVIDIA and ATI Technologies implemented cheats in drivers in an attempt to score better in 3DMark03 benchmark.

According to ATI’s representative quoted by Beyond3D in their editorial over here, the 1.9% performance gain came from optimization of the two DirectX 9.0 shaders (water and sky) in Game Test 4. ATI rendered the scene exactly as intended by Futuremark, in full-precision floating point. Their shaders were mathematically and functionally identical to Futuremark's and there were no visual artifacts; according to ATI Technologies, the company simply shuffled instructions to take advantage of their architecture. ATI states that these were exactly the sort of optimizations that work in games to improve frame rates without reducing image quality and as such, were a realistic approach to a benchmark intended to measure in-game performance. However, ATI recognized that these can be used by some people to call into question the legitimacy of the benchmark results, and so they would remove them from their driver as soon as is physically possible. They expect them to be gone by the next release of CATALYST.

ATI Technologies was less aggressive in its statements than NVIDIA Corporation, who accused Futuremark of developing unfair benchmarks. Nevertheless, I would point out that ATI will not have to remove anything from the drivers keeping in mind that Futuremark already made the patch to ignore the cheats. Another thing for you to note is that 3DMark03 is not a game and every single technique to “optimize” it can be considered as a cheat. I wonder if ATI actually optimizes anything for real games with pixel shaders.

Anyway, the company claims it will not cheat again with the 3DMark03 and that is definitely a positive piece of information. But what about NVIDIA?


Da sag ich nur LOL !

AlfredENeumann
2003-05-27, 23:33:29
Original geschrieben von Shakiro
Muhaha ... so, dann darf ich jezt aber auch Ati auslachen oder ? ...



Da sag ich nur LOL !

Ich weis ja nicht ob du blöd bist, aber was steht da? Kannst du Englisch? Dann les es bitte nochmal.

Richthofen
2003-05-28, 00:08:17
ist doch egal was da steht.
Wichtig ist doch nur was die Medien daraus machen.
Zum Beispiel hier:
http://www.xbitlabs.com/news/video/display/20030526040035.html
Mit fetter Überschrift als Aufmacher.

Willkommen im Cheater Club. Hier darf jeder mal 3DMurks niedercheaten :)
Das dürfte der endgültige Niedergang des Benchmarks sein.
NvNews sind übrigens die nächsten die ihn aus dem Programm nehmen nach Hardocp.
Bin mal gespannt was Anand und Tom machen.

Bis jetzt Schweigen sie nach Besten Wissen und Gewissen sich zu dem Thema tot. Die wollen halt möglichst gut die Sache überleben und optimal aus der Sache rauskommen :)
Ergo verschweigen und früher oder später den Benchmark kicken.

AlfredENeumann
2003-05-28, 00:25:18
Na und ? Wieder hat NV das geschaft was sie wollen. Einen Benchmark bedeutungslos zu machen bei dem sie vollkommen versagen. Welcher ist als nächster dran ?

Quasar
2003-05-28, 00:30:47
Original geschrieben von AlfredENeumann
Na und ? Wieder hat NV das geschaft was sie wollen. Einen Benchmark bedeutungslos zu machen bei dem sie vollkommen versagen. Welcher ist als nächster dran ?

Du klingst heute in all' deinen Postings, die ich bisher las, ziemlich gereizt, AEN. Geht's dir nicht so gut?
*auf_die_schulter_klopf*

mirp
2003-05-28, 09:39:53
http://slashdot.org/comments.pl?sid=65617&cid=6051216

Driver strategies by John Carmack on Tuesday May 27, @04:31PM

Rewriting shaders behind an application's back in a way that changes the output under non-controlled circumstances is absolutely, positively wrong and indefensible.

Rewriting a shader so that it does exactly the same thing, but in a more efficient way, is generally acceptable compiler optimization, but there is a range of defensibility from completely generic instruction scheduling that helps almost everyone, to exact shader comparisons that only help one specific application. Full shader comparisons are morally grungy, but not deeply evil.

The significant issue that clouds current ATI / Nvidia comparisons is fragment shader precision. Nvidia can work at 12 bit integer, 16 bit float, and 32 bit float. ATI works only at 24 bit float. There isn't actually a mode where they can be exactly compared. DX9 and ARB_fragment_program assume 32 bit float operation, and ATI just converts everything to 24 bit. For just about any given set of operations, the Nvidia card operating at 16 bit float will be faster than the ATI, while the Nvidia operating at 32 bit float will be slower. When DOOM runs the NV30 specific fragment shader, it is faster than the ATI, while if they both run the ARB2 shader, the ATI is faster.

When the output goes to a normal 32 bit framebuffer, as all current tests do, it is possible for Nvidia to analyze data flow from textures, constants, and attributes, and change many 32 bit operations to 16 or even 12 bit operations with absolutely no loss of quality or functionality. This is completely acceptable, and will benefit all applications, but will almost certainly induce hard to find bugs in the shader compiler. You can really go overboard with this -- if you wanted every last possible precision savings, you would need to examine texture dimensions and track vertex buffer data ranges for each shader binding. That would be a really poor architectural decision, but benchmark pressure pushes vendors to such lengths if they avoid outright cheating. If really aggressive compiler optimizations are implemented, I hope they include a hint or pragma for "debug mode" that skips all the optimizations.

John Carmack

AlfredENeumann
2003-05-28, 10:56:26
Original geschrieben von Quasar
Du klingst heute in all' deinen Postings, die ich bisher las, ziemlich gereizt, AEN. Geht's dir nicht so gut?
*auf_die_schulter_klopf*


Jetzt gehts mir besser.

Demirug
2003-05-28, 11:15:12
Zum Thema shader optimierung ist gerade noch etwas wieder aufgetaucht.

[from ps_2_0 section]
---Begin Paste---
Internal Precision
- All hardware that support PS2.0 needs to set
D3DPTEXTURECAPS_TEXREPEATNOTSCALEDBYSIZE.
- MaxTextureRepeat is required to be at least (-128, +128).
- Implementations vary precision automatically based on precision of inputs to a given op for optimal performance.
- For ps_2_0 compliance, the minimum level of internal precision for temporary registers (r#) is s16e7** (this was incorrectly s10e5 in spec)
- The minimum internal precision level for constants (c#) is s10e5.
- The minimum internal precision level for input texture coordinates (t#) is s16e7.
- Diffuse and specular (v#) are only required to support [0-1] range,
and high-precision is not required.
---End Paste ---

Das ganze ist von Microsoft.

Das fett geschriebene erlaubt es es nVidia sogar bei den PS 2_0 auf Integergenauigkeit herunter zu gehen ohne die Spec zu verletzten wenn die Quelldaten für eine Operation aus 32bbp oder 16bpp Texturen kommen.

DrumDub
2003-05-28, 11:26:00
danke, mirp. :)

sehr interessant. das bestätigt eigentlich, was wir schon vorher wussten. die architektur des nv3x ist wesentlich flexibler (FX12, FP16 oder FP32) als die des R3xx (FP24). wenn auf diese flexibilität des nv3x rücksicht bei der entwicklung genommen wird, ist er schneller als der R3xx. bei andwendungen/spielen, wo darauf nicht extra rücksicht in der entwicklung genommen wurde oder der treiber des nv3x nicht die aufgabe übernimmt den code zu optimieren, ist die anwendung oder das spiel schneller auf dem R3xx, da dieser den kopmromiss zwischen den extremen FX12 und FP32 darstellt, was aber auf kosten der flexibilität geht.

Richthofen
2003-05-28, 13:52:30
und die nächste Seite die den 3DMurks vorerst mal wegwirft.
http://www.guru3d.com/comments.php?category=1&id=1852

AlfredENeumann
2003-05-28, 16:43:27
Erstaunlich wie Richthofen da aufgeht weil eine Seite nach der anderen den 3D Mark aus dem Bench nimmt. Damit ja keiner die miserablen shader vom NV3X zu sehen bekommt.

Richthofen
2003-05-28, 16:48:10
leer

Richthofen
2003-05-28, 16:48:45
im Gegenteil. Die sind sehr gut. Äußerst flexibel. Man muss es nur nutzen und das werden viele machen im Gegensatz zu den Pfuschern von FM.

StefanV
2003-05-28, 16:51:05
Original geschrieben von Richthofen
im Gegenteil. Die sind sehr gut. Äußerst flexibel. Man muss es nur nutzen und das werden viele machen im Gegensatz zu den Pfuschern von FM.

Der P4 hat auch eine sehr gute Pro MHz Leistung, man muß sie nur nutzen und nicht so pfuschen, wie es bisher alle gemacht haben...

ow
2003-05-28, 18:05:38
Original geschrieben von Stefan Payne
Der P4 hat auch eine sehr gute Pro MHz Leistung, man muß sie nur nutzen und nicht so pfuschen, wie es bisher alle gemacht haben...

?
Was meinst denn du, wozu Intel Compiler baut?
(btw. da AMD dies nicht tut, können die sich nur glücklich schätzen, dass ihre Athlons so gut mit dem vom Intel-Compiler generierten Code zurechtkommen.)

Das einzige, was den 3DM03 noch retten kann ist, dass FM den Shadercode (soweit sie denn eine HL Shader Sprache genutzt haben) mit den neuen Profilen nochmals compiliert, so dass den Ati- und Nv-Chips den für ihre Chiparchitektur optimalen lowlevel-Shader code serviert wird.

Razor
2003-05-28, 18:12:51
Original geschrieben von AlfredENeumann
Erstaunlich wie Richthofen da aufgeht weil eine Seite nach der anderen den 3D Mark aus dem Bench nimmt. Damit ja keiner die miserablen shader vom NV3X zu sehen bekommt.
Wurde der Murks schon mit dem neuen DX9SDK von M$ kompiliert ?
???

Zitat von Demirug:
http://www.forum-3dcenter.org/vbulletin/showthread.php?s=&postid=936342#post936342
Original geschrieben von Demirug
Weil du es gerade erwähnst. Das mit HLSL und dem Chipspezifischen compileren ist auch der aktuelle Vorschlag (für die ganz neue SDK Version ;) ) von MS. Und damit nicht jeder IHVs sich seinen eigenen Compiler schreiben muss (was aber als option immer noch geht) wird der Compiler von MS verschiedene Zielprofile anbieten. Da gibt es ist jetzt ps_2_a und vs_2_a (das a steht dabei nicht für ATI die haben ja schon die 2_0 bekommen).
Scheint mir, dass diese Murks-Geschichte nur die Spitze des Eisberges ist...
:D

Razor

Demirug
2003-05-28, 18:52:14
Original geschrieben von Razor
Wurde der Murks schon mit dem neuen DX9SDK von M$ kompiliert ?
???


Definitive nicht. Das neue SDK darf noch nicht für produktiv code eingesetzt werden. Zudem ist es mit einfachen neu compileren nicht getan. Zudem habe ich den starken begründeten verdacht das die Shader nur in Assemblerform in 3dmark enthalten sind. Ob von den Shadern überhaupt HLSL Versionen exsitieren ist auch fraglich.

Razor
2003-05-28, 18:59:23
Original geschrieben von Demirug
Definitive nicht. Das neue SDK darf noch nicht für produktiv code eingesetzt werden. Zudem ist es mit einfachen neu compileren nicht getan. Zudem habe ich den starken begründeten verdacht das die Shader nur in Assemblerform in 3dmark enthalten sind. Ob von den Shadern überhaupt HLSL Versionen exsitieren ist auch fraglich.
Mir ist das halt nur gerade durch den Kopf gegangen...

Wenn selbst M$ eingesehen hat, dass der Compiler die unterschiedlichen Chiparchtekturen berücksichtigen muss, damit nicht die eine Architektur bevorteilt und die andere benachteiligt wird, drängt sich doch geradezu die Frage auf, wie FM dieses Problem 'gelöst' hat. Und wenn die Shader in Assembler geschrieben wurden, dann hätten sie den ohnehin schon extremen Aufwand auch noch verdoppeln müssen, um keinen Chip zu benachteiligen.

Oder aber...
FM hat so dermaßen miesen Code schreiben müssen, der auf beiden Architekturen gleich schlecht läuft (wenn so etwas überhaupt möglich ist).

Nur frage ich mich langsam ernsthaft, wie es überhaupt möglich sein soll, DX9-Karten in dem anvisierten Segment (DX9 ;-) miteinander zu vergleichen... anhand der Leistungsfähigkeit ihrer Compiler ?
Hmmm...

Razor

mapel110
2003-05-29, 17:41:21
Original geschrieben von Razor

Nur frage ich mich langsam ernsthaft, wie es überhaupt möglich sein soll, DX9-Karten in dem anvisierten Segment (DX9 ;-) miteinander zu vergleichen... anhand der Leistungsfähigkeit ihrer Compiler ?
Hmmm...

Razor

da bleiben dann nur reale spiele. und dann vergleich man, wieviel mühe sich die einzelnen entwickler gemacht haben, ihr baby auf allen grakas optimal laufen zu lassen.

betasilie
2003-05-29, 17:57:43
Original geschrieben von Demirug
Zudem habe ich den starken begründeten verdacht das die Shader nur in Assemblerform in 3dmark enthalten sind. Ob von den Shadern überhaupt HLSL Versionen exsitieren ist auch fraglich.
Das wäre dann aber eigentlich eigentlich seltsam, denn NV war ja anfangs mit dabei und hätte bei einer Programmierung in Assembler zu ihren Gunsten Support leisten können. Wenn FM HLSL genutzt hätte, wären NV die Hände gebunden gewesen.

seahawk
2003-05-29, 18:04:17
Original geschrieben von betareverse
Das wäre dann aber eigentlich eigentlich seltsam, denn NV war ja anfangs mit dabei und hätte bei einer Programmierung in Assembler zu ihren Gunsten Support leisten können. Wenn FM HLSL genutzt hätte, wären NV die Hände gebunden gewesen.

Und vielleicht haben die aus diesen Gründen das BETA Programm verlassen. Vielleicht war FM nicht gewillt den Code auch für die NV-Karten zu optimieren ??

betasilie
2003-05-29, 18:07:43
Original geschrieben von seahawk
Und vielleicht haben die aus diesen Gründen das BETA Programm verlassen. Vielleicht war FM nicht gewillt den Code auch für die NV-Karten zu optimieren ??
Das könnte schon sein. Ich frage mich aber bis heute, wieso NV erst so spät "Adios" gesagt hat. Sie hätten das doch alles schon vorher absehen können.

LovesuckZ
2003-05-29, 18:08:41
Original geschrieben von seahawk
Und vielleicht haben die aus diesen Gründen das BETA Programm verlassen. Vielleicht war FM nicht gewillt den Code auch für die NV-Karten zu optimieren ??

Ja, so stelle ich mir das auch vor. Man wollte anscheinend den eigenen kopf durchsetzen und hat so nvidia verprellt. Man sieht ja, was dadrauf geworden ist...

LovesuckZ
2003-05-29, 18:09:34
Original geschrieben von betareverse
Das könnte schon sein. Ich frage mich aber bis heute, wieso NV erst so spät "Adios" gesagt hat. Sie hätten das doch alles schon vorher absehen können.

Wahrscheinliche hat man erst mal versucht mit FM zu reden und ist erst dann ausgetreten als man sah, dass man mit Worte nicht mehr weiter kommt.

Black-Scorpion
2003-05-29, 20:43:27
Nach Angaben der Entwickler verwenden sie die effizientesten Shader-Programme und Berechnungen, um die verschiedenen Szenen darzustellen. Eine ungerechtfertigte Benachteiligung bestimmter Produkte liegt nicht in der Absicht von Futuremark.
Desweiteren hat Aki Jarvilehto, Vice President Benchmark Products bei der Futuremark Corporation, im eigenen Futuremark-Forum klargestellt, dass eine Teilnahme am Beta-Programm des 3DMark03 offenbar mitnichten hundertausende von Dollar kostet. Nach seinen Angaben liegt das Minimum für ein Beta-Mitglied bei $5000 pro Jahr.

Mittlerweile hat sich herausgestellt, dass der nVidia Detonator FX nicht nur im 3DMark03 nicht das berechnet, was er sollte. Im 3DMark2001SE verschwindet im ''Game 2 - Dragothic'' in bestimmten Konfigurationen der fliegende Drachen. In Anlehnung an den bekannten asiatischen Film ''Crouching Tiger, Hidden Dragon'' ist jetzt auf einer koreanischen Site ein interessantes Filmplakat (siehe oben) aufgetaucht, dass auf die aktuelle Situation Bezug nimmt. :-)

Quelle: http://www.hartware.net/news.html?id=33195


Und das Plakat

http://gfx.turtled.com/n/33000/33195_2b.jpg

LovesuckZ
2003-05-29, 20:55:55
Original geschrieben von Anonym_001
Mittlerweile hat sich herausgestellt, dass der nVidia Detonator FX nicht nur im 3DMark03 nicht das berechnet, was er sollte. Im 3DMark2001SE verschwindet im ''Game 2 - Dragothic'' in bestimmten Konfigurationen der fliegende Drachen.


Nun sind schon Bugs cheats...

Verba
2003-05-29, 23:21:21
Ist denn jeder Cheat ein Bug?
Denke nicht aber ein Teil aus der NVIDIA Gemeinde redet sich das selbst und anderen das ein.

Richthofen
2003-05-30, 00:13:13
mich interessiert der Murks und auch die anderen sytnthetischen Benchies nicht. Von daher ist es mir auch latte was NV da macht.

betasilie
2003-05-30, 01:13:59
Original geschrieben von LovesuckZ
Nun sind schon Bugs cheats...
:lol: ... unglaublich!

Salvee
2003-05-30, 01:33:16
Original geschrieben von Richthofen
mich interessiert der Murks und auch die anderen sytnthetischen Benchies nicht. Von daher ist es mir auch latte was NV da macht.

Sorry Richthofen, aber irgendwie glaube ich dir nicht, dass dein Desinteresse an der 'Synthetik' des Benchmarks liegt :)
Da es ja fast schon zur Forums-Allgemeinbildung gehört, dass dich primär nur die Kohle interessiert, vermute ich den Grund an anderer Stelle:
Ein nicht gänzlich unwichtiges Unternehmen namens Dell, gemeinhin auch als der grösste PC-Hersteller der Welt angesehen, benutzt nämlich
den Murks03 (aber sicher nicht ausschliesslich), um sein Portfolio an Grafikkarten zu bestimmen. Da nV-Karten in diesem bekanntlich abloosen,
gepaart mit einem höheren Preis (den ja jeder gewillt ist zu zahlen :) ), stehen die Chancen der Kalifornier hier also denkbar schlecht.
Wie es bei anderen PC-Herstellern und Vertreibern aussieht, weiss ich nicht, aber es würde mich nicht wundern, wenn es da ganz ähnlich aussieht.

Ergo haben nVs Ziele folgende Priorität

1. Benchmark gewinnen, egal wie
wenn das nicht hinhaut (siehe jüngste Vergangenheit)

2. Benchmark diskreditieren, egal wie

Ob ein Benchmark nämlich synthetisch, optimiert, schön, hässlich, cheatbar, repräsentativ etc.pp. ist juckt nV nicht die Bohne, solange sie gewinnen.

mapel110
2003-05-30, 01:37:28
hm, wer ne 5200er in nen komplettrechner einbaut, der nutzt auch den 3dmurks zum feststellen, welche graka brauchbar ist.

so stell ich mir das auch vor :P

LovesuckZ
2003-05-30, 08:04:17
Original geschrieben von Verba
Ist denn jeder Cheat ein Bug?
Denke nicht aber ein Teil aus der NVIDIA Gemeinde redet sich das selbst und anderen das ein.

So ein Schwachsinn. Cheats sind unauffaelig, nicht sehbar und nicht sowas wie beim Dragothic Test. oder meinst du etwa nicht, dass ein flackernder drachen und flackernde Doftbewohner nicht auffallen?
Und wenn Bugs cheats sein sollten, dann hat ATi ja fuer fast nen halbes Jahr nur so rumgecheatet...

Razor
2003-05-30, 09:36:16
Original geschrieben von Anonym_001

Nach Angaben der Entwickler verwenden sie die effizientesten Shader-Programme und Berechnungen, um die verschiedenen Szenen darzustellen. Eine ungerechtfertigte Benachteiligung bestimmter Produkte liegt nicht in der Absicht von Futuremark.
Nicht in der Absicht FM's ?
Aber vielleicht ist's trotzdem Fakt ?
???

Eine Wischi-Waschi-Aussage die aber auch rein gar keinen Gehalt hat. Der Source-Code muss offen gelegt werden, um zu belegen, dass dem tatsächlich nicht so ist. Wenn für ATI günstig und für nVidia ungünstig gecodet wurde ist dieser Bench unbrauchbar. Und nicht nur das... solte sich heraus stellen, dass dem tatsächlich so ist, dann dürften sogar einige Schadensersatzklagen auf FM zukommen...

Klar, dass sie sich gegen solche Vorwürfe wehren müssen.
IMO läuft das Ganze auf einen Rechtsstreit hinaus...
(wenn der Murks nicht von alleine verschwindet ;-)
Original geschrieben von Anonym_001

Desweiteren hat Aki Jarvilehto, Vice President Benchmark Products bei der Futuremark Corporation, im eigenen Futuremark-Forum klargestellt, dass eine Teilnahme am Beta-Programm des 3DMark03 offenbar mitnichten hundertausende von Dollar kostet. Nach seinen Angaben liegt das Minimum für ein Beta-Mitglied bei $5000 pro Jahr.
Und wo liegt das 'maximum' ?
Was wird einem für das 'minimum' geboten ?
Wie hoch ist der personelle Aufwand, den eine Firma leisten muss ?
Wie hoch der materielle (von dem Mitgliedsbeitrag abgesehen) ?

Sorry, aber ebenfalls eine absolut nichtssagende Aussage.
Die versuchen sich raus zu reden... that's it !
Original geschrieben von Anonym_001

Mittlerweile hat sich herausgestellt, dass der nVidia Detonator FX nicht nur im 3DMark03 nicht das berechnet, was er sollte. Im 3DMark2001SE verschwindet im ''Game 2 - Dragothic'' in bestimmten Konfigurationen der fliegende Drachen. In Anlehnung an den bekannten asiatischen Film ''Crouching Tiger, Hidden Dragon'' ist jetzt auf einer koreanischen Site ein interessantes Filmplakat (siehe oben) aufgetaucht, dass auf die aktuelle Situation Bezug nimmt. :-)
Klar, ein verschwindener Drache ein Cheat.
Sag mal, geht's noch ?

Das die Reviewer nun nicht gerade die Sorgfalt walten lassen, die es für vernünftige Recherchen braucht, ist ja allgemein bekannt. Aber dass sie blind sind, höre ich heute zum ersten mal...

By the way, auf meinem System gibt's mit den Deto's 43.45/44.03/44.04/44.10 und den Karten gf3/FX5200 KEINE Darstellungsprobleme...
:D

Bis denne

Razor

seahawk
2003-05-30, 09:50:08
Naja, im dem BETA Programm gibt es ja auch 3 Stufen.

Und die Stufe wo z.B. ATI und Intel drin sind kostet sicher nicht 5000 $.

Die unterste Stufe in welcher auch 2 Websites mitmachen dürfte 5000$ kosten.

http://futuremark.com/betaprogram/


BETA Member Level

Access to specification documents, alphas, betas and release candidate code drops of benchmarks
Email based communication and briefing
Troubleshooting for drivers and new technology
10% discount for Professional versions of Futuremark benchmarks, if bundled
Free site license to pro versions
Benchmark version featuring Member company logos for promotion purposes

Active BETA Members Level

Access to specification documents, alphas, betas and release candidate code drops of benchmarks
Email based communication and briefing
Scheduled conference calls on quarterly basis
Troubleshooting for drivers and new technology
20% discount for Professional versions of Futuremark benchmarks, if bundled
Free site license to pro versions
Benchmark version featuring Member company logos for promotion purposes
Unlimited bundling license for free versions of all Futuremark benchmarks

Strategic BETA Members Level

Access to specification documents, alphas, betas and release candidate code drops of benchmarks
Email based communication and briefing
Scheduled conference calls on quarterly basis
On site visits by Futuremark engineers upon request
Opportunity for Futuremark site visits by Member's engineers
Troubleshooting for drivers and new technology
30% discount for Professional versions of Futuremark benchmarks, if bundled
Free site license to pro versions
Benchmark version featuring Member company logos for promotion purposes
Unlimited bundling license for free versions of all Futuremark benchmarks

Exxtreme
2003-05-30, 09:54:37
Original geschrieben von Razor
Wenn für ATI günstig und für nVidia ungünstig gecodet wurde ist dieser Bench unbrauchbar. Und nicht nur das... solte sich heraus stellen, dass dem tatsächlich so ist, dann dürften sogar einige Schadensersatzklagen auf FM zukommen...

Bis denne

Razor
Nochmal, es wurde weder für NV noch für ATi "günstig gecodet". Es wurde wohl absolut ungünstig für jeden gecodet.

Demi meinte aber, daß der MS-Shader-Compiler günstigen Shader-Code für ATi erzeugt. Da kann aber FM nichts dafür.

seahawk
2003-05-30, 10:03:27
Ist das durch das neue SDK nicht gefixt ??

Razor
2003-05-30, 10:06:36
Original geschrieben von Exxtreme
Nochmal, es wurde weder für NV noch für ATi "günstig gecodet". Es wurde wohl absolut ungünstig für jeden gecodet.

Demi meinte aber, daß der MS-Shader-Compiler günstigen Shader-Code für ATi erzeugt. Da kann aber FM nichts dafür.
Näturlich können sie was dafür...

Schließlich schreiben Sie sich auf die Fahne unabhängig zu sein. Und wenn sie dieses verfehlt haben ist dieser Murks unbrauchbar (wer auch immer daran 'schuld' sein mag ;-).

Erst dieser völlig überzogene Anteil von PS1.4 und dann auch noch eine vermutliche Hardwarebegünstigung von ATI (auch wenn dieser Fehler evtl. bei M$) lag.

Und wenn man jetzt noch in Betracht zieht, dass nVidia ja wohl im Streit mit FM aus dem Beta-Programm ausgestiegen ist, bekommt das Genze einen wirklich sehr schalen Beigeschmack. Was, wenn nVidia den FM-Jungens genau das belegt hat, deswegen auch schon mit M$ in Kontakt stand, FM aber das Release vom Murks nicht weiter verschieben wollte ? Sicher ist das alles nur Theorie, aber an eine 'unschuldigkeit' von FM glaube ich derzeit nicht...

Und ohne nähere Untersuchungen dieses Thema werden auch weiterhin nur Spekulationen möglich sein.
Deswegen meine Forderung nach Offenlegung des codes, damit sich jeder interessierte selbst ein Bild machen kann.

Was wäre an diesbezüglichen Offenlegung eigentlich so schlimm ?
Könnte es doch den Vorwürfe an FM endgültig den Boden entzeihen...

Schon merkwürdig, das alles, gell ?
;-)

Razor

Demirug
2003-05-30, 10:08:54
Original geschrieben von Exxtreme
Nochmal, es wurde weder für NV noch für ATi "günstig gecodet". Es wurde wohl absolut ungünstig für jeden gecodet.

Demi meinte aber, daß der MS-Shader-Compiler günstigen Shader-Code für ATi erzeugt. Da kann aber FM nichts dafür.

Nur ob FM überhaupt den Compiler benutzt hat ist IMHO sehr fragwürdig. Ich tippe eher auf von Hand geschriebene Shader oder zumindestens von Hand nachbearbeitet. Wenn man nur den Compiler benutzt hätte wäre das mit den austauschen von Register zum verhindern der erkennung gar nicht möglich gewesen.

Razor
2003-05-30, 10:14:06
Original geschrieben von seahawk
Ist das durch das neue SDK nicht gefixt ??
Jain...
Offensichtlich gibt es damit dann 2 Zieloptimierungen: PS2 = ATI, PS2a = nVidia.
Somit kann man also 2 Shadersets erzeugen, die entweder die eine oder die andere Hardware begünstigt.

Der Entwickler (in diesem Fall FM), müssten dann beide Shadersets hinterlegen und je nach Hardware auch anwenden. Dafür braucht's eine neue Revision des Murkses und würde natürlich die jetzigen "Cheating"-Schreie von FM in einem ganz anderen Licht darstellen, i.e. nVidia hat mit ihren Vorwürfen recht und der Murks in seiner jetzigen Version würde eine bestimmte Hardware (ATI) begünstigen.

Klar wäre das dann nicht nur FM zuzuschreiben, aber die Wirtschaft und auch die Reviewer würden das wohl nicht so differenzieren, sondern einfach den Murks aus Ihren Betrachtungen heruas nehmen.

Die einzige Chance für FM wäre also, sofort die Tatsachen offen zu legen (wie auch immer die aussehen mögen), damit auch den Source-Code freigeben und evtl. eine neue Version des Murkses heraus bringen, welcher nicht mehr einseitig begünstigt (am besten mit einer Option, die die jeweiligen Varinaten erzwingen läßt !).

Schaun' wir mal...
IMO täte FM gut daran jetzt 'richtig' zu regieren und nicht weiter unter den Teppich zu kehren.

Razor

Demirug
2003-05-30, 10:15:00
Original geschrieben von Razor
Näturlich können sie was dafür...

Schließlich schreiben Sie sich auf die Fahne unabhängig zu sein. Und wenn sie dieses verfehlt haben ist dieser Murks unbrauchbar (wer auch immer daran 'schuld' sein mag ;-).

Erst dieser völlig überzogene Anteil von PS1.4 und dann auch noch eine vermutliche Hardwarebegünstigung von ATI (auch wenn dieser Fehler evtl. bei M$) lag.

Im Zweifel für den angeklagten. Ich weiss nicht ob sich FM bewusst war das "normale" PS 2.0 und PS 1.4 auf einer FX Karte schlecht sind also will ich ihnen das auch erst mal nicht ankreiden.

Bitte Bitte hör mit den PS 1.4 auf. Du weist doch genau wo das wieder endet.

Und wenn man jetzt noch in Betracht zieht, dass nVidia ja wohl im Streit mit FM aus dem Beta-Programm ausgestiegen ist, bekommt das Genze einen wirklich sehr schalen Beigeschmack. Was, wenn nVidia den FM-Jungens genau das belegt hat, deswegen auch schon mit M$ in Kontakt stand, FM aber das Release vom Murks nicht weiter verschieben wollte ? Sicher ist das alles nur Theorie, aber an eine 'unschuldigkeit' von FM glaube ich derzeit nicht...

Und ohne nähere Untersuchungen dieses Thema werden auch weiterhin nur Spekulationen möglich sein.
Deswegen meine Forderung nach Offenlegung des codes, damit sich jeder interessierte selbst ein Bild machen kann.

Was wäre an diesbezüglichen Offenlegung eigentlich so schlimm ?
Könnte es doch den Vorwürfe an FM endgültig den Boden entzeihen...

Schon merkwürdig, das alles, gell ?
;-)

Razor

Wenn sie den Code offen legen sieht doch jeder was hinter dem Benchmark steckt ;) .

seahawk
2003-05-30, 10:15:59
Mal eine Frage.

Die mussten mit der Entwickliung ja schon wesentlich vor dem Erscheinen von DX9 begonnen haben. Hätten die dann als schon den MS Compiler nutzen können ??

Razor
2003-05-30, 10:17:09
Original geschrieben von Demirug
Nur ob FM überhaupt den Compiler benutzt hat ist IMHO sehr fragwürdig. Ich tippe eher auf von Hand geschriebene Shader oder zumindestens von Hand nachbearbeitet. Wenn man nur den Compiler benutzt hätte wäre das mit den austauschen von Register zum verhindern der erkennung gar nicht möglich gewesen.
Auch nicht, wenn dies nachträglich im in Assembler vorliegenden Code gemacht wurde ?
???

Razor

Razor
2003-05-30, 10:17:50
Original geschrieben von seahawk
Mal eine Frage.

Die mussten mit der Entwickliung ja schon wesentlich vor dem Erscheinen von DX9 begonnen haben. Hätten die dann als schon den MS Compiler nutzen können ??
Den Beta-Compiler in jedem Fall !
(würde ich sagen ;-)

Razor

Demirug
2003-05-30, 10:17:57
Original geschrieben von seahawk
Ist das durch das neue SDK nicht gefixt ??

1. Das neue SDK ist noch Beta und darf nicht für Endkundenversionen benutzt werden.

2. An einem bereits compilierten oder von Hand Programmierten Shader kann das neue SDK auch nichts mehr ändern.

3. Das neue SDK unterstützt zwar ein neues Profil 2_A für die FX Karten aber man muss es auch explizit in Verbidnung mit HLSL einsetzten. Ergo: Eine Codeänderung ist erforderlich.

seahawk
2003-05-30, 10:18:35
Original geschrieben von Razor
Jain...
Offensichtlich gibt es damit dann 2 Zieloptimierungen: PS2 = ATI, PS2a = nVidia.
Somit kann man also 2 Shadersets erzeugen, die entweder die eine oder die andere Hardware begünstigt.

Der Entwickler (in diesem Fall FM), müssten dann beide Shadersets hinterlegen und je nach Hardware auch anwenden. Dafür braucht's eine neue Revision des Murkses und würde natürlich die jetzigen "Cheating"-Schreie von FM in einem ganz anderen Licht darstellen, i.e. nVidia hat mit ihren Vorwürfen recht und der Murks in seiner jetzigen Version würde eine bestimmte Hardware (ATI) begünstigen.

Klar wäre das dann nicht nur FM zuzuschreiben, aber die Wirtschaft und auch die Reviewer würden das wohl nicht so differenzieren, sondern einfach den Murks aus Ihren Betrachtungen heruas nehmen.

Die einzige Chance für FM wäre also, sofort die Tatsachen offen zu legen (wie auch immer die aussehen mögen), damit auch den Source-Code freigeben und evtl. eine neue Version des Murkses heraus bringen, welcher nicht mehr einseitig begünstigt (am besten mit einer Option, die die jeweiligen Varinaten erzwingen läßt !).

Schaun' wir mal...
IMO täte FM gut daran jetzt 'richtig' zu regieren und nicht weiter unter den Teppich zu kehren.

Razor

So habe ich das auch verstanden. Das heißt eigentlich müßten die eine neue Version bringen, die Shadercodes für ATI und NV zur Verfügung stellt. Besonders da ich denke, dass diese 2 Codes bei kommender Software Standard sein weren ....

Demirug
2003-05-30, 10:20:35
Original geschrieben von Razor
Auch nicht, wenn dies nachträglich im in Assembler vorliegenden Code gemacht wurde ?
???

Razor

Im Normalfall erzeugt der Compiler direkt das binäre Bytecodeformat. Das Assemblerformat läst man sich eigentlich nur erzeugen wenn man sowieso vorhat da noch was von Hand zu ändern. Ausschliessen kann man es natürlich nicht.

Razor
2003-05-30, 10:22:13
Original geschrieben von Demirug
Im Zweifel für den angeklagten. Ich weiss nicht ob sich FM bewusst war das "normale" PS 2.0 und PS 1.4 auf einer FX Karte schlecht sind also will ich ihnen das auch erst mal nicht ankreiden.
Wenn ich Dich richtig verstanden habe, dann wusste FM aber zumindest auf Besis der Guidelines von nVidia, dass die PS1.4 'schlecht' waren. Und warum sollte nVidia aus dem Beta-Programm ausgestiegen sein, wenn dort nicht etwas vorgefallen wäre, weilches eine Entscheidung solch einer Tragweite rechtfertigte...

Die Zeit wird's zeigen.
Original geschrieben von Demirug
Bitte Bitte hör mit den PS 1.4 auf. Du weist doch genau wo das wieder endet.
OK, wollte es der vollständigkeit nur erwähnt haben. Passt aber in das Gesmatbild...
Original geschrieben von Demirug
Wenn sie den Code offen legen sieht doch jeder was hinter dem Benchmark steckt ;) .
Exakt.
Und jeder könnte für sich selbst beurteilen, was an den Vorwürfen des Marktführers dran ist und was nicht.
Wär das nicht OK ?
:D

Razor

Razor
2003-05-30, 10:24:46
Original geschrieben von Demirug
Im Normalfall erzeugt der Compiler direkt das binäre Bytecodeformat. Das Assemblerformat läst man sich eigentlich nur erzeugen wenn man sowieso vorhat da noch was von Hand zu ändern. Ausschliessen kann man es natürlich nicht.
Schon klar...

Ein guter Deassembler erzeugt aus dem Bytecode-Format einen editierfähigen Source-Code, der angepasst und reassembliert werden könnte. Schon wäre die Erkennung der IHV's dahin und führt zu dem gewünschten Ergebnis.

Soweit korrekt ?
(Und ich habe nicht behauptet, dass FM das so gemacht hätte, nur dass es möglich wäre, es so zu machen ;-)

Razor

Demirug
2003-05-30, 10:27:59
Original geschrieben von seahawk
So habe ich das auch verstanden. Das heißt eigentlich müßten die eine neue Version bringen, die Shadercodes für ATI und NV zur Verfügung stellt. Besonders da ich denke, dass diese 2 Codes bei kommender Software Standard sein weren ....

+ ein DX7 Effektset
+ ein DX8 Effektset

Razor
2003-05-30, 10:29:28
Original geschrieben von seahawk
So habe ich das auch verstanden. Das heißt eigentlich müßten die eine neue Version bringen, die Shadercodes für ATI und NV zur Verfügung stellt. Besonders da ich denke, dass diese 2 Codes bei kommender Software Standard sein weren ....
Immer voraus gesetzt natürlich, dass FM den M$-Compiler genutzt hat...

Aber klar, wenn dem so war, dann müssten sie das tun, sobald der neue Compiler offiziell benutzt werden darf. Kein Spielehersteller würde es sich erlauben können eine bestimmte Hardware dermaßen zu bevorzugen.

Razor

seahawk
2003-05-30, 10:31:00
Original geschrieben von Demirug
+ ein DX7 Effektset
+ ein DX8 Effektset

Ich hatte mich jetzt nur auf DX 9 Karten bezogen.

Selbst die DX6 Sets werden ja noch weiterleben - siehe HL2.

Demirug
2003-05-30, 10:31:05
Original geschrieben von Razor
Wenn ich Dich richtig verstanden habe, dann wusste FM aber zumindest auf Besis der Guidelines von nVidia, dass die PS1.4 'schlecht' waren. Und warum sollte nVidia aus dem Beta-Programm ausgestiegen sein, wenn dort nicht etwas vorgefallen wäre, weilches eine Entscheidung solch einer Tragweite rechtfertigte...

Die Zeit wird's zeigen.


Zu dem Zeitpunkt als sie die Entscheidung getroffen haben gab es die Guidelines möglichweweise noch nicht.

Exakt.
Und jeder könnte für sich selbst beurteilen, was an den Vorwürfen des Marktführers dran ist und was nicht.
Wär das nicht OK ?
:D

Razor

Das war anders gemeint. Wenn FM den Quellcode herausgibt wird man erkennen das da nichts an aussergewöhnlich toller Leistung dahinter ist. Ich behaupte jetzt mal jede gute Szenedemo ist anspruchsvoller.

Exxtreme
2003-05-30, 10:35:17
Original geschrieben von Razor
Näturlich können sie was dafür...

Schließlich schreiben Sie sich auf die Fahne unabhängig zu sein. Und wenn sie dieses verfehlt haben ist dieser Murks unbrauchbar (wer auch immer daran 'schuld' sein mag ;-).

FM ist wohl doch unabhängig. Im Zweifelsfall ist der MS-Shader-Compiler die Referenz. Was hätte FM sonst tun sollen? CG verwenden? :lol:
Original geschrieben von Razor
Erst dieser völlig überzogene Anteil von PS1.4 und dann auch noch eine vermutliche Hardwarebegünstigung von ATI (auch wenn dieser Fehler evtl. bei M$) lag.

Razor
Tja, du übersiehst die Tatsache, daß die GFFX keinerlei Geschwindigkeitsgewinn hätte wenn man den PS1.4 gegen den PS2.0 getauscht hätte.

Razor
2003-05-30, 10:36:29
Original geschrieben von Demirug
Zu dem Zeitpunkt als sie die Entscheidung getroffen haben gab es die Guidelines möglichweweise noch nicht.
Möglicherweise...
Oder auch nicht...
Original geschrieben von Demirug
Das war anders gemeint. Wenn FM den Quellcode herausgibt wird man erkennen das da nichts an aussergewöhnlich toller Leistung dahinter ist. Ich behaupte jetzt mal jede gute Szenedemo ist anspruchsvoller.
Sie könnten sich ja damit rausreden, dass es ja nur die Leistung der GraKa's messen sollte und nicht primär für spektakulären eyeCandy ausgelegt war. Aber sie würden damit einen eindeutigen Anteil an der Klärung dieses Vorwurfs leisten. Wenn das nicht kommt, sehe ich schwarz für FM... die Tendenz ist ja schon abzusehen.

Razor

Razor
2003-05-30, 10:39:25
Original geschrieben von Exxtreme
FM ist wohl doch unabhängig. Im Zweifelsfall ist der MS-Shader-Compiler die Referenz. Was hätte FM sonst tun sollen? CG verwenden?
Zum Beispiel...
Wenn, ja wenn ihnen diese Problematik der einseitigen Bevorzugung bekannt war.

Wenn ich das richtig sehe, mach M$ ja jetzt genau das, oder ?
(und schlägt dies sogar als offizielle Vorgehensweise vor, i.e. beide Zielpfade)
Original geschrieben von Exxtreme
Tja, du übersiehst die Tatsache, daß die GFFX keinerlei Geschwindigkeitsgewinn hätte wenn man den PS1.4 gegen den PS2.0 getauscht hätte.
Wäre dem so ?
Der Nachteil der einseitigen Begünstigung wäre vermutlich noch gegeben, aber wer sagt, dass die ATI-PS2.0 genauso schlecht laufen, wie die PS1.4 ?
???

Razor

seahawk
2003-05-30, 10:42:07
Dann müßte FM aber auch beim offiziellen Erscheinen des neuen SDKs von MS, seinen Bench entsprechend anpassen.

Sollten Sie das tun, dann ist alles in Ordnung.

Exxtreme
2003-05-30, 10:45:14
Original geschrieben von Razor
Zum Beispiel...
Wenn, ja wenn ihnen diese Problematik der einseitigen Bevorzugung bekannt war.

Wenn ich das richtig sehe, mach M$ ja jetzt genau das, oder ?
(und schlägt dies sogar als offizielle Vorgehensweise vor, i.e. beide Zielpfade)

Ja, aber als der 3DMark03 rauskam, gab es nur den einen Zielpfad, mit dem ATis GraKas gut zurecht kommen.
Original geschrieben von Razor
Wäre dem so ?
Der Nachteil der einseitigen Begünstigung wäre vermutlich noch gegeben, aber wer sagt, dass die PS2.0 genauso schlecht laufen, wie die PS1.4 ?
???

Razor
AFAIK nutzt die GFFX ihre PS2.x-Einheiten um PS1.4 zu machen. ATi macht es genauso. Es ist weniger die PS-Version entscheidend sondern viel mehr die Reihenfolge der Anweisungen.

Demirug hat im Technologie-Forum einen Thread über den Pipeline-Aufbau eröffnet. Schau dort mal rein.

NV sagt auch nicht "Use PS2.x" sondern "Use CG", weil CG wohl die günstigeren Anweisungsreihenfolgen in den Shader-Codes erzeugt.

Razor
2003-05-30, 10:48:15
Original geschrieben von Exxtreme
Ja, aber als der 3DMark03 rauskam, gab es nur den einen Zielpfad, mit dem ATis GraKas gut zurecht kommen.
Dann sollten sie das jetzt korrigieren, oder ?
???
Original geschrieben von Exxtreme
AFAIK nutzt die GFFX ihre PS2.x-Einheiten um PS1.4 zu machen. ATi macht es genauso. Es ist weniger die PS-Version entscheidend sondern viel mehr die Reihenfolge der Anweisungen.

Demirug hat im Technologie-Forum einen Thread über den Pipeline-Aufbau eröffnet. Schau dort mal rein.

NV sagt auch nicht "Use PS2.x" sondern "Use CG". ;)
Mag sein, oder auch nicht...
Aber wäre doch schön, wenn durch den neuen M$-Compiler auch gleich die PS1.4 der FX'er zulegen würde, oder ?
(was letztendlich sogar ATI zuträglich sein würde !)
:D

Razor

Razor
2003-05-30, 10:49:06
<...?.?.?...>

StefanV
2003-05-30, 10:50:47
Original geschrieben von Demirug
Im Zweifel für den angeklagten. Ich weiss nicht ob sich FM bewusst war das "normale" PS 2.0 und PS 1.4 auf einer FX Karte schlecht sind also will ich ihnen das auch erst mal nicht ankreiden.

Bitte Bitte hör mit den PS 1.4 auf. Du weist doch genau wo das wieder endet.

1. sehe ich auch so.
Ich denke, daß FM so gecodet haben, wie sie dachten, daß alle den Code gleich bescheiden verarbeiten, daß dem NV30 dieser Code nicht Schmeckt, das wurde erst viel später klar, da der (erste) M$ Compiler einen Code ausspuckt, dem den NV3x auch nicht schmeckt, sehe ich keinen Grund FM einen Vorwurf zu machen, da wohl weder sie noch M$ wussten, wie bescheiden dieser Art des Codes auf NV3x HW läuft...
Ankreiden könnte man eher NV, daß sie eine Architektur entworfen haben, die so sehr auf optimierten Code angewiesen ist sowie, daß sie keinen Laufzeitcompiler im Treiber haben, der die für sie schlechten Code in für die NV3x verträglichen Code umwandelt...

2. eben, das Thema PS1.4 im 3DMark 03 ist so ausgelutscht wie ein Kirschkern, darüber zu Diskutieren macht überhauptkeinen Sinn, wo das Endet, haben wir ja in unzähligen anderen Threads gesehen...

StefanV
2003-05-30, 10:53:17
Original geschrieben von Razor
Dann sollten sie das jetzt korrigieren, oder ?
???

Ich trete dir in den Hintern und verpass dir 2 blaue Augen samt gebrochener Nase, würdest du mir danach noch den Garten umgraben??

Exxtreme
2003-05-30, 10:53:50
Original geschrieben von Razor
Dann sollten sie das jetzt korrigieren, oder ?
???
Mag sein, oder auch nicht...
Aber wäre doch schön, wenn durch den neuen M$-Compiler auch gleich die PS1.4 der FX'er zulegen würde, oder ?
(was letztendlich sogar ATI zuträglich sein würde !)
:D

Razor
Sie müssten dann aber 2 Shader-Sets erzeugen, einen für ATi und einen für NV. Und was ist dann mit den anderen Herstellern? Bekommen die auch eigene Shader, sollten sie irgendwannmal DX9-fähige GraKas bringen?

Die Bencherei mit den Shadern macht irgendwie keinen Sinn da man leicht andere Hersteller benachteiligen kann.

StefanV
2003-05-30, 10:55:11
Original geschrieben von Razor
Wenn ich Dich richtig verstanden habe, dann wusste FM aber zumindest auf Besis der Guidelines von nVidia, dass die PS1.4 'schlecht' waren. Und warum sollte nVidia aus dem Beta-Programm ausgestiegen sein, wenn dort nicht etwas vorgefallen wäre, weilches eine Entscheidung solch einer Tragweite rechtfertigte...

Was glaubst du, was eher da war??
Der erste Code von Futuremark am 3Dmark03 oder die NV Guidelines??

Wenn ich Demirug richtig verstanden hab, dann sind letztere momentan immer noch nicht wirklich komplett...

Exxtreme
2003-05-30, 10:58:19
Original geschrieben von Stefan Payne
Wenn ich Demirug richtig verstanden hab, dann sind letztere momentan immer noch nicht wirklich komplett...
Doch, "use CG". ;)

seahawk
2003-05-30, 10:58:52
Original geschrieben von Stefan Payne
Ich trete dir in den Hintern und verpass dir 2 blaue Augen samt gebrochener Nase, würdest du mir danach noch den Garten umgraben??

Nach dieser Logik ist FM tot. Damit sind sie nicht mehr unabhängig und wir könnten das Thema vergessen.

(Ich bin überzeugt, dass sowohl FM als auch NV diese Probleme schon 2002 bekannt waren. Ich vermute, dass NV von Anfang an einen eigenen Pfad (CG) in dem 3DMark wollte. FM wird aus bestimmten Gründen (Zeitverzögerung bis zur Veröffentlichung z.B.) abgelehnt haben. Dann hat NV das BETA Programm verlassen)

Da aber auch MS anscheinend an einer besseren Unterstützung der NV Karten arbeitet, wird FM diesen Schritt auch machen müssen um glaubwürdig zu bleiben.

Razor
2003-05-30, 10:59:49
Original geschrieben von Stefan Payne
Ich trete dir in den Hintern und verpass dir 2 blaue Augen samt gebrochener Nase, würdest du mir danach noch den Garten umgraben??
Nein, ich würde zurückschlagen und dafür sorge tragen, dass Du nicht mehr aufstehst.
:D

Razor

Razor
2003-05-30, 11:01:52
Original geschrieben von Stefan Payne
Ich denke, daß FM so gecodet haben, wie sie dachten, daß alle den Code gleich bescheiden verarbeiten, daß dem NV30 dieser Code nicht Schmeckt, das wurde erst viel später klar, da der (erste) M$ Compiler einen Code ausspuckt, dem den NV3x auch nicht schmeckt, sehe ich keinen Grund FM einen Vorwurf zu machen, da wohl weder sie noch M$ wussten, wie bescheiden dieser Art des Codes auf NV3x HW läuft...
Und warum ist dann nVidia aus dem BETA-Programm ausgestiegen ?
(siehe oben ;-)
Original geschrieben von Stefan Payne
Ankreiden könnte man eher NV, daß sie eine Architektur entworfen haben, die so sehr auf optimierten Code angewiesen ist sowie, daß sie keinen Laufzeitcompiler im Treiber haben, der die für sie schlechten Code in für die NV3x verträglichen Code umwandelt...
Wenn ich das richtig verstanden habe, dann erzeugt der 2a Zielpfad 'schlechten' Code für ATI...
Wo ist dann also der Unterschied ?
???

Razor

Demirug
2003-05-30, 11:01:58
Original geschrieben von Exxtreme
Sie müssten dann aber 2 Shader-Sets erzeugen, einen für ATi und einen für NV. Und was ist dann mit den anderen Herstellern? Bekommen die auch eigene Shader, sollten sie irgendwannmal DX9-fähige GraKas bringen?

Die Bencherei mit den Shadern macht irgendwie keinen Sinn da man leicht andere Hersteller benachteiligen kann.

PS_2_B ;) ...

FM soll einfach nur HLSL Shader reinpacken und dann zur Laufzeit compileren. Dann kann man ja soweit die Chips es beherschen jedes Profil ausprobieren.

StefanV
2003-05-30, 11:02:06
Original geschrieben von Razor
Nein, ich würde zurückschlagen und dafür sorge tragen, dass Du nicht mehr aufstehst.
:D

Razor

Siehst du, damit hat sich dein Verlangen, daß der 3DMark NV kompatibler wird, wohl erledigt.

Razor
2003-05-30, 11:03:24
Original geschrieben von Exxtreme
Sie müssten dann aber 2 Shader-Sets erzeugen, einen für ATi und einen für NV. Und was ist dann mit den anderen Herstellern? Bekommen die auch eigene Shader, sollten sie irgendwannmal DX9-fähige GraKas bringen?

Die Bencherei mit den Shadern macht irgendwie keinen Sinn da man leicht andere Hersteller benachteiligen kann.
Völlig korrekt !
Siehe auch mein diesbezügliches Kommentar weiter oben...

Razor

P.S.: Für jede differierende Archtektur müsste dann ein eigener Zielpfad geschrieben werden...

Demirug
2003-05-30, 11:03:38
Original geschrieben von Razor
Wenn ich das richtig verstanden habe, dann erzeugt der 2a Zielpfad 'schlechten' Code für ATI...
Wo ist dann also der Unterschied ?
???

Razor

2_A wird auf einem R300 gar nicht laufen weil er vom Compiler als 2_X Shader makiert wird und als solcher wird er von den ATI Treibern abgelehnt.

Razor
2003-05-30, 11:04:11
Original geschrieben von Stefan Payne
Siehst du, damit hat sich dein Verlangen, daß der 3DMark NV kompatibler wird, wohl erledigt.
Nö.

StefanV
2003-05-30, 11:04:40
Original geschrieben von Razor
Und warum ist dann nVidia aus dem BETA-Programm ausgestiegen ?
(siehe oben ;-)

Wenn ich das richtig verstanden habe, dann erzeugt der 2a Zielpfad 'schlechten' Code für ATI...
Wo ist dann also der Unterschied ?
???

Razor

1. weil der 3Dmark scheiße auf der NV30 läuft??
Und Futuremark nicht wirklich was ändern konnte, da man den 03er endlich auf die Kundschaft loslassen wollte??

2. Dir ist es also lieber, wenn FM den 03er auf NV optimiert so daß ATI Karten schlechter laufen, hab ich das richtig verstanden??

Das Problem liegt in diesem Fall bei NV, denn die müssen an 'nem Laufzeitcompiler arbeiten, der den 'ATI Code' in 'NV Code' umwandelt...

Razor
2003-05-30, 11:04:42
Original geschrieben von Demirug
2_A wird auf einem R300 gar nicht laufen weil er vom Compiler als 2_X Shader makiert wird und als solcher wird er von den ATI Treibern abgelehnt.
Auch nicht schlecht...

Razor
2003-05-30, 11:07:30
Original geschrieben von Stefan Payne
1. weil der 3Dmark scheiße auf der NV30 läuft??
Und Futuremark nicht wirklich was ändern konnte, da man den 03er endlich auf die Kundschaft loslassen wollte??
Offensichtlich ist dies zu früh passiert...
Original geschrieben von Stefan Payne
2. Dir ist es also lieber, wenn FM den 03er auf NV optimiert so daß ATI Karten schlechter laufen, hab ich das richtig verstanden??
Nein.
Original geschrieben von Stefan Payne
Das Problem liegt in diesem Fall bei NV, denn die müssen an 'nem Laufzeitcompiler arbeiten, der den 'ATI Code' in 'NV Code' umwandelt...
Oh mann, Payne...
Also lieber Symptome bekämpfen, als der Ursache Herr zu werden ?
M$ hat ja nun schon den 'richtigen' weg eigeschlagen...

Razor

Razor
2003-05-30, 11:10:18
Original geschrieben von seahawk
Nach dieser Logik ist FM tot. Damit sind sie nicht mehr unabhängig und wir könnten das Thema vergessen.
Sehe ich auch so.
Es sei denn, FM würde dafür sorgen, dass der Murks nur auf 'zertifizierter' Hardware läuft.
Aber klar, 'unabhängig' ist er damit nicht mehr...
Original geschrieben von seahawk
(Ich bin überzeugt, dass sowohl FM als auch NV diese Probleme schon 2002 bekannt waren. Ich vermute, dass NV von Anfang an einen eigenen Pfad (CG) in dem 3DMark wollte. FM wird aus bestimmten Gründen (Zeitverzögerung bis zur Veröffentlichung z.B.) abgelehnt haben. Dann hat NV das BETA Programm verlassen)
Nach derzeitigem Stand sehe ich das auch so...
Auch hätte das den ganzen Murks im Frage gestellt.
Original geschrieben von seahawk
Da aber auch MS anscheinend an einer besseren Unterstützung der NV Karten arbeitet, wird FM diesen Schritt auch machen müssen um glaubwürdig zu bleiben.
Exakt !
Und wir dürfen gespannt sein, ob sich FM auch gegen M$ 'auflehnen' wird...
;-)

Razor

seahawk
2003-05-30, 11:11:03
Original geschrieben von Stefan Payne
1. weil der 3Dmark scheiße auf der NV30 läuft??
Und Futuremark nicht wirklich was ändern konnte, da man den 03er endlich auf die Kundschaft loslassen wollte??

Damit liegt der Fehler bei FM, da sie eine nicht ausgereifte Version des Benchmarks veröffentlicht haben. Wenn Sie wußten, dass er auf NV Karten schlechter funktioniert, dann ist der Bench nicht unabhängig und hat keine Bedeutung mehr.

2. Dir ist es also lieber, wenn FM den 03er auf NV optimiert so daß ATI Karten schlechter laufen, hab ich das richtig verstanden??
Nein einen Pfad für ATI und einen für NV, beide an die jeweilige Struktur optimiert ??

Das Problem liegt in diesem Fall bei NV, denn die müssen an 'nem Laufzeitcompiler arbeiten, der den 'ATI Code' in 'NV Code' umwandelt...

Warum ??

Exxtreme
2003-05-30, 11:12:27
Original geschrieben von Razor

M$ hat ja nun schon den 'richtigen' weg eigeschlagen...

Razor
Aber nicht rechtzeitig genug.

Aber was anderes kennt man von M$ kaum. Die erste DX9-Runtime war eine unfertige Beta-Version.

Exxtreme
2003-05-30, 11:14:10
Original geschrieben von Razor

Aber klar, 'unabhängig' ist er damit nicht mehr...

Razor
War der 3DMark jemals unabhängig? Mit der 2000'er und 2001'er Version wurden NV-Karten einseitig bevorzugt. ;)

StefanV
2003-05-30, 11:15:19
Original geschrieben von seahawk
Nein einen Pfad für ATI und einen für NV, beide an die jeweilige Struktur optimiert ??

Warum ??

1. toll, damit dürfte man den Code jedesmal, wenn irgendein Hersteller meint, ein Produkt mit PS2+ auf den Markt zu werfen, zu dem Zeitpunkt, an dem die HW getestet wird, gibts also nur eine Version des 3Dmark03, die nur sehr schlecht an die HW des Chips angepasst ist, dann hätte man im schlimmsten Fall mehr Patches als Codezeilen...


2. weil es wohl noch diverse SW geben wird, die den 'ATI Code' verwenden würde...

StefanV
2003-05-30, 11:17:24
Original geschrieben von Exxtreme
War der 3DMark jemals unabhängig? Mit der 2000'er und 2001'er Version wurden NV-Karten einseitig bevorzugt. ;)

Exakt, deswegen wundere ich mich, daß die nV Fangemeinde, die die 2000er und 2001er bejubelt hat, den 03er die Existensberechtigung absprechen :|

LovesuckZ
2003-05-30, 11:17:28
Original geschrieben von Exxtreme
War der 3DMark jemals unabhängig? Mit der 2000'er und 2001'er Version wurden NV-Karten einseitig bevorzugt. ;)

kannst du das auch beweisen?

http://www.computerbase.de/article.php?id=52&page=4#3dmark2000
http://www.computerbase.de/article.php?id=52&page=6#3dmark2001

http://www.computerbase.de/article.php?id=49&page=9#3dmark_2000
http://www.computerbase.de/article.php?id=49&page=12#3dmark_2001

ich sehe nicht, wo Nvidia hier so deutlich ueberlegen ist...

Razor
2003-05-30, 11:19:11
Original geschrieben von Exxtreme
Aber nicht rechtzeitig genug.

Aber was anderes kennt man von M$ kaum. Die erste DX9-Runtime war eine unfertige Beta-Version.
Und damit wurde es zu einem Problem für FM...
Bist Du denn nicht der Meinung, dass damit dann FM sein Ziel verfehlt hat ?
Schlecht für FM... sicher.

Und deswegen sollten sie scheunigst daran arbeiten, dieses Problem zu korrigieren.
(wenn sie den M$-Compiler benutzten !)

Razor

seahawk
2003-05-30, 11:20:16
Original geschrieben von Stefan Payne
1. toll, damit dürfte man den Code jedesmal, wenn irgendein Hersteller meint, ein Produkt mit PS2+ auf den Markt zu werfen, zu dem Zeitpunkt, an dem die HW getestet wird, gibts also nur eine Version des 3Dmark03, die nur sehr schlecht an die HW des Chips angepasst ist, dann hätte man im schlimmsten Fall mehr Patches als Codezeilen...


2. weil es wohl noch diverse SW geben wird, die den 'ATI Code' verwenden würde...


1. Erstmal scheint ja Microsoft mit dem DX 9 Compiler diesen Weg zu gehen. Die breite Unterstützung der NV-Optimierung ist damit sicher. Sie wird in den realen DX9 Anwendungen die erscheinen werden vorhanden sein. (Siehe Post Demi)
Das sollte in einem Bechnmark, der sich für eine representative Aussage über die Gameperfromance hält, berücksichtigt werden.

2. Wirklich ?? Wieviel Software DX 9 wird erscheinen bevor das neue SDK da ist ??

Razor
2003-05-30, 11:20:20
Original geschrieben von Exxtreme
War der 3DMark jemals unabhängig? Mit der 2000'er und 2001'er Version wurden NV-Karten einseitig bevorzugt. ;)
In dieser Form ?
???

DAS ist AFAIK einzigartig...
(und natürlich nur ein weiterer 'Fehltritt' von den ex-Zwiebeljungens ;-)

Razor

Razor
2003-05-30, 11:21:43
Original geschrieben von Stefan Payne
1. toll, damit dürfte man den Code jedesmal, wenn irgendein Hersteller meint, ein Produkt mit PS2+ auf den Markt zu werfen, zu dem Zeitpunkt, an dem die HW getestet wird, gibts also nur eine Version des 3Dmark03, die nur sehr schlecht an die HW des Chips angepasst ist, dann hätte man im schlimmsten Fall mehr Patches als Codezeilen...
Mit dieser Problematik muss FM leben, wenn sie Ihren Anspruch aufrecht erhalten wollen...
Original geschrieben von Stefan Payne
2. weil es wohl noch diverse SW geben wird, die den 'ATI Code' verwenden würde...
Zeig mir EINE !
(die den Anspruch 'RealWorld'-Gaming hat ;-)

Razor

seahawk
2003-05-30, 11:22:09
Original geschrieben von Stefan Payne
Exakt, deswegen wundere ich mich, daß die nV Fangemeinde, die die 2000er und 2001er bejubelt hat, den 03er die Existensberechtigung absprechen :|
Habe ich nie. Ich stehe diesem Bench grundsätzlich kritisch gegenüber. Wäre es umgekehrt würde ich so für ATI argumentieren.

(PS. Du weißt aus dem NForce Thread dass ich kein Fanboy bin. Außerdem habe ich selbst ne 9700pro)

Razor
2003-05-30, 11:23:05
Original geschrieben von Stefan Payne
Exakt, deswegen wundere ich mich, daß die nV Fangemeinde, die die 2000er und 2001er bejubelt hat, den 03er die Existensberechtigung absprechen :|
Ich habe schon immer den Murks für sinnlos erklärt (weil synthetisch), vorausgesetzt natürlich, dass Du mich der nVidia-Fangemeinde zugehörig siehst.
:D

Razor

Exxtreme
2003-05-30, 11:24:41
Original geschrieben von LovesuckZ
kannst du das auch beweisen?

http://www.computerbase.de/article.php?id=52&page=4#3dmark2000
http://www.computerbase.de/article.php?id=52&page=6#3dmark2001

ich sehe nicht, wo Nvidia hier so deutlich ueberlegen ist...
Der 2000'er bevorzugt T&L-Karten und NV war eine Zeitlang der einzige Hersteller, der bezahlbare T&L-Karten hatte. Ähnlich war es beim 2001'er. Auch hier hatte NV als einzige Firma eine Zeitlang VS1.1- und PS1.1-fähige GraKa. Das brachte mehr Punkte. ;) Beim 2001'er werden ATi-GraKas immer noch benachteiligt da diese den PS1.1 nicht nativ ausführen können.

Aber da hat NV nicht rumgeheult, daß der 3DMark nicht repräsentativ ist.

LovesuckZ
2003-05-30, 11:28:39
Original geschrieben von Exxtreme
Der 2000'er bevorzugt T&L-Karten und NV war eine Zeitlang der einzige Hersteller, der bezahlbare T&L-Karten hatte.

ATi hat die einzigsten DX8 Karten, die ueber den PS1.4 in hardware verfuegen.


Ähnlich war es beim 2001'er. Auch hier hatte NV als einzige Firma eine Zeitlang VS1.1- und PS1.1-fähige GraKa. Das brachte mehr Punkte. ;) Beim 2001'er werden ATi-GraKas immer noch benachteiligt da diese den PS1.1 nicht nativ ausführen können.


Die 8500 liegt vor der GF3 und das auch deutlich. Wo hier nvidia bevorzugt wurde, sehe ich nicht.

Razor
2003-05-30, 11:31:04
Original geschrieben von Exxtreme
Der 2000'er bevorzugt T&L-Karten und NV war eine Zeitlang der einzige Hersteller, der bezahlbare T&L-Karten hatte. Ähnlich war es beim 2001'er. Auch hier hatte NV als einzige Firma VS1.1- und PS1.1-fähige GraKa. Das brachte mehr Punkte. ;) Beim 2001'er werden ATi-GraKas immer noch benachteiligt da diese den PS1.1 nicht nativ ausführen können.
Es geht hier aber nicht darum, dass irgendwelche Features fehlen, sondern darum, dass einseitig 'optimiert' wurde (wenn sich hier auch FM nicht 100%'ig verantwortlich zeichnet). Im übrigen waren die ATI-(R3x00-)Scores vor Erscheinen der FX'er wesentlich höher (DX8-Hardware gegen PS1.4/DX9-Hardware). Auch sollte man bedenken, dass es damals keinen Shader-Compiler gab, der Hardware-Optimierungen vornahm.

Aber klar, Du lieferst hier exakt DAS Argument, warum der Murs noch nie repräsentativ war und wohl auch nie sein wird. Aber einseitige Optimierung dieser ART gabe es wohl noch nie...
(wenn tatsächlich so passiert)
Original geschrieben von Exxtreme
Aber da hat nicht rumgeheult, daß der 3DMark nicht repräsentativ ist.
Natürlich hat man das !
Aus genau den von Dir genannten Gründen.

Razor

StefanV
2003-05-30, 11:32:04
Original geschrieben von LovesuckZ
ATi hat die einzigsten DX8 Karten, die ueber den PS1.4 in hardware verfuegen.



Die 8500 liegt vor der GF3 und das auch deutlich. Wo hier nvidia bevorzugt wurde, sehe ich nicht.

1. NV hat die einzigen DX8 Karten, die über den PS1.1/1.3 in Hardware verfügen.*

Weder SiS noch Matrox können das, beide lassen die 1.3er über ein PS Programm laufen, ähnlich wie ATI, da beschwert sich ja auch keiner...

2. dennoch wird die 8500 benachteiligt, da im 01er die PS1.4 nicht verwendet werden, genau wie im 03er die NV3x...

seahawk
2003-05-30, 11:34:35
Die Nichtunterstützung von PS 1.4 im 2001 ist imo unerheblich. Es soll doch ein DX8 Bench sein und PS 1.4 ist DX8.1.

StefanV
2003-05-30, 11:36:03
Original geschrieben von seahawk
Die Nichtunterstützung von PS 1.4 im 2001 ist imo unerheblich. Es soll doch ein DX8 Bench sein und PS 1.4 ist DX8.1.

Wie denn jetzt??

Im 01er ist es unerheblich, ob PS1.4 genutzt wird, im 03er nicht??

Razor
2003-05-30, 11:37:02
Original geschrieben von Stefan Payne
1. NV hat die einzigen DX8 Karten, die über den PS1.1/1.3 in Hardware verfügen.*

Weder SiS noch Matrox können das, beide lassen die 1.3er über ein PS Programm laufen, ähnlich wie ATI, da beschwert sich ja auch keiner...
Jetzt bitte nicht wieder dieses PS1.1 vs. PS1.4-gequatsche...
(habe mich ja auch zurückzuhalten versucht)

Aber kannst Du mir vielleicht mal sagen, wo hier eigentlich das Problem ist ?
Zeigt es doch nur, dass der Murs schon immer sinnfrei war...
Original geschrieben von Stefan Payne
2. dennoch wird die 8500 benachteiligt, da im 01er die PS1.4 nicht verwendet werden, genau wie im 03er die NV3x...
So ein quatsch.
Es wurde hier vermutlich ein Compiler für Shader-Code benutzt, der einseitige Optimierungen vornahm. Und das nicht für unterschiedliche Shader, sondern für exakt den gleichen...

Schon ein kleiner Unterschied, meinst Du nicht ?
???

Razor

Black-Scorpion
2003-05-30, 11:37:29
Original geschrieben von LovesuckZ
ATi hat die einzigsten DX8 Karten, die ueber den PS1.4 in hardware verfuegen.

Das ist aber eine DX8.1 Karte. Bei DX8 gabe es doch keine PS1.4.
Oder liege ich da falsch?


PS. Hätte ich gewußt was ich damit auslöse, hätte ich das nicht gepostet.

Exxtreme
2003-05-30, 11:37:44
Original geschrieben von LovesuckZ
ATi hat die einzigsten DX8 Karten, die ueber den PS1.4 in hardware verfuegen.

Na und? Spielt keine Rolle.
Original geschrieben von LovesuckZ
Die 8500 liegt vor der GF3 und das auch deutlich. Wo hier nvidia bevorzugt wurde, sehe ich nicht.
Auch wenn die GF3 abgehängt wird, eine Benachteiligung ist trotzdem da. :)

Spielt aber auch keine Rolle.

Razor
2003-05-30, 11:38:05
Original geschrieben von Stefan Payne
Wie denn jetzt??

Im 01er ist es unerheblich, ob PS1.4 genutzt wird, im 03er nicht??
Lies mein Kommentar, vielleicht begreifst Du das dann...
:D

Razor

LovesuckZ
2003-05-30, 11:39:03
Original geschrieben von Anonym_001
Das ist aber eine DX8.1 Karte. Bei DX8 gabe es doch keine PS1.4.
Oder liege ich da falsch?


So wie ich das verstehe, ist alles über PS1.0 -> DX8.1. nvidia hat also mit der GF4 auch eine DX8.1 karte im Angebot, die jedoch nicht ueber PS1.4 in hardware verfuegt.

Razor
2003-05-30, 11:39:10
Original geschrieben von Anonym_001
Das ist aber eine DX8.1 Karte. Bei DX8 gabe es doch keine PS1.4.
Oder liege ich da falsch?

PS. Hätte ich gewußt was ich damit auslöse, hätte ich das nicht gepostet.
Schluss mit diesem PS1.4-gequatsche... sonst ist der Thread gleich wieder zu.
(nicht böse gemeint ;-)

Razor

LovesuckZ
2003-05-30, 11:39:51
[QUOTE]Original geschrieben von Exxtreme
Na und? Spielt keine Rolle.[Quote]

???

seahawk
2003-05-30, 11:40:00
Original geschrieben von Stefan Payne
Wie denn jetzt??

Im 01er ist es unerheblich, ob PS1.4 genutzt wird, im 03er nicht??

Im 2001 unerheblich, da der ein DX 8 Bench ist und PS 1.4 nunmal DX 8.1 ist. Daher kann man die Unterstützung nicht verlangen.

Im 2003 er ist es imo eigentlich egal ob PS 1.4 drin ist oder nicht. Ich glaube der Shadercode schmeckt den NV Karten nicht. Sollte eine optimierter Pfad bereitstehen, dann muss der PS 1.4 können - ohne wenn und aber.

Exxtreme
2003-05-30, 11:42:36
Original geschrieben von LovesuckZ

???
Es spielt keine Rolle ob eine PS-Version nativ unterstützt wird. Der einzige Nachteil ist der Speed.

LovesuckZ
2003-05-30, 11:44:59
Original geschrieben von Exxtreme
Es spielt keine Rolle ob eine PS-Version nativ unterstützt wird. Der einzige Nachteil ist der Speed.

Ahso, warum meinst du dann, dass der 3dMark2000 auf Nvidia optimiert sei, weil diese als "einzigste bezahlbare TßL Karten" haetten, wenn dies doch auch per CPU berechnen koenne. "Der einzigste Nachteil ist der Speed" ...

StefanV
2003-05-30, 11:48:05
Original geschrieben von LovesuckZ
Ahso, warum meinst du dann, dass der 3dMark2000 auf Nvidia optimiert sei, weil diese als "einzigste bezahlbare TßL Karten" haetten, wenn dies doch auch per CPU berechnen koenne. "Der einzigste Nachteil ist der Speed" ...

Schau dir mal V5/Kyro2 vs GF2 GTS an.

Die Kyro lag nicht selten zwischen der GF2U und GF2 PRO, die Voodoo je nach dem, auch mehr oder minder GF2 GTS Niveau.

Und im 3Dmark??

Richtig, beide MX Niveau, meinst du nicht, daß diese beiden Karten etwas benachteiligt wurden??

Exxtreme
2003-05-30, 11:48:12
Original geschrieben von LovesuckZ
Ahso, warum meinst du dann, dass der 3dMark2000 auf Nvidia optimiert sei, weil diese als "einzigste bezahlbare TßL Karten" haetten, wenn dies doch auch per CPU berechnen koenne. "Der einzigste Nachteil ist der Speed" ...
Jo. :)

Trotzdem war es eine einseitige Optimierung, was FM jetzt auch vorgeworfen wird. Klar konnten die späteren ATi-Karten HW-T&L aber 3dfx und PowerVR nicht und das hat sich gerächt in Form von Punkten.

Der 3DMark war nie repräsentativ. Das sage ich schon seit der 2000'er Version.

StefanV
2003-05-30, 11:50:08
Original geschrieben von Exxtreme
Der 3DMark war nie repräsentativ. Das sage ich schon seit der 2000'er Version.

Nur scheints einige jetzt auf unerklärliche weise zu stören :|

Black-Scorpion
2003-05-30, 11:54:22
Original geschrieben von LovesuckZ
Ahso, warum meinst du dann, dass der 3dMark2000 auf Nvidia optimiert sei, weil diese als "einzigste bezahlbare TßL Karten" haetten, wenn dies doch auch per CPU berechnen koenne. "Der einzigste Nachteil ist der Speed" ...

Das ist aber eine andere Situation.
Da es ein Bench für DX7? ist und nur eine Firma T&L Karten hatte, ist es ein Vorteil gegeüber den anderen.
Im Gegesatz dazu ist der 03 eine DX9 Bench der PS1.4 nutzt und den alle DX9 Karten können müssen.

Demirug
2003-05-30, 11:59:21
Original geschrieben von Stefan Payne
Nur scheints einige jetzt auf unerklärliche weise zu stören :|

Späte Einsicht ist besser als gar keine Einsicht.

BTW. In der DXDevList gibt es auch gerade eine Diskussion über den Sinn von syntetischen Benchmarks und auch dort gehen die Meinungen sehr weit auseinader.

Demirug
2003-05-30, 12:04:55
Original geschrieben von Anonym_001
Das ist aber eine andere Situation.
Da es ein Bench für DX7? ist und nur eine Firma T&L Karten hatte, ist es ein Vorteil gegeüber den anderen.
Im Gegesatz dazu ist der 03 eine DX9 Bench der PS1.4 nutzt und den alle DX9 Karten können müssen.

Alle DX9 Karten müssen aber auch noch Singletexturing nach DX6 können muss es es aber deswegen in einem DX9 Benchmark benutzten?

Für mich heist DX9-Benchmark das er auf was anderem als einer DX9 Karte gar nicht erst läuft.

Der 3DMark03 ist ein DX7 Benchmark mit grossem DX8 Anteil und einem kleinen DX9 Teil und bis die DX7 Karten endlich aus den Rechnern der Kunden verschwunden sind wird FM den DX7 Teil auch in zukünftigen Versionen nicht über Bord werfen.

Um ehrlich zu sein habe ich immer noch nicht ganz verstanden was FM mit dem 03 eigentlich messen möchte?

Razor
2003-05-30, 12:07:18
Original geschrieben von Stefan Payne
Nur scheints einige jetzt auf unerklärliche weise zu stören
Unerklärlich sicher nicht...
Aber wenn ich recht entsinne, Payne, dann warst Du derjenige, der am lautesten geschrien hat, dass der Murks00/01 andere Hardware benachteiligt. Und jetzt ist das plötzlich nicht mehr so schlimm ?
???

Sorry, aber man sollte schon bei einer 'Einsicht' bleiben.
Der Murks war schon immer schrott und ist es jetzt natürlich auch.

Nur geht es hier nicht darum, dass irgendwelche Features fehlen und deswegen die eine Karte schlechter abschneidet, als die andere, sondern um das sehr unterschiedliche Abschneiden bei dem gleichen Feature.

Und die Ursache hierfür scheint sich ja nun langsam heraus zu kristallisieren...

Wie ist denn jetzt nun Deine Meinung, Payne ?
Ist der Murks nun 'schrott', oder nicht ?
:D

Razor

Razor
2003-05-30, 12:09:37
Original geschrieben von Demirug

Um ehrlich zu sein habe ich immer noch nicht ganz verstanden was FM mit dem 03 eigentlich messen möchte?
Zumindest messen sie die Performance ihrer Shader auf ATI-Karten !
:D

Aber Spaß beiseite...
DAS möchte ich auch gerne mal wissen !

Razor

Black-Scorpion
2003-05-30, 12:12:01
Original geschrieben von Razor
Zumindest messen sie die Performance ihrer Shader auf ATI-Karten !
:D

Aber Spaß beiseite...
DAS möchte ich auch gerne mal wissen !

Razor

Man kann schön feststellen ob der Mod 9500 -> 9700 geklappt hat. ;)

Mr. Lolman
2003-05-30, 12:15:01
Original geschrieben von Stefan Payne
Nur scheints einige jetzt auf unerklärliche weise zu stören :|

Stimmt, denn als damals eine Voodoo5 mit 2500 Punkten gegen eine 'doppelt so schnelle' GF2GTS abstinkte interessierte es auch keinnem.

IMO lag die Voodoo5 soagr auf GF3 Niveau. Ich spielte MoHAA in 1024x768x22, 2xAA. Bei einer GF2 hätte man 4xAA und 32bit verwenden müssen, damit die BQ ähnlich aussieht. Da hätte eine GF2 kein Licht gesehen, und trotzdem wars legitim alle Karten mit dem 3dmark 2000/2001 zu benchen. Deswegen ahb ich jetzt kein Verständnis mit den Leuten die nach 4 Jahren (zum ersten Mal wenn die NV Karten ggü. den direkten Konkurrenten nicht so toll dastehen) anfangen über den Mark zu meckern.

Der 3dmark ist da, wird verwendet und pasta. NV braucht keine Sonderbehandlung. 3dfx bekam sie ja auch nicht. Hoffen wir, dass die nächste Version auf NV Karten wieder ein zufriedenstellenderes Ergebnis abliefert ;).

Salvee
2003-05-30, 12:18:14
Wenn man sich die Spekulationen hier so durchliest, stellen sich mir doch ein paar Fragen:

- der Konsens, der hier im Forum vor ein paar Monaten gefunden wurde, ist für die Tonne: damals ging es um die Befürchtungen, ob beispielsweise per
Cg programmierte Games ATi benachteiligen werden. Das Ergebnis war: man kann im Grossen und Ganzen nicht auf einen IHV optimieren, die
Optimierungsguides sein sich sehr ähnlich, sobald man auf den einen optimiert, ist's auch für den anderen optimiert etc.
Das kann man im Zeitalter von DX9 wohl erstmal komplett vergessen.

- DX9 scheint ja nicht besonders 'einheitlich' zu sein, liegt das nur an der relativ hohen Programmierbarkeit der DX9-Chips? Oder ist DX9 Schrott (salopp formuliert)?

- Wann kommt von Futuremark der Anonymisierungspatch für den 3DMark01? :D