Cheat hin oder her - was kommt danach...

[Achill]

Ich möchte ein wenig von dieser Fan diskution weg kommen, die Frage die sich mir aus den jüngsten Ergebnisen stellt, ist folgende:

1.) Wie soll der Kunde in der Zukunft wissen, welches Produkt wirklich besser ist oder welches ein besseres Preis/Leistungsverhältnis besitz, wenn wir uns wünschen, dass Benchs verschwinden, nur weil sie etwas wiedersinnig sind oder uns nicht zusagen.
Kann man nicht erst durch das testen von vielen Situationen sich einen überblick verschaffen?

2.) Sicher ist der 3DMurks03 kein Top-Bench und wird leider überbewertet, aber er zeigt halt doch etwas, wie sich anscheinend eine aktuelle GPU auf einer schlecht programmierten Gameengien (wenn man davon sprechen kann) verhält, es gab da in der Vergangenheit oft Spiele, die nicht wirklich toll Programmiert waren und die wird es auch in Zukunft geben.
Hinweis: Das Punktesystem soll hier nicht diskutiert werden, es reicht ja auch aus, die jeweiligen Karten je nach technologischen möglichkeiten, in den einzelnen Tests miteinander zu vergleichen - das sollte schon interessante Schlüsse zulassen.


Ich würde gern mal eure Meinung hören zu den zwei Punkten und etwas vom Bashing weg kommen - daher die Bitte an die Mods, bitte löscht gleich flame versuche... thx.

[zeckensack]

Was kommen muß, ist klar:
Dynamische (treiberseitige) Umsortierung aller Shader auf die Bedürfnisse der Hardware hin. Das ist weder besonders schwierig, noch performancekritisch, und bringt maximale Performance für alle Anwendungen/Spiele/Benchmarks, die Shader einsetzen. Wie Exxtreme es nannte, eine Art 'optimierender Compiler' :)

Die auf bloße 3DMark-(Shader-)Optimierung verbrauchte Zeit und Energie war offensichtlich verschwendet, wie IMO alle solche Optimierungen Verschwendung sind. Man kann nicht alle möglichen Shader von Hand voroptimieren, und im Treiber ablegen, dafür gibt es viel zu viele mögliche Kombinationen. Da muß man mit Intelligenz ran, und nicht mit einer Datenbank.

[Sphinx]

Doom 3 ?

If NVidia Card exist use NV30 -> Rendering with Nvidia only Exentensions...
If Ati Card exist run standard rendering with R200 Extensions...
Und so sieht es leider in Zukunft aus ~ Kein 1zu1 Bench möglich...

Weil man kann nicht! behaupten das beide die selben wege gehen in dem Spiel

Ala Spiel -> Weg x -> Grafikkarte -> Output

Nur wenn > weg x < Derselbe weg ist den die beiden kontrahenten gehen kann man von einem Benchmark in eigentlichem sinne reden...

Was der Treiber bewerkstelligt und der damit erstellte Output (solange sie identisch sind) ist auch ok solange das ergebniss dasselbe ist - (das gerenderte bild ohne jegöich fehler)... Stichwort HSR...

[Demirug]

Achill, genauso wie bisher auch :D

Das was jetzt so langsam öffentlich bekannt wird praktizieren die IHVs schon lange im Hintergrund. Gerüchten zu folge bestehen inzwischen mehr als 50% der Treiber Sourcecodes aus Optimierungen (cheats) für einzelne Games/Engines/Benchmarks. Was glaubst du wohl warum nVidia die Sourcecodes für die Linuxtreiber nicht herausgibt?

Im Endeffekt kann man nur versuchen die IHVs dazu zu zwingen Optimierungen einzubauen die auch dem Endkunden was nützen. Soll heisen es werden nur noch Testprogramm(Spiele, Benchmarks) benutzt welche es erlauben das man sich eine eigene Timedemo oder Kameradurchfahrt erstellen kann. Wenn nun jeder Reviewer sein eigenes Setup benutzt (und diese niemand ausserhalb erhält) können die IHVs nur noch mit allgemeinen Optimierungen für die getesteten Programme das abschneiden beeinflussen. Von diesen Optimierungen haben dann aber alle die diese Spiel auch spielen etwas.

Noch besser ist es natürlich wenn die Spieleentwickler schon im Vorfeld eng mit den IHVs zusammenarbeiten und die Engines schon so gut optimieren das eigentlich kein Raum mehr zum optimieren bleibt. Aber das ist eine andere Geschichte.

[Quasar]

Originally posted by Demirug
Achill, genauso wie bisher auch :D

Das was jetzt so langsam öffentlich bekannt wird praktizieren die IHVs schon lange im Hintergrund. Gerüchten zu folge bestehen inzwischen mehr als 50% der Treiber Sourcecodes aus Optimierungen (cheats) für einzelne Games/Engines/Benchmarks. Was glaubst du wohl warum nVidia die Sourcecodes für die Linuxtreiber nicht herausgibt?


Das würde natürlich auch die andauernd zunehmende Dateigröße der Treiber erklären... :D

[seahawk]

Für die Zukunft würde ich vermuten, dass ATI-Karten durch die Bank gute Ergebnisse liefern werden, während NV-Karten bei optimierten Spielen besser sind und bei nicht optimierten wesentlich schlechter.

So gesehen ist die ATI Karte für den User die sichere Bank.

[Razor]

Originally posted by seahawk
Für die Zukunft würde ich vermuten, dass ATI-Karten durch die Bank gute Ergebnisse liefern werden, während NV-Karten bei optimierten Spielen besser sind und bei nicht optimierten wesentlich schlechter.

So gesehen ist die ATI Karte für den User die sichere Bank.
Tatsächlich ?
Also unterstellt Du, dass nVidia schlicht bei ALLEN Benches 'schummelt' ?
DAS glaube ich eher nicht. Dann schon die ca. 50%, die Demirug nannte...
(und dann sicher auch auf ATI anzuwenden ist ;-)

Zum Thema:

Ich hoffe inständig, dass sich die Reviewer mal mehr Zeit nehmen, eine Karte vernünftig zu testen. Kann mich da nch gut an 3DConcept erinnern, wo ram wohl so ziemlich als einziger auf diese ausgelatschten Pfade verzichtet hat und auch mal Tests hinein genommen hat, die nicht gerade überall im Gerede sind. Und um das ganze noch zu toppen eine wahrhaft riesige Auswahl derer ins Kalkül zug... und zu guter letzt diesen auch noch von Zeit zu Zeit anpasste...

So und nur so sollte man benchen !
Dann hätte kein IHV mehr die Möglichkeit, sich darauf einzustellen...

Momentan ist es doch wohl eher so, dass die IHV's den Revievern vorschreiben, welche Benches zu benutzen sind, um möglichst ihre eigene Hardware im besseren Licht dastehen zu lassen. Und die Reviewer machen dies, damit sie auch nächstes mal in den Genuß einer kostenlosen Testhardware gelangen, noch bevor jeder andere solche Möglichkeiten hat.

Tja, und wie man diese Form von 'Gier' aus der Welt schaffen soll ?
Eine solche Diskussion dürfte dann wohl eher ins Philosophische abdriften...

Bis denne

Razor

[Exxtreme]

Originally posted by Razor


Ich hoffe inständig, dass sich die Reviewer mal mehr Zeit nehmen, eine Karte vernünftig zu testen. Kann mich da nch gut an 3DConcept erinnern, wo ram wohl so ziemlich als einziger auf diese ausgelatschten Pfade verzichtet hat und auch mal Tests hinein genommen hat, die nicht gerade überall im Gerede sind.

Bis denne

Razor
Was meinste warum ich einen Punkt in meiner Signatur noch nicht entfernt habe und es wohl nie tun werde?

;)

[Razor]

Originally posted by Exxtreme

Was meinste warum ich einen Punkt in meiner Signatur noch nicht entfernt habe und es wohl nie tun werde?

;)
Und ich parallel zu Deinem Post den meinigen anpasste (bzw. ergänzte)...
:D

Razor

[egdusp]

Originally posted by seahawk
Für die Zukunft würde ich vermuten, dass ATI-Karten durch die Bank gute Ergebnisse liefern werden, während NV-Karten bei optimierten Spielen besser sind und bei nicht optimierten wesentlich schlechter.

So gesehen ist die ATI Karte für den User die sichere Bank.


NV arbeitet ja gerüchteweise schon an einem intelligenten und automatischen Shaderoptimierer im Treiber. Da die ATI Methode der scheinbar offensichtlichere Weg der Shadercodierung ist, ist die Leistungsfähigkeit der GFFX Hardware nicht ausgeschöpft.
Wahrscheinlich wird NV mit diesen optimierten Treibern einen gewaltigen Performanceboost erreichen, ohne das anwendungsspezifischer Code (Cheats) enthalten ist.

Was mich bisher wundert, ist dass NV diesen exotischen Ansatz ewählt haben. Sie sollten genug Erfahrung gehabt haben, um die Probleme zu erkennen. Scheinbar hat ihre Methode aber potentiell solche Vorteile, dass die Anfangschwierigkeiten in Kauf genommen werden.

Ich sehe ATI hier langfristig aus den genannten Gründen eher im Nachteil. Ihr Vorteil wird nur bei den bald erscheinenden Spielen noch vorhanden sein, die noch nicht Cg benutzt haben. Und für solche Spiele kann NV ja Optimierungen einbauen. Ich würde dies dann aber auch offensiv angehen und die Optimierungen als das verkaufen was sie IMO sind, Geburtswehen einer zukunftsträchtigen Technik.

mfg
egdusp

[Demirug]

egdusp, nv macht das ganze mit hoher wahrscheinlichkeit weil sie die Technologien dafür sowieso für das Cg und das OpenGL 2.0 Projekt brauchen.

[seahawk]

Razor, ich meine optimiert. Das sind für mich Programme, die an die Bedürfnisse der NV Hardware angepaßt sind. Das hat nichts mit cheaten zu tun. (Imo ist auch die Anpassung von 3DMark an die NV Karten nicht unbedingt ein Cheat - sonder neine Optimierung)

Wenn die Treiber das mal automatisch für jedes Programm können ist es umso besser.

[Axel]

Originally posted by egdusp
NV arbeitet ja gerüchteweise schon an einem intelligenten und automatischen Shaderoptimierer im Treiber. Da die ATI Methode der scheinbar offensichtlichere Weg der Shadercodierung ist, ist die Leistungsfähigkeit der GFFX Hardware nicht ausgeschöpft.


mfg
egdusp

Ist das mit dem zu vergleichen was Zeckensack in dem anderen Thread gefordert hat?

u.a. auf dieser Seite (http://www.forum-3dcenter.org/vbulletin/showthread.php?s=&threadid=72923&perpage=20&pagenumber=9)

Ich fände es gut, wenn nvidia in der Lage wäre, die Treiber allgemein gültig zu optimieren.

Originally posted by Razor
Also unterstellt Du, dass nVidia schlicht bei ALLEN Benches 'schummelt' ?

Ich persönlich habe nvidia schon im Verdacht, die Treiber für Benchmarkprogramme (gleich welcher Art) zu optimieren. Ich meine das nicht unbedingt negativ, aber es wundert mich schon, daß es in der Vergangenheit immer wieder außergewöhnliche Benchmarks gab, die gezeigt haben, daß die nVidia-Karte damit teilweise wesentlich langsamer war als das ATi-Pendant.
Es ist normal, wenn sie es versuchen, besser dazustehen als sie sind und würde die Beschränktheit der bislang genutzten Verfahren zeigen.
Es ist aber letztendlich Spekulation meinerseits.

[Demirug]

Originally posted by Axel


Ist das mit dem zu vergleichen was Zeckensack in dem anderen Thread gefordert hat?

u.a. auf dieser Seite (http://www.forum-3dcenter.org/vbulletin/showthread.php?s=&threadid=72923&perpage=20&pagenumber=9)

Ich fände es gut, wenn nvidia in der Lage wäre, die Treiber allgemein gültig zu optimieren.

Ja das ist sowas in der Art.

[Razor]

Originally posted by seahawk
Razor, ich meine optimiert. Das sind für mich Programme, die an die Bedürfnisse der NV Hardware angepaßt sind. Das hat nichts mit cheaten zu tun. (Imo ist auch die Anpassung von 3DMark an die NV Karten nicht unbedingt ein Cheat - sonder neine Optimierung)

Wenn die Treiber das mal automatisch für jedes Programm können ist es umso besser.
nVidia wird auch nicht bei ALLEN Benches/Games 'optimieren'...
Wie gesagt halte ich die 50% von Demi da für wesentlich realistischer.

Razor

[Razor]

Originally posted by Axel

Ich fände es gut, wenn nvidia in der Lage wäre, die Treiber allgemein gültig zu optimieren.
IMHO tun sie das doch schon seit Ewigkeiten...
(den Treibercode selber effizienter machen)

Beim Murks sind sie halt weiter gegangen... und das vermutlich sogar noch aus ganz anderen Gründen...
... aber das gehört ins Reich der Spekulation.
(und hat hier nichts zu sichen ;-)

Bis denne

Razor

[Razor]

Originally posted by Axel

Ich meine das nicht unbedingt negativ, aber es wundert mich schon, daß es in der Vergangenheit immer wieder außergewöhnliche Benchmarks gab, die gezeigt haben, daß die nVidia-Karte damit teilweise wesentlich langsamer war als das ATi-Pendant.
Habe gar nicht weiter gelesen... sorry.
Hast Du dafür vielleicht Referenzen ?
???

Razor

P.S.: AFAIK war es eher genau anders herum... aber belegen könnte ich das jetzt nicht.

[Mr. Lolman]

Z.B. waren beim 3dmark2001 Radeon8500 Karten auch anfänglich schneller als GF4 Ti4200s. Solange halt bis 3dmarkoptimierte Treiber von NV kamen.

[Razor]

Originally posted by Mr. Lolman
Z.B. waren beim 3dmark2001 Radeon8500 Karten auch anfänglich schneller als GF4 Ti4200s. Solange halt bis 3dmarkoptimierte Treiber von NV kamen.
Und obwohl ATI nun selber zugegeben hat, ebenfalls auf die Murkser zu 'optimieren', soll das verwerflich sein ?
???

Razor

[Axel]

Originally posted by Razor

Habe gar nicht weiter gelesen... sorry.
Hast Du dafür vielleicht Referenzen ?
???

Razor

P.S.: AFAIK war es eher genau anders herum... aber belegen könnte ich das jetzt nicht.

Auf die schnelle kann ich nur hier (http://www.3dcenter.de/artikel/r7500_vs_gf2ti/index4_fazit.php) hin verweisen. Überall führt die GF2 nur bei Aqua Nox und Z sieht es erheblich anders aus.
Als Ultima9 raus kam, sahen die nvidia-Karte auch lange Zeit nicht gut aus.
Ich weis, daß sind alte Kamellen, aber über die Zeit setzt sich das fest und man bildet sich halt seine Meinung. Und es ist auch heute wahrscheinlich, daß die als allgemein als schneller angenommene Karte bei der Mehrzahl der Spiele keine wesentlichen Geschwindigkeitsvorteile bietet.

Die Möglichkeiten des Testens werden ja auch immer bescheidener, so daß es letztendlich ein einfaches ist für die paar Benchmarks die Treiber anzupassen. Nur das es bei Programmen die keine Testfunktion haben, anders ausehen kann (nicht muss).

[Mr. Lolman]

Originally posted by Razor

Und obwohl ATI nun selber zugegeben hat, ebenfalls auf die Murkser zu 'optimieren', soll das verwerflich sein ?
???

Razor

Selbst wenns dir egal ist, ist es für mich immernoch ein Unterschied, ob die verwendeten Optimierungen auch in Spielen zum Tragen kommen können (auch wenn man jedes einzeln anpassen müsste), oder wenn, im Wissen ein festen Kamerapfades, einzelne Teile der Szenerie einfach abgeschnitten werden, was nie auf Spiele übertragbar wäre (zumindest nicht in jetziger Form), die unterscheidliche Renderinggenauigkeit jetzt einmal völlig aussen vo gelassen.

[Razor]

Originally posted by Axel
Auf die schnelle kann ich nur hier (http://www.3dcenter.de/artikel/r7500_vs_gf2ti/index4_fazit.php) hin verweisen. Überall führt die GF2 nur bei Aqua Nox und Z sieht es erheblich anders aus.
Das waren doch aber keine außergewöhnlichen Benches, oder ?
Originally posted by Axel
Als Ultima9 raus kam, sahen die nvidia-Karte auch lange Zeit nicht gut aus.
KREISCH !
(mehr sach' ich net ;-)
Originally posted by Axel
Ich weis, daß sind alte Kamellen, aber über die Zeit setzt sich das fest und man bildet sich halt seine Meinung. Und es ist auch heute wahrscheinlich, daß die als allgemein als schneller angenommene Karte bei der Mehrzahl der Spiele keine wesentlichen Geschwindigkeitsvorteile bietet.
Versteh' ich nicht...
Woraus hast Du das jetzt abgeleitet ?
Originally posted by Axel
Die Möglichkeiten des Testens werden ja auch immer bescheidener, so daß es letztendlich ein einfaches ist für die paar Benchmarks die Treiber anzupassen. Nur das es bei Programmen die keine Testfunktion haben, anders ausehen kann (nicht muss).
Ganz im Gegenteil sind die Möglichkeiten sogar sehr viel besser als früher.
Das Problem ist nur, dass sich die Reviewer einfach keine Zeit mehr nehmen und es deswegen für die IHV's so einfach ist. Uns glaube mir, die beiden großen nehemen sich da nicht wirklich viel...

Razor

[Razor]

Originally posted by Mr. Lolman

Selbst wenns dir egal ist, ist es für mich immernoch ein Unterschied, ob die verwendeten Optimierungen auch in Spielen zum Tragen kommen können (auch wenn man jedes einzeln anpassen müsste), oder wenn, im Wissen ein festen Kamerapfades, einzelne Teile der Szenerie einfach abgeschnitten werden, was nie auf Spiele übertragbar wäre (zumindest nicht in jetziger Form), die unterscheidliche Renderinggenauigkeit jetzt einmal völlig aussen vo gelassen.
Dann hast Du offensichtlich übersehen, dass besagter ATI-'Cheat' (lt. FM's Definition ;-) nirgendwo sonst zum Tragen gekommen ist und ATI diese 'Optimierung' deswegen auch wieder heraus nehmen will. Wenn also das Deine Intention ist, dann hat ATI hier auch eindeutig gecheatet (nicht meine Meinung !).

Aber das ist hier gar nicht das Thema...

Schließlich wird hier nicht diskutiert, wer hier Schuld hat, sondern was man besser machen könnte, um so etwas zukünftig zu vermeiden... oder ?

Razor

[Mr. Lolman]

Originally posted by Razor

Dann hast Du offensichtlich übersehen, dass besagter ATI-'Cheat' (lt. FM's Definition ;-) nirgendwo sonst zum Tragen gekommen ist und ATI diese 'Optimierung' deswegen auch wieder heraus nehmen will. Wenn also das Deine Intention ist, dann hat ATI hier auch eindeutig gecheatet (nicht meine Meinung !).


Ich meinte, dass, im Gegensatz zur Situation bei NV, die Technik der ATi-Optimierung auch in Spielen verwendet werden könnte. (Ausserdem hat noch keiner beim Shadermark einen Cat. 3.2 - Cat. 3.4 Vergleich gemacht)


Aber das ist hier gar nicht das Thema...

Schließlich wird hier nicht diskutiert, wer hier Schuld hat, sondern was man besser machen könnte, um so etwas zukünftig zu vermeiden... oder ?

Razor


Stimmt eigentlich, der Thread war jetzt lange genug OT :) Mein Vorschlag ist, bessere Engines zu verwenden, bei denen solche Optimierungen nicht notwendig sind. (IMO UT2003) Der 3dmark hat jedoch bei vielen Reviewern und Spielern einen hohen Stellenwert, ein gutes Abschneiden darin ist für viele kaufentscheident. Deswegen wird man den 3dmark2003 nicht einfach so in der Versinkung verschwinden lassen können. IMHO wird dieses Cheat-Patch Spielchen noch länger weitergehen... Mal sehen ob Futuremark fürn 3dmark2004(5??) eine bessere Engine hinbekommt.

[Razor]

Originally posted by Mr. Lolman

Ich meinte, dass, im Gegensatz zur Situation bei NV, die Technik der ATi-Optimierung auch in Spielen verwendet werden könnte. (Ausserdem hat noch keiner beim Shadermark einen Cat. 3.2 - Cat. 3.4 Vergleich gemacht)
Nochmal: ATI nimmt's raus, weil's sonst keine Anwendung findet.
Originally posted by Mr. Lolman

Stimmt eigentlich, der Thread war jetzt lange genug OT :) Mein Vorschlag ist, bessere Engines zu verwenden, bei denen solche Optimierungen nicht notwendig sind. (IMO UT2003) Der 3dmark hat jedoch bei vielen Reviewern und Spielern einen hohen Stellenwert, ein gutes Abschneiden darin ist für viele kaufentscheident. Deswegen wird man den 3dmark2003 nicht einfach so in der Versinkung verschwinden lassen können. IMHO wird dieses Cheat-Patch Spielchen noch länger weitergehen... Mal sehen ob Futuremark fürn 3dmark2004(5??) eine bessere Engine hinbekommt.
Besser wäre das...
IMHO ist das auch der Hauptkritikpunkt am Murks.
Würde FM Engines benutzen, die auch tatsächliche Anwendung finden, wäre ja jede Kritik dahin...

Mal schaun' was daraus wird.

Besser es allerdings gar keine Benches mehr verwendet würden, die nur vorgeben 'RealWorld' zu sein.

Razor

[Iceman346]

Originally posted by Razor

Nochmal: ATI nimmt's raus, weil's sonst keine Anwendung findet.


So wie ich das verstanden hab sind diese Anpassungen speziell für jedes Programm nötig. Ergo kann man die 3DMark Optimierungen rausnehmen ohne eventuelle Optimierungen für andere Spiele zu beeinträchtigen.

[Mr. Lolman]

Originally posted by Razor

Nochmal: ATI nimmt's raus, weil's sonst keine Anwendung findet.


ATi nimmts raus, weil spezifische Optimierungen in Benchmarks nicht erwünscht sind...

:| Schön langsam glaube ich, dass wir aneinander vorbei reden.

[Birdman]

Originally posted by Mr. Lolman
ATi nimmts raus, weil spezifische Optimierungen in Benchmarks nicht erwünscht sind...

:| Schön langsam glaube ich, dass wir aneinander vorbei reden.
und spezifisch hiess in diesem Falle wohl:

- erkenne 3dmurk03 shadercode
- reorganisiere shadercode
{
-3dmshader3
-3dmshader1
-3dmshader2
}
- rendere shadercode

Imho wurde da klar im vorfeld gekukt, welche renderreihenfolge am besten performt, und diese dann so in den treiber gecoded.
Das ganze bringt natürlich ausser beim 3dmurks gar nix, aber hauptsache mehr punkte...

[Demirug]

Ja Birdman so in etwas funktioniert das ganze.

1. Der Treiber bekommt den originalen Shadercode und eine Referenznummer übergeben.
2. Der Treiber durchsucht eine Liste ob er diesen Shader kennt.
3. Findet er den Shader in seiner Liste tauscht er den Originalen Code gegen die optimierte Version aus und speichert diesen unter der Referenznummer.

Soll nun später etwas gerendert werden bekommt der Treiber nur die Referenznummer und unter dieser ist ja dann die optimierte Version hinterlegt.

[Achill]

Erst mal danke für eure Antworten, es wäre also Vorteilhaft (für alle Parteien) wenn es einen Art Poll gäbe, in dem die Standardshader def. wären (ref. des aussehen evtl. durch ein Softwarerenderer dargestellt).

Da diese Shader fest def. sind (Aufbau, Aussehen), könnte jeder Hersteller eine eigene Umsetzung für diese in den Treibern programmieren (oder auch nicht - wie er will).
Gleichzeitig hätten die Softwareentwickler schon eine Grundmenge von Shadern zu verfügung, sie würden 1. schnell laufen (wichtig für spiele), 2. zu einer höheren produktivität + schnelleren einführung von shadern führen und 3. auch probleme wie Weitläufige möglichkeiten bei OpenGL 2.0 umgehen (wenn ich das richtig mitbekommen habe).

Dies wäre natürlich nur ein zwischenschritt, weil evl. ändern sich shader ja in zukunft in der Laufzeit selbst - wäre sowas denkbar?

[Demirug]

Originally posted by Achill
Erst mal danke für eure Antworten, es wäre also Vorteilhaft (für alle Parteien) wenn es einen Art Poll gäbe, in dem die Standardshader def. wären (ref. des aussehen evtl. durch ein Softwarerenderer dargestellt).

Da diese Shader fest def. sind (Aufbau, Aussehen), könnte jeder Hersteller eine eigene Umsetzung für diese in den Treibern programmieren (oder auch nicht - wie er will).
Gleichzeitig hätten die Softwareentwickler schon eine Grundmenge von Shadern zu verfügung, sie würden 1. schnell laufen (wichtig für spiele), 2. zu einer höheren produktivität + schnelleren einführung von shadern führen und 3. auch probleme wie Weitläufige möglichkeiten bei OpenGL 2.0 umgehen (wenn ich das richtig mitbekommen habe).

Dies wäre natürlich nur ein zwischenschritt, weil evl. ändern sich shader ja in zukunft in der Laufzeit selbst - wäre sowas denkbar?

Ein Shader ist je ein Stück Programmcode. Dieser Code bleibt erstmal immer gleich. Aber man kann natürlich so viele Shader benutzen wie man möchte und es ist durchaus denkbar das irgendwann die Engines anfangen Shader zur Laufzeit dynamisch zu erstellen.

Aus diesem Grund gibt es auch nur zwei sinnvolle lösungen für das Problem der Shaderoptimierung. Entweder der Treiber ist schlau genug jeden Shader zu optimieren oder man bekommt Tools (die man auch zur laufzeit nutzen kann) mit denen man Shader erstellen kann die zur jeweiligen Hardware am besten passen.

[Hauwech]

Ja ist dann aber nicht eine einheitliche API, wie sie DX zumindest darstellen soll, nicht irgendwann sowieso fuer die Tonne wenn ich fuer verschiedene Karten dann sowieso Shadersets erstellen muss / sollte? Vielleicht noch in anderen Bereichen, in welchem Umfang das moeglich ist, weiss ich nicht aber soweit ich es verstanden habe, ist da nicht viel Spielraum, fuer jede Karte optimieren muss / sollte?

[egdusp]

Originally posted by Demirug
egdusp, nv macht das ganze mit hoher wahrscheinlichkeit weil sie die Technologien dafür sowieso für das Cg und das OpenGL 2.0 Projekt brauchen.

Ich dachte es wäre andersrum, dass sie Cg brauchten, weil ihre Technologie so anders ist
und nicht weil sie sowieso Cg machen wollten und keine Rücksicht auf HLSL code nehmen wollten.

mfg
egdusp

[Demirug]

Originally posted by Hauwech
Ja ist dann aber nicht eine einheitliche API, wie sie DX zumindest darstellen soll, nicht irgendwann sowieso fuer die Tonne wenn ich fuer verschiedene Karten dann sowieso Shadersets erstellen muss / sollte? Vielleicht noch in anderen Bereichen, in welchem Umfang das moeglich ist, weiss ich nicht aber soweit ich es verstanden habe, ist da nicht viel Spielraum, fuer jede Karte optimieren muss / sollte?

Die API selbst bleibt davon ja unberührt. Die Techniken einen Shader anzulegen, zu benutzten und zu parametrien bleiben von den unterschieden ja unberührt. Um es ganz deutlich zu machen. Für die API macht es keine Unterschied ob sie nun einen 1.1 oder einen 2.0 Shader bekommt. Für den Programmierer macht es also keine unterschied ob nun 2 (DX8, DX9) oder viele Shadersets zum Einsatz kommen.

Das Problem ist zwar damit erst mal nur zu den Designer verschoben aber diese können ja Shaderhochsprachen benutzten und dann mit entsprechenden Compilern für die unterschiedlichen Platformen optimierte Shader erzeugen lassen.

[Demirug]

Originally posted by egdusp


Ich dachte es wäre andersrum, dass sie Cg brauchten, weil ihre Technologie so anders ist
und nicht weil sie sowieso Cg machen wollten und keine Rücksicht auf HLSL code nehmen wollten.

mfg
egdusp

HLSL Code und Cg Code sind ja solange man nur DX-Shader programmiert identisch. Cg bekommt für OpenGL Shader noch ein paar zusätzliche Funktionen mehr.

Was die Abhängikeiten angeht so ist alles was mit Shaderhochsprachen und optimierungen zu tun hat ja miteinander verknüpft. Wäre ja auch blödsinn die gleiche Arbeit mehrfach zu machen.

[Radeonator]

Das wär doch mal echt was : NoName Games mit nicht so populären Engines bzw. ihren eigens Optimierten Engines.
Wäre sicher interessant zu sehen was unsere beiden großen dann noch leisten, wenn sie auf unbekannten Boden treffen :)

Also Leo, nächster großer Bench mal mit ganz anderen Games (z.B. DTM Race Driver etc.) :) und ohne QIII / UT2k3 / 3dMurks xxxx / SS I-SE / RTWC / JK II etc.

[zeckensack]

Original geschrieben von Hauwech
Ja ist dann aber nicht eine einheitliche API, wie sie DX zumindest darstellen soll, nicht irgendwann sowieso fuer die Tonne wenn ich fuer verschiedene Karten dann sowieso Shadersets erstellen muss / sollte? Vielleicht noch in anderen Bereichen, in welchem Umfang das moeglich ist, weiss ich nicht aber soweit ich es verstanden habe, ist da nicht viel Spielraum, fuer jede Karte optimieren muss / sollte? Mir scheint, du erwartest zuviel von DirectX. Wo nichts einheitlich ist (Shader-Architektur), kann man auch nichts einheitlich machen. Der einzige sinnvolle Lösungsweg sind HLSLs, und optimierende Compiler von den IHVs, nicht von Microsoft.

[Demirug]

Original geschrieben von zeckensack
Mir scheint, du erwartest zuviel von DirectX. Wo nichts einheitlich ist (Shader-Architektur), kann man auch nichts einheitlich machen. Der einzige sinnvolle Lösungsweg sind HLSLs, und optimierende Compiler von den IHVs, nicht von Microsoft.

Weil du es gerade erwähnst. Das mit HLSL und dem Chipspezifischen compileren ist auch der aktuelle Vorschlag (für die ganz neue SDK Version ;) ) von MS. Und damit nicht jeder IHVs sich seinen eigenen Compiler schreiben muss (was aber als option immer noch geht) wird der Compiler von MS verschiedene Zielprofile anbieten. Da gibt es ist jetzt ps_2_a und vs_2_a (das a steht dabei nicht für ATI die haben ja schon die 2_0 bekommen).

[zeckensack]

Original geschrieben von Demirug
Weil du es gerade erwähnst. Das mit HLSL und dem Chipspezifischen compileren ist auch der aktuelle Vorschlag (für die ganz neue SDK Version ;) ) von MS. Und damit nicht jeder IHVs sich seinen eigenen Compiler schreiben muss (was aber als option immer noch geht) wird der Compiler von MS verschiedene Zielprofile anbieten. Da gibt es ist jetzt ps_2_a und vs_2_a (das a steht dabei nicht für ATI die haben ja schon die 2_0 bekommen). Warum nicht gleich so? *eg*

[ram]

Dass sich die IHVs in irgendeiner Weise ändern werden ist ein frommer Wunsch. Man erinnere - Rage Pro Turbo schon 1998, 3D Mark 2001 Splash Screen Cheat, UT2003 Detailtexturen-Cheats etc.

Auch wird es bei 3D-Grafik IMO fast immer so sein, das ein speziell optimierter Assembler-Code schneller ist als einer, der mit einem Compiler generiert wurde. Für einen Spieleentwickler wird sich der Aufwand für Assembler-Tuning in Zukunft, wenn die Compiler besser werden, vielleicht nicht mehr lohnen, für einen IHV dagegen schon. Wenn durch Handoptimierung des Assembler-Shaders nur schon ein 10% besserer Code herauskommt, "lohnt" sich das für einen IHV bei einem Benchmark, der oft für Reviews genutzt wird in jedem Fall. 10% bessere Benchmarkwerte durch einen Mannmonat Tuningarbeit - ein guter Deal. Bei Architekturen wie die NV3x-Serie lassen sich unter Umständen allein durch das Einsparen eines Registers zweistellige Leistungsgewinne hervorzaubern. Und an sich ist das ja auch nicht zu verurteilen, wenn dabei die Spieleperformance im Allgemeinen ohne Qualitätseinbusse profitiert.

Die einzige Lösung, welche ich gegen diese Cheaterei sehe, ist, Benchmarks sehr breit zu streuen. Es gibt (DX8)-Spiele, welche kaum gebenchmarkt werden. Aquanox 2 und Unreal 2 haben sogar eingebaute Benchfunktionalität, für alle anderen gibt es das sehr zuverlässige FRAPS (wobei man natürlich aufpassen muss, dass der Treiber FRAPS nicht dedektiert) oder auch Tommti's Tool. Command & Conquer Generals, IL2, DTM Race Driver, Freelancer, Indy 6 und andere moderne Games dürften sich eigentlich problemlos zum Benchmarken eignen, nachdem man sich etwas Zeit genommen hat, einen reproduzierbaren Ablauf zu finden. Wenn es denn trotzdem UT2003 und Serious Sam sein muss, dann aber definitiv nicht mit den vorgefertigten Timedemos, die sowieso detektiert werden. Mittlerweile bin ich so weit, dass mir ein Review, dass nur Q3A/UT2003/Serious Sam Benchmarks beinhaltet, null brauchbaren Informationsgehalt liefert. Mit dem Zeitaufwand, den man für Codecreatures/3DMark/UT2003/Serious Sam Benchmarks verplempert, kann man locker auch drei bis vier andere, graphisch anspruchsvolle und gut verkaufte Spiele durchmessen, wobei nur drei bis vier Games IMO wenig ist für die Ermittlung eines repräsentativen Vergleichsbilds.

[Salvee]

Original geschrieben von ram
Dass sich die IHVs in irgendeiner Weise ändern werden ist ein frommer Wunsch. Man erinnere - Rage Pro Turbo schon 1998, 3D Mark 2001 Splash Screen Cheat, UT2003 Detailtexturen-Cheats etc.

Auch wird es bei 3D-Grafik IMO fast immer so sein, das ein speziell optimierter Assembler-Code schneller ist als einer, der mit einem Compiler generiert wurde. Für einen Spieleentwickler wird sich der Aufwand für Assembler-Tuning in Zukunft, wenn die Compiler besser werden, vielleicht nicht mehr lohnen, für einen IHV dagegen schon. Wenn durch Handoptimierung des Assembler-Shaders nur schon ein 10% besserer Code herauskommt, "lohnt" sich das für einen IHV bei einem Benchmark, der oft für Reviews genutzt wird in jedem Fall. 10% bessere Benchmarkwerte durch einen Mannmonat Tuningarbeit - ein guter Deal. Bei Architekturen wie die NV3x-Serie lassen sich unter Umständen allein durch das Einsparen eines Registers zweistellige Leistungsgewinne hervorzaubern. Und an sich ist das ja auch nicht zu verurteilen, wenn dabei die Spieleperformance im Allgemeinen ohne Qualitätseinbusse profitiert.

Die einzige Lösung, welche ich gegen diese Cheaterei sehe, ist, Benchmarks sehr breit zu streuen. Es gibt (DX8)-Spiele, welche kaum gebenchmarkt werden. Aquanox 2 und Unreal 2 haben sogar eingebaute Benchfunktionalität, für alle anderen gibt es das sehr zuverlässige FRAPS (wobei man natürlich aufpassen muss, dass der Treiber FRAPS nicht dedektiert) oder auch Tommti's Tool. Command & Conquer Generals, IL2, DTM Race Driver, Freelancer, Indy 6 und andere moderne Games dürften sich eigentlich problemlos zum Benchmarken eignen, nachdem man sich etwas Zeit genommen hat, einen reproduzierbaren Ablauf zu finden. Wenn es denn trotzdem UT2003 und Serious Sam sein muss, dann aber definitiv nicht mit den vorgefertigten Timedemos, die sowieso detektiert werden. Mittlerweile bin ich so weit, dass mir ein Review, dass nur Q3A/UT2003/Serious Sam Benchmarks beinhaltet, null brauchbaren Informationsgehalt liefert. Mit dem Zeitaufwand, den man für Codecreatures/3DMark/UT2003/Serious Sam Benchmarks verplempert, kann man locker auch drei bis vier andere, graphisch anspruchsvolle und gut verkaufte Spiele durchmessen, wobei nur drei bis vier Games IMO wenig ist für die Ermittlung eines repräsentativen Vergleichs.

Volle Zustimmung, auch wenn ich die Sache mit den Detailtexturen bei UT2003 als LOD-Bug sehe (bringt auch nur 1% Performance iirc).
Als Ergänzung zu den Spielen, deren Benchmarkfunktion in Frage zu stellen ist, sei hier noch Splinter Cell erwähnt: in diesem Review scheinen die Tester wiedermal überhaupt nicht zu checken, dass AA per .exe - Detektion auf der FX nicht aktiviert wird (es funzt ja auch auf beiden Karten nicht richtig)-> Link (http://www.vr-zone.com/reviews/Triplex/9800Pro/page7.htm)

[StefanV]

@ram

Ich gehe sogar soweit und sage, daß man für wirklich brauchbare Ergebnisse einen selbstentwickelten Benchmark nutzen muss...

Jener darf allerdings auch nicht wirklich frei verfügbar sein...

[ram]

Original geschrieben von Salvee
Als Ergänzung zu den Spielen, deren Benchmarkfunktion in Frage zu stellen ist, sei hier noch Splinter Cell erwähnt: in diesem Review scheinen die Tester wiedermal überhaupt nicht zu checken, dass AA per .exe - Detektion auf der FX nicht aktiviert wird (es funzt ja auch auf beiden Karten nicht richtig)-> Link (http://www.vr-zone.com/reviews/Triplex/9800Pro/page7.htm)

Jo, kommt dazu, dass man ruhig mal auf den Bilschschirm gucken darf, ob auch das gemacht wird, was man will =)

SC ist sowieso ein Spezialfall, da das ja grundsätzlich andere Schattentechniken für die verschiedenen Karten nutzt.

[ram]

Original geschrieben von Stefan Payne
Ich gehe sogar soweit und sage, daß man für wirklich brauchbare Ergebnisse einen selbstentwickelten Benchmark nutzen muss...

Jener darf allerdings auch nicht wirklich frei verfügbar sein...

Bei synthetischen Benches meinst du? Open Source wär ne Alternative zu nicht frei verfügbar (=nicht verifizierbar). Man ändere den Code oder den Shader minim, und schon schlägt die Erkennung wieder fehl.

[Exxtreme]

Original geschrieben von Stefan Payne
@ram

Jener darf allerdings auch nicht wirklich frei verfügbar sein...
Halte ich auch nur für bedingt sinnvoll, da diese Ergebnisse dann für niemanden nachvollziehbar wären.

Am besten wäre es, bei jeder grösseren Benchmark-Aktion andere Timedemos fahren. Diese sollten dann zum Download verfügbar sein.

[Demirug]

Original geschrieben von ram
Bei synthetischen Benches meinst du? Open Source wär ne Alternative zu nicht frei verfügbar (=nicht verifizierbar). Man ändere den Code oder den Shader minim, und schon schlägt die Erkennung wieder fehl.

Nur wenn man vernüpftigerweise Hochsprachen Shader benutzt ist das mit dem einfach mal ein bischen ändern gar nicht mehr so einfach.

Zudem bezweifle ich gerade in Verbindung mit Vertex und Pixelshader doch sehr stark die Übertragbarkeit der gewonnen Ergebnisse auf eine reale Applikation.

Die heutigen Hardware 3D-Pipelines sind einfach zu komplex geworden um da wirklich noch gute Vorhersagen machen zu können.

[Exxtreme]

Original geschrieben von ram
Dass sich die IHVs in irgendeiner Weise ändern werden ist ein frommer Wunsch. Man erinnere - Rage Pro Turbo schon 1998, 3D Mark 2001 Splash Screen Cheat, UT2003 Detailtexturen-Cheats etc.
Hehe, seien wir mal ehrlich, damit bekommen die Kunden was sie wollen: gute Benchmarkergebnisse.

Die IHVs berücksichtigen somit die Wünsche ihrer Kunden. :)

[Andre]

Also ohne die zweifelsohne wünschenswerten Ansichten hier in Frage zu stellen:
Aber glaubt hier wirklich einer, dass das so wie von euch beschrieben irgendwann mal kommen wird?
Selbstprogrammierte Benchmarks für jedes Review und am besten von von jeder HW-Seite?
Jedesmal andere Games bei jeder Karte, da die Treiberentwickler ja bereits einen Cheat drinhaben könnten?
Wo soll das denn hinführen?
0 Vergleichbarkeit, 0 Transparenz und vor allem total unübersichtlich.
Ihr seht mir das zu technisch bzw. vollkommen an einem Gamerbedürfnis vorbei.
UT 2003/U 2/Q 3 sind absolute Topseller und mit die meistegspielten Games. Was nützt es mir als Gamer, wenn die Karte in IL2 Top ist, aber in meinen Lieblingsgames abloost?
Nix, aber auch gar nichts.
Reviews werden sich immer an den meistverkauften/-gespielten Games orientieren und das ist auch richtig so.
Das mal das ein oder andere etwas unbekanntere Game da reinkann ist ja logisch, aber bitte nicht als Hauptfaktor.

[Exxtreme]

Original geschrieben von Andre

Wo soll das denn hinführen?
0 Vergleichbarkeit, 0 Transparenz und vor allem total unübersichtlich.
Ihr seht mir das zu technisch bzw. vollkommen an einem Gamerbedürfnis vorbei.
UT 2003/U 2/Q 3 sind absolute Topseller und mit die meistegspielten Games. Was nützt es mir als Gamer, wenn die Karte in IL2 Top ist, aber in meinen Lieblingsgames abloost?

Darum ging's nicht... zumindest bei mir. ;)

Ich bin nicht dagegen, daß die Top-Games nicht getestet werden. Man soll aber bitte eigene Time-Demos aufnehmen und diese nutzen. Die Timedemos, die standardmässig dabei sind, dürften auch schon vom Treiber erkannt und "optimiert" worden sein. :)

Leo macht's genau richtig.

[Andre]

Original geschrieben von Exxtreme
Darum ging's nicht... zumindest bei mir. ;)

Ich bin nicht dagegen, daß die Top-Games nicht getestet werden. Man soll aber bitte eigene Time-Demos aufnehmen und diese nutzen. Die Timedemos, die standardmässig dabei sind, dürften auch schon vom Treiber erkannt und "optimiert" worden sein. :)

Leo macht's genau richtig.

Schon klar, aber du kannst dir denken, auf wen das wohl bezogen war?!

Jetzt eine Frage:
Wie soll jemand auf vorgefertigte Timedemos optimieren?
Ich kann zwar generell auf die Engine optimieren, aber innerhalb der Engine auch auf Timedemos?
Oder nur auf die besonderen Ansprüche dieser?

Und ja, das Leo das sehr gut macht, steht wohl außer Frage :massa:

[Exxtreme]

Original geschrieben von Andre
Jetzt eine Frage:
Wie soll jemand auf vorgefertigte Timedemos optimieren?
Ich kann zwar generell auf die Engine optimieren, aber innerhalb der Engine auch auf Timedemos?
Oder nur auf die besonderen Ansprüche dieser?

Man kann schon ganz gut auf vorgefertigte Timedemos "optimieren". Da eine Timedemo nur einen vorgegebenen Ablauf hat, weiss man welche Objekte nie zu sehen sein werden etc. Die clippt man dann einfach weg und diese werden nicht berechnet.

So hat's NV bei GT4 auch gemacht. Der Schwindel flog auf als man mittels einer speziellen Version des 3DMark den vorgegebenen Kamera-Lauf verlassen hat.

[aths]

Original geschrieben von Andre
Wie soll jemand auf vorgefertigte Timedemos optimieren?Zum Beispiel ungefähr so, wie Nvidia auf den 3DM03 "optimiert" hat.

[ow]

Original geschrieben von aths
Zum Beispiel ungefähr so, wie Nvidia auf den 3DM03 "optimiert" hat.


Wie soll das technisch denn aussehen?

[ram]

[SIZE=1]Original geschrieben von Andre
Jedesmal andere Games bei jeder Karte, da die Treiberentwickler ja bereits einen Cheat drinhaben könnten? Wo soll das denn hinführen?

Jetzt gehst du gleich ins Extreme. Gegen ein sanftes Update des Benchmarkbouquets nach einem Quartal spricht nun wirklich nichts. Wegen neuen Treibern sollte man eh nachbenchen.

UT 2003/U 2/Q 3 sind absolute Topseller und mit die meistegspielten Games. Was nützt es mir als Gamer, wenn die Karte in IL2 Top ist, aber in meinen Lieblingsgames abloost?

Aber genau dieses U2 benchmarkt aber fast niemand. Und was ist mit CCG, DTM Race Driver, Praetorians, Indy 6? Aktuell in den Top 20, um Gegensatz zu Q3 und UT2003. IL2 ist übrigens eines der am besten bewerteten Games und war auch schon in den deutschen Top 20, also sicher kein Verkaufsflopp wie das früher oft gebenchmarkte Evolva.

Reviews werden sich immer an den meistverkauften/-gespielten Games orientieren und das ist auch richtig so.

Tun sie das? Ist Serious Sam 2 heutzutage wirklich ein so oft gespieltes Spiel? Oder Aquanox? Oder Quake3? Ich spiele das Zeugs seit Monaten nicht mehr.

Oder böse gesagt - Nur weil ein Spiel eine einfach zu bedienende Benchmarkfunktion eingebaut hat bedeutet das nicht, dass ein Gamer das Spiel über Jahre hinweg auch spielt. ;)

[skampi]

Original geschrieben von ram
............................
Aber genau dieses U2 benchmarkt aber fast niemand. Und was ist mit CCG, DTM Race Driver, Praetorians, Indy 6? Aktuell in den Top 20, um Gegensatz zu Q3 und UT2003. IL2 ist übrigens eines der am besten bewerteten Games und war auch schon in den deutschen Top 20, also sicher kein Verkaufsflopp wie das früher oft gebenchmarkte Evolva.


Tun sie das? Ist Serious Sam 2 heutzutage wirklich ein so oft gespieltes Spiel? Oder Aquanox? Oder Quake3? Ich spiele das Zeugs seit Monaten nicht mehr.

Oder böse gesagt - Nur weil ein Spiel eine einfach zu bedienende Benchmarkfunktion eingebaut hat bedeutet das nicht, dass ein Gamer das Spiel über Jahre hinweg auch spielt. ;)


Full Ack.:up: Bitte nicht mehr diese Benchmark-Standardleier. Z.B. Aquanox spielt eigentlich kein S******.

[Birdman]

Original geschrieben von ram
Aber genau dieses U2 benchmarkt aber fast niemand. Und was ist mit CCG, DTM Race Driver, Praetorians, Indy 6? Aktuell in den Top 20, um Gegensatz zu Q3 und UT2003. IL2 ist übrigens eines der am besten bewerteten Games und war auch schon in den deutschen Top 20, also sicher kein Verkaufsflopp wie das früher oft gebenchmarkte Evolva.

Tun sie das? Ist Serious Sam 2 heutzutage wirklich ein so oft gespieltes Spiel? Oder Aquanox? Oder Quake3? Ich spiele das Zeugs seit Monaten nicht mehr.

Oder böse gesagt - Nur weil ein Spiel eine einfach zu bedienende Benchmarkfunktion eingebaut hat bedeutet das nicht, dass ein Gamer das Spiel über Jahre hinweg auch spielt. ;)
na ja, mag sein dass in DIESEM Monat ein Indy6 oder DTM Race Driver öfters gespielt wird als ein Quake3 oder SeriousSam...doch wie sieht das in 30 Tagen aus.
Gerade Quake3 und SeSam sind zum einen Multiplayerspiele welche über einen sehr langen Zeitraum gespielt werden, und zum andern gehören deren Engines zu den Teilen welche weiterlizenziert werden....also zur weiteren Verbeitung beitragen und immer wieder aktuell werden.

Aber die verwendung von eigenen Timedemos wäre sicher sehr zu begrüssen, zumal dies in z.B. Quake3 und SeSam sehr einfach zu bewerkstelligen ist.

[ram]

Original geschrieben von Birdman
Gerade Quake3 und SeSam sind zum einen Multiplayerspiele welche über einen sehr langen Zeitraum gespielt werden, und zum andern gehören deren Engines zu den Teilen welche weiterlizenziert werden....also zur weiteren Verbeitung beitragen und immer wieder aktuell werden.


Das Argument mit den Eintagsfliegen in den Charts (Stichwort RTL Skispringen 2002?) kann man durchaus bringen. Aber wenn Serious Sam 2 oder Quake 3 tatsächlich so beliebte Dauerbrenner wären, würde sich sowas doch in diesen "Lesercharts" diverser Gamermagazine niederschlagen (z.B. http://www.gamestar.de/aktuell/lesercharts.php). Nur sehe ich da nix mehr von Q3A, UT2003 oder Serious Sam 2.

Counterstrike scheint aber z.B. ein Game zu sein, welches öfters über einen längeren Zeitraum gespielt wird.

[Andre]

Original geschrieben von aths
Zum Beispiel ungefähr so, wie Nvidia auf den 3DM03 "optimiert" hat.

Ich kenne kein Spiel namens 3DM03.

[Andre]

Hi ram,

"Jetzt gehst du gleich ins Extreme. Gegen ein sanftes Update des Benchmarkbouquets nach einem Quartal spricht nun wirklich nichts. Wegen neuen Treibern sollte man eh nachbenchen."

Die extreme Darstellung war bewusst.
Dennoch ist es doch so, dass viele Reviewer kaum Zeit von den Herstellern bekommen, vernünftig zu benchen.
Wenn dann noch solche (ich sage es nochmal _berechtige_) Forderungen aufkommen, dann kann das IMHO nur in die Hose gehen.

"Aber genau dieses U2 benchmarkt aber fast niemand. Und was ist mit CCG, DTM Race Driver, Praetorians, Indy 6? Aktuell in den Top 20, um Gegensatz zu Q3 und UT2003. IL2 ist übrigens eines der am besten bewerteten Games und war auch schon in den deutschen Top 20, also sicher kein Verkaufsflopp wie das früher oft gebenchmarkte Evolva."

Das mit Evolva hab ich auch nich gerafft.
Anyway, auch hier gebe ich dir Recht, dass Abwechslung sicher eine gute Sache wäre. Man sollte nur unterscheiden, wie dauerhaft sich games durchsetzen - Q3 hat heute (nach nunmehr 5 !!! Jahren) immer noch ein riesige Fangemeinschaft; und es ist leicht zu benchen.
Das nur als Beispiel.
Dann müsstest du auch im gleichen Zug fordern, dass die Gameentwickler ein vernünftig zu bedienende Benchfunktion einbauen - und nicht solche Krüppel-Benches wie man oft sieht.

"Tun sie das? Ist Serious Sam 2 heutzutage wirklich ein so oft gespieltes Spiel? Oder Aquanox? Oder Quake3? Ich spiele das Zeugs seit Monaten nicht mehr."

Nimm mal die Zahl der Games mit einer Q3-Engine, wenn auch modifiziert, und die mit einer IL2, Prätorians- oder Indy6-Engine.
Da stehts 20:0 für Q3.
Ich kann von einer sehr guten Q3-leistung auf etliche Titel rückschließen, dass kann ich bei den anderen nicht.
Das ist ja auch der Grund, warum heute immer noch Q3 gebencht wird - weil immer noch Toptitel mit der Engine erscheinen.
Ich vermute, wenn IL2 mal nicht mehr gezockt wird, dann ist auch die Engine platt.
Und das meine ich mit Langlebigkeit.

"Oder böse gesagt - Nur weil ein Spiel eine einfach zu bedienende Benchmarkfunktion eingebaut hat bedeutet das nicht, dass ein Gamer das Spiel über Jahre hinweg auch spielt. ;)"

Ich denke, dass habe ich bereits oben erläutert.

[StefanV]

Original geschrieben von ram
Bei synthetischen Benches meinst du? Open Source wär ne Alternative zu nicht frei verfügbar (=nicht verifizierbar). Man ändere den Code oder den Shader minim, und schon schlägt die Erkennung wieder fehl.

Ja, bei Synthetischen Benchmarks...

Open Source wäre auch 'ne Möglichkeit, nur müsste dann der Reviewer den Code vorm Benchmarken ändern (lassen), der Nachteil ist ja auch bei Open Source, daß die Hersteller diese Benches im Quellcode haben und entsprechend optimieren könnten...

Mein Gedanke war eigentlich, daß irgendwer einen Benchmark schreibt, der möglichst fordernd ist und ein aktuelles bzw zukünftiges Szenario darstellt, das ganze kann man ja beschränkt verfügbar machen (also unter vertrauenswürdigen Redakteuren weiterreichen + vertrauenswürdiger (Beta) Tester Kreis)...

[Andre]

Original geschrieben von Stefan Payne
(also unter vertrauenswürdigen Redakteuren weiterreichen + vertrauenswürdiger (Beta) Tester Kreis)...

:rofl:

Das Wort "Leak" sagt dir was?

[StefanV]

Original geschrieben von Andre
:rofl:

Das Wort "Leak" sagt dir was?

Das Wort Digitale Signatur sagt dir was, oder?? *eg*
Man müsste es nur entsprechend in das Programm einarbeiten...

[ram]

Nimm mal die Zahl der Games mit einer Q3-Engine, wenn auch modifiziert, und die mit einer IL2, Prätorians- oder Indy6-Engine.
Da stehts 20:0 für Q3. Ich kann von einer sehr guten Q3-leistung auf etliche Titel rückschließen, dass kann ich bei den anderen nicht.
Das ist ja auch der Grund, warum heute immer noch Q3 gebencht wird - weil immer noch Toptitel mit der Engine erscheinen.

Die Punkte die du zuvor genannt hast [Multiplayer, Fangemeinde] erfüllen z.B. IL2 und CCG durchaus ebenfalls. Was die Mehrfachverwendung von Engiens angeht: Die Serious Engine kommt AFAIK bisher auch nur in zwei Games vor, genauso wie jene von IL2. Und ich kann mir gut vorstellen, dass Codemasters die Engine von DTM Race Driver in mehreren Spielen nutzt (Colin McRae Rally und/oder Indycar). Hat da jemand Details?

Eine modifizierte Q3-Engine zu benchen ist grundsätzlich schon ok, aber eben nicht mit dem mitgelieferten Timedemo und schon gar nicht in der Uralt-Version von Quake 3 Arena mit den an einer Hand abzählbaren hochauflösenden Texturen und dem standardmässig deaktivierten Stencil Shadowing. Dito für die Unreal Engine.

[Richthofen]

ist doch ganz einfach.

synthetische Benchmarks einmotten, Spiele benchen und zwar auch abseits der Standardgames und bei den allgemein bekannten Gamebenchmarks vor jedem Review eine neue Timedemo recorden. Das erschwert zwar den Vergleich mit uralten Grakas aber den braucht man eh kaum. Was interessiert mich wie die FX5900Ultra gegen eine GF3 performt. Sie wird schneller sein, mehr muss ich nicht wissen.
Also immer innerhalb einer Generation schön neue Timedemos vor jedem Big Review machen.
Dann können die auch nicht rumcheaten durch Timedemoerkennung.

[StefanV]

Original geschrieben von Richthofen
Was interessiert mich wie die FX5900Ultra gegen eine GF3 performt. Sie wird schneller sein, mehr muss ich nicht wissen.
Also immer innerhalb einer Generation schön neue Timedemos vor jedem Big Review machen.
Dann können die auch nicht rumcheaten durch Timedemoerkennung.

Dich interessierts nicht, mich, als GF3 User, hingegen schon, bei anderen GF3 Usern dürfte das ähnlich sein...

Denn mich interessierts, um wieviel die neuen Karten schneller als meine GF3 sind...

[Gast]

Tja... ähhh...peinlich...

Also hier mein richtiger Beitrag:

Andre;

wo ist bitte der Unterschied zwischen einem Quake3 Timedemo und einem 3DMark03 Timedemo. Beide laufen "auf Schienen" beide können mit ganz einfachen Mitteln vom Treiber erkannt werden (wie die bisher von vielen IHV's bekannt gewordenen Cheats zeigen). Warum sollte also ein IHV sich bei einem Quake3 Timedemo zurückhalten und nicht cheaten? Nur weil man das ganze auch spielen kann? Finde ich etwas kurzsichtig.

Um Cheaten so schwer wie möglich zu machen, sollte jede Review-Site einen bestimmten nicht öffentlich zugänglichen Satz an eigens kreierten Timedemo's parat halten oder aber viele Sites tun sich zusammen und ändern dafür die Timedemo's so alle 3 Monate ab.

Außerdem ist es wirklich besser sich an den Top20 zu orientieren und nicht an so alten (schon längst vergessenen ;) ) Spielen wie Quake3 oder auch SS2.

In Summe : Die Vorschläge vom ram sind sehr gut. Wenn du die Mehrarbeit fürchtest, tja Pech gehabt. Die Einfachen Zeiten ala Timedemo 1-2-3 sind durch die (etwas zu offensichtlichen) Cheats von Nvidia nun ja leider vorbei.

[seahawk]

Bei Quake 3 kann ich aber bei Verdacht ein anderes Demo laufen lassen. Oder einfach das Spiel mal spielen.

Ist eine Grafikarte nur im Demo schnell, aber im realen Spiel langsamer, dann wird das wohl in jedem vernünftigen Review auffallen.

Wobei mir nicht klar ist, wie man ein Timedemo erkennen soll.

[LovesuckZ]

Original geschrieben von Gast
Außerdem ist es wirklich besser sich an den Top20 zu orientieren und nicht an so alten (schon längst vergessenen ;) ) Spielen wie Quake3 oder auch SS2.

Imo spielen heutzutage noch mehr Gamer Q3 als UT2003...


In Summe : Die Vorschläge vom ram sind sehr gut. Wenn du die Mehrarbeit fürchtest, tja Pech gehabt. Die Einfachen Zeiten ala Timedemo 1-2-3 sind durch die (etwas zu offensichtlichen) Cheats von Nvidia nun ja leider vorbei.

I dunno, wo nvidia in einer Spiele Timedemo cheatet. Wenn du mir eine zeigst, dann werde ich, falls ich das Game habe, es mal kontrollieren.
Ausserdem koennte man genauso sagen, dass es die Schuld von ATi sei, weil diese vor einem 3/4 jahr in Q3 gecheatet haben.

[ram]

[SIZE=1]Original geschrieben von seahawk
Ist eine Grafikarte nur im Demo schnell, aber im realen Spiel langsamer, dann wird das wohl in jedem vernünftigen Review auffallen.


Denke ich nicht, da ja schon die durchschnittlichen Frameraten zweier Timedemos desselben Spiels, ja desselben Levels, sehr unterschiedlich sein können.

[Keel]

Original geschrieben von Gast
Tja... ähhh...peinlich...

Warum sollte also ein IHV sich bei einem Quake3 Timedemo zurückhalten und nicht cheaten? Nur weil man das ganze auch spielen kann? Finde ich etwas kurzsichtig.

Warum sie nicht cheaten sollten? Weil sie es bei Q3 schlicht und ergreifend nicht im geringsten nötig haben?

Original geschrieben von Gast
Außerdem ist es wirklich besser sich an den Top20 zu orientieren und nicht an so alten (schon längst vergessenen ;) ) Spielen wie Quake3 oder auch SS2.

lol, das war ja wohl nichts. Q3 spielt ja überhaupt kein Mensch mehr, ne? ;D
Ich spiel ne Menge Games, kenne aber nichts was mit Q3 auch nur ansatzweise zu vergleichen wäre, am geringsten UT2k3 ;)

[StefanV]

Original geschrieben von Keel
Warum sie nicht cheaten sollten? Weil sie es bei Q3 schlicht und ergreifend nicht im geringsten nötig haben?
Hm, warum Cheaten??

Weil man es kann...

[Keel]

Original geschrieben von Stefan Payne
Hm, warum Cheaten??

Weil man es kann...

Um das Risiko einzugehen, dabei erwischt zu werden? Bei diesem 3dgemurkse macht das ja vielleicht noch Sinn, aber wohl kaum bei Q3.

[skampi]

So naiv wirst du doch nicht sein, oder?!

Ich bin mir ziemlich sicher, bei den Q3-Timedemos cheaten alle IHVs um die Wette.

[Richthofen]

hier es gibt wieder mal ein Update in Sachen Cheaten und Murks:

"
Futuremark Statement

For the first time in 6 months, as a result of Futuremark's White Paper on May 23rd, 2003, Futuremark and NVIDIA have had detailed discussions regarding NVIDIA GPUs and Futuremark's 3DMark03 benchmark.

Futuremark now has a deeper understanding of the situation and NVIDIA's optimization strategy. In the light of this, Futuremark now states that NVIDIA's driver design is an application specific optimization and not a cheat.

The world of 3D Graphics has changed dramatically with the latest generation of highly programmable GPUs. Much like the world of CPUs, each GPU has a different architecture and a unique optimal code path. For example, Futuremark's PCMark2002 has different CPU test compilations for AMD's AthlonXP and Intel's Pentium4 CPUs.

3DMark03 is designed as an un-optimized DirectX test and it provides performance comparisons accordingly. It does not contain manufacturer specific optimized code paths. Because all modifications that change the workload in 3DMark03 are forbidden, we were obliged to update the product to eliminate the effect of optimizations identified in different drivers so that 3DMark03 continued to produce comparable results.

However, recent developments in the graphics industry and game development suggest that a different approach for game performance benchmarking might be needed, where manufacturer-specific code path optimization is directly in the code source. Futuremark will consider whether this approach is needed in its future benchmarks.

NVIDIA Statement

NVIDIA works closely with developers to optimize games for GeForceFX. These optimizations (including shader optimizations) are the result of the co-development process. This is the approach NVIDIA would have preferred also for 3DMark03.

Joint NVIDIA-Futuremark Statement

Both NVIDIA and Futuremark want to define clear rules with the industry about how benchmarks should be developed and how they should be used. We believe that common rules will prevent these types of unfortunate situations moving forward.
"

[ow]

Original geschrieben von skampi
So naiv wirst du doch nicht sein, oder?!

Ich bin mir ziemlich sicher, bei den Q3-Timedemos cheaten alle IHVs um die Wette.


Ich wuerde drauf wetten, dass da niemand cheatet. Hab mehr als ein Dutzend timedemos auf mehrere Karten gebencht ohne irgendwelche Auffaelligkeiten.

[Demirug]

Original geschrieben von ow
Ich wuerde drauf wetten, dass da niemand cheatet. Hab mehr als ein Dutzend timedemos auf mehrere Karten gebencht ohne irgendwelche Auffaelligkeiten.

Ein guter Cheat ist ja einer den man nicht erkennt. ;) Erkennt man in doch ist es ja kein Cheat mehr sondern ein Bug (in der Cheatingroutine).

[ow]

Original geschrieben von Demirug
Ein guter Cheat ist ja einer den man nicht erkennt. ;) Erkennt man in doch ist es ja kein Cheat mehr sondern ein Bug (in der Cheatingroutine).


Ich wuesste nur nicht, wie sich denn eine timedemo von einer realen Spielszene unterscheidet. Ganz offensichtlich werden ja dieselben Funktionen zum rendern genutzt. Also scheidet eine Erkennung dieser Befehle (derart wie beim 3DM03 die Shader erkannt werden) aus.

[Demirug]

Original geschrieben von ow
Ich wuesste nur nicht, wie sich denn eine timedemo von einer realen Spielszene unterscheidet. Ganz offensichtlich werden ja dieselben Funktionen zum rendern genutzt. Also scheidet eine Erkennung dieser Befehle (derart wie beim 3DM03 die Shader erkannt werden) aus.

Es ist durchaus möglich eine Timedemo zu erkennen. Zum Beispiel an der Sequenz mit welcher eine bestimte Matrix (zB Projektion) sich ändert. Allerdings sollte man das ganze nicht nur an einer Sache festmachen weil sonst die Gefahr einer Fehlerkennung zu hoch wird. Zudem muss man auch nach dem erkennen weiterhin ständig prüfen ob man sich wirklich noch auf dem Rail befindet.

[ow]

Original geschrieben von Demirug
Es ist durchaus möglich eine Timedemo zu erkennen. Zum Beispiel an der Sequenz mit welcher eine bestimte Matrix (zB Projektion) sich ändert. Allerdings sollte man das ganze nicht nur an einer Sache festmachen weil sonst die Gefahr einer Fehlerkennung zu hoch wird. Zudem muss man auch nach dem erkennen weiterhin ständig prüfen ob man sich wirklich noch auf dem Rail befindet.


Und im ganzen halte ich den dafuer erforderlichen Aufwand des Cheatings fuer nicht vertretbar, so dass imo kein IHV so etwas tun wird.

[Andre]

Original geschrieben von ow
Und im ganzen halte ich den dafuer erforderlichen Aufwand des Cheatings fuer nicht vertretbar, so dass imo kein IHV so etwas tun wird.

Das wollte ich auch grade sagen.
Meint hier einer ernsthaft, dass die X Dollar und Manntage verschwenden, um in _einem_ Bench vorne zu liegen?
Ich verstehe ja, dass hier manche alles schwarzmalen, aber ein bischen Realitätsnähe tut keinem weh.

[Andre]

Hallo Gast,

"Warum sollte also ein IHV sich bei einem Quake3 Timedemo zurückhalten und nicht cheaten? Nur weil man das ganze auch spielen kann? Finde ich etwas kurzsichtig."

Und ich find ehrlich gesagt ziemlich lächerlich anzunehmen, dass fast jeder IHV bei fast jedem Benchmark und Timedemo cheatet.
Die haben auch nochwas anderes zu tun.

"Um Cheaten so schwer wie möglich zu machen, sollte jede Review-Site einen bestimmten nicht öffentlich zugänglichen Satz an eigens kreierten Timedemo's parat halten oder aber viele Sites tun sich zusammen und ändern dafür die Timedemo's so alle 3 Monate ab."

Genau. Und diese Timedemos werden bestimmt nieee an den IHV gehen.
Klar, nur etwas kurzsichtig.

"Außerdem ist es wirklich besser sich an den Top20 zu orientieren und nicht an so alten (schon längst vergessenen ;) ) Spielen wie Quake3 oder auch SS2."

Nochmal:
Also auch Knight Rider benchen (war auch in den Top 20)?
Kann nicht dein Ernst sein. Es geht um dauerhafte Toptitel.

"Wenn du die Mehrarbeit fürchtest, tja Pech gehabt. Die Einfachen Zeiten ala Timedemo 1-2-3 sind durch die (etwas zu offensichtlichen) Cheats von Nvidia nun ja leider vorbei."

Ich fürchte gar nichts. Ich sage dir nur, dass das zu einem Review Chaos führen wird, ob du das jetzt willst oder nicht. Die Vergleichbarkeit ist im Eimer und es werden keine Auffälligkeiten mehr festgestellt werden können - wie auch, wenn fast jeder andere Timedemos nutzt.
Und warum angeblich wieder NV den Cheat-Schuh angezogen bekommt, bleibt mir wie immer schleierhaft.

[Demirug]

Original geschrieben von Andre
Das wollte ich auch grade sagen.
Meint hier einer ernsthaft, dass die X Dollar und Manntage verschwenden, um in _einem_ Bench vorne zu liegen?
Ich verstehe ja, dass hier manche alles schwarzmalen, aber ein bischen Realitätsnähe tut keinem weh.

Bei Q3 hätte sich das inzwischen wohl schon gelohnt.

Aber der schlaue Treiberprogrammier hat ja sein CCK (Cheat Construction Kit). :D

Gerade das schreiben der Erkennungsroutinen läst sich durchaus automatisieren. Und für das herausfinden welche Teile der Arbeit eigentlich eingespart werden können hat man sowieso Tools.

EDIT: Das soll jetzt aber nicht heissen das dies auch alles wirklich gemacht wird aber für ein gutes Team sind die technologischen Probleme bei nicht so gross.

[Salvee]

Original geschrieben von Andre
Das wollte ich auch grade sagen.
Meint hier einer ernsthaft, dass die X Dollar und Manntage verschwenden, um in _einem_ Bench vorne zu liegen?
Ich verstehe ja, dass hier manche alles schwarzmalen, aber ein bischen Realitätsnähe tut keinem weh.

Wieso verschwenden? Verschwenden bedeutet m.E., dass man als IHV keine Gegenleistung für Benchmarksiege erhält.
Die Ergebnisse in den eingebürgerten Benchmarks sind imo eines der (wenn nicht sogar das) wichtigste Marketingsinstrument, genauso wie Fernsehwerbung, Bannerwerbung oder Anzeigenschaltung, die ja auch X Dollar und Mannstunden kosten (wenn auch nicht die Treiberabteilung).
Wieso du die Beschränkung auf einen Benchmark zur Untermauerung deiner These einbringst, verstehe ich nicht.

[ram]

Original geschrieben von Andre
Meint hier einer ernsthaft, dass die X Dollar und Manntage verschwenden, um in _einem_ Bench vorne zu liegen?

3D Mark ist auch nur "ein Bench", und trotzdem werden einige der vielen Dollars dafür investiert, Ablaufserkennungen, Shader-Datenbanken und ablaufspezifische Clipplanes zu implementieren. Ausserdem erhält man eine Gegenleistung in Form von höheren Benchmarkwerten in praktisch allen Reviews. Das ist also "gut investiertes Geld". Bei Firmen dieser Grössenordnung (>1 Milliarde Umsatz) spielt es doch sowieso keine Rolle, ob sie einen oder zwei Treiberentwickler (0.2 Mio USD / Jahr?) an Benchmarkoptimierungen arbeiten lassen, meinst du nicht? Und bei einer Softwarecrew von mehreren Hundert Leuten wird darunter wohl kaum die restliche Entwicklung leiden.

[Gast]

Original geschrieben von Andre
Das wollte ich auch grade sagen.
Meint hier einer ernsthaft, dass die X Dollar und Manntage verschwenden, um in _einem_ Bench vorne zu liegen?
Ich verstehe ja, dass hier manche alles schwarzmalen, aber ein bischen Realitätsnähe tut keinem weh.

hi Andre;

aber gerade bei Quake3 hat/hätte es sich doch ( zusammen mit 3DMark01 ) bis vor einem 3/4 Jahr am meisten gelohnt zu cheaten. Schau dir doch einmal alle Reviews an, in welchem wurde Quake3 nicht gebencht? Keines, zumindest keines das ich kenne. Der "Return of Investment" wäre also extrem hoch gewesen, da man dann alle Reviews dominiert hätte (bei vielen Reviews, die sich nur auf 3DMark01 und Quake3 beschränkt haben wäre man sogar als Sieger hervorgegangen).

Es ist also genau anders herum, jeder IHV der bei Quake3 nicht gecheated hat, hat sein Geld schlecht investiert. Und im Geschäftsleben sind nun mal alle Tricks erlaubt.

[Andre]

Original geschrieben von Salvee
Wieso verschwenden? Verschwenden bedeutet m.E., dass man als IHV keine Gegenleistung für Benchmarksiege erhält.
Die Ergebnisse in den eingebürgerten Benchmarks sind imo eines der (wenn nicht sogar das) wichtigste Marketingsinstrument, genauso wie Fernsehwerbung, Bannerwerbung oder Anzeigenschaltung, die ja auch X Dollar und Mannstunden kosten (wenn auch nicht die Treiberabteilung).
Wieso du die Beschränkung auf einen Benchmark zur Untermauerung deiner These einbringst, verstehe ich nicht.

Je mehr Benches ich cheaten will, desto mehr Aufwand und Kosten muss ich aufbringen - und ich zweifle wirklich daran, dass das immer so easy geht und auch den gewünschten Erfolg bringt.

[Andre]

Original geschrieben von ram
3D Mark ist auch nur "ein Bench", und trotzdem werden einige der vielen Dollars dafür investiert, Ablaufserkennungen, Shader-Datenbanken und ablaufspezifische Clipplanes zu implementieren. Ausserdem erhält man eine Gegenleistung in Form von höheren Benchmarkwerten in praktisch allen Reviews. Das ist also "gut investiertes Geld". Bei Firmen dieser Grössenordnung (>1 Milliarde Umsatz) spielt es doch sowieso keine Rolle, ob sie einen oder zwei Treiberentwickler (0.2 Mio USD / Jahr?) an Benchmarkoptimierungen arbeiten lassen, meinst du nicht? Und bei einer Softwarecrew von mehreren Hundert Leuten wird darunter wohl kaum die restliche Entwicklung leiden.

Da gebe ich dir wiederum recht.
Ich wehre mich nur gegen die Ansicht, dass überall und zu jeder Zeit versucht wird zu cheaten - und natürlich soll NV wieder diese Lanze der Schande anführen.

[Andre]

Original geschrieben von Gast
hi Andre;

aber gerade bei Quake3 hat/hätte es sich doch ( zusammen mit 3DMark01 ) bis vor einem 3/4 Jahr am meisten gelohnt zu cheaten. Schau dir doch einmal alle Reviews an, in welchem wurde Quake3 nicht gebencht? Keines, zumindest keines das ich kenne. Der "Return of Investment" wäre also extrem hoch gewesen, da man dann alle Reviews dominiert hätte (bei vielen Reviews, die sich nur auf 3DMark01 und Quake3 beschränkt haben wäre man sogar als Sieger hervorgegangen).

Es ist also genau anders herum, jeder IHV der bei Quake3 nicht gecheated hat, hat sein Geld schlecht investiert. Und im Geschäftsleben sind nun mal alle Tricks erlaubt.

Auch korrekt und ist ja auch klar.
Eine Ausweitung der Benchmethoden und vor allem der gebenchten Spiele will ich doch gar nicht schlechtmachen - im Gegenteil.
Aber eigene Benchprogramme entwickeln (Kosten) und jedesmal neue Timedemos produzieren von 20 Games (Zeit) erscheint mir zwar ein frommer Wunsch, aber doch ziemlich weit weg von irgendeiner Umsetzbarkeit zu sein.

[mapel110]

Original geschrieben von Andre
Da gebe ich dir wiederum recht.
Ich wehre mich nur gegen die Ansicht, dass überall und zu jeder Zeit versucht wird zu cheaten - und natürlich soll NV wieder diese Lanze der Schande anführen.

tjo, die haben nunmal die besten treiber-coder, auch wenn sie in diesem frühling wohl noch nicht so ganz fit sind ;)

[Demirug]

Andre, es wird wohl dort am meisten "optimiert" wo es sich auch am meisten lohnt. Je besser die Engine ist desto weniger kann man da noch nachhelfen. Ist die Engine misserable aber viele meine damit doch benchen zu müssen wird eben nachgeholfen. Dabei müssen das aber nicht zwangsläufig "timedemo cheats" sein sondern da gehören sicherlich auch Optimierungen dazu von denen ein Spiel ganz allgemein profitiert.

Was den Aufwand angeht so düfte die IHVs inzwischen recht gut die standard fehler der Entwickler kennen und schon entsprechenden Gegenmassnahmen im Treiber haben die dann selektiv einfach eingeschaltet werden können.

IMHO geben sich die IHVs da alle nicht viel.

[Andre]

Original geschrieben von Demirug
IMHO geben sich die IHVs da alle nicht viel.

Danke.

[aths]

Original geschrieben von Andre
Da gebe ich dir wiederum recht.
Ich wehre mich nur gegen die Ansicht, dass überall und zu jeder Zeit versucht wird zu cheaten - und natürlich soll NV wieder diese Lanze der Schande anführen. Davon ist imo auszugehen, schon weil sie das meiste Geld und die fähigsten Cheat-Leute haben (siehe 3DMark.)

[aths]

Original geschrieben von Andre
Aber eigene Benchprogramme entwickeln (Kosten) und jedesmal neue Timedemos produzieren von 20 Games (Zeit) erscheint mir zwar ein frommer Wunsch, aber doch ziemlich weit weg von irgendeiner Umsetzbarkeit zu sein. Wenn ich mich recht entsinne, benchte Leo Quake3 mit einer eigenen Timedemo, und ansonsten versucht er, über den bekannten Bench-Einierlei hinaus zu gehen, und 3DMark-Benches in einem Review habe ich bei Leo noch gar nicht gesehen.

Das sind imo alles Schritte auf dem richtigen Weg. Leo zeigt, dass es geht. PCWelt & Co. zeigen hingegen, wie man ein wertloses Review schreibt. Leider sind die wertlosen Reviews die Masse, weil sie sehr überschaubare Dinge benchen. Hier was gedreht, das zahlt sich -zigfach aus.

[Exxtreme]

Andre,

du als Gamer würdest wohl die GraKa kaufen, die am schnellsten ist bei vergleichbarer BQ... oder nicht? Die IHVs versuchen nun in den meistgebenchten Spielen halt sehr gut auszusehen. Und da sich die Reviewer meist eh' nicht die Mühe machen eigene Timedemos zu erstellen und lieber die Standard-Timedemos nehmen, liegt es nahe, daß man versucht dort eben gut auszusehen.

[Birdman]

wieso reden hier eigentlich alle von Cheats wenn es um Quake3 geht?
Nur weil dieses Game bei jeder neueren treiberversion wieder ein paar % schneller wurde?
Sowas ist doch hirnrissig wenn man dies als Beweis für einen Cheat anschaut.

Ich selber spiele Quake3 seit seinem erscheinen...also schon über 3 Jahre und habe ehrlich gesagt noch immer die genau gleiche Bildqualität wie am Anfang - nur mittlerweile bei deutlich mehr FPS. (und nicht nur FPS dank mehr Rohpower auf der Graka, sondern auch sehr viel Treiberarbeit)
Und so lange es keine Einbussen in der BQ gibt, können die IHV's optimieren soviel sie wollen und wie sie es wollen.

[Exxtreme]

Original geschrieben von Birdman

Ich selber spiele Quake3 seit seinem erscheinen...also schon über 3 Jahre und habe ehrlich gesagt noch immer die genau gleiche Bildqualität wie am Anfang - nur mittlerweile bei deutlich mehr FPS. (und nicht nur FPS dank mehr Rohpower auf der Graka, sondern auch sehr viel Treiberarbeit)
Und so lange es keine Einbussen in der BQ gibt, können die IHV's optimieren soviel sie wollen und wie sie es wollen.
Bitte genau lesen. :)

Mir ging es um die "Optimierung" von Timedemos.

[ow]

Original geschrieben von aths
Davon ist imo auszugehen, schon weil sie das meiste Geld und die fähigsten Cheat-Leute haben (siehe 3DMark.)


Davon ist imo nicht auszugehen, weil NV Hardware seit jeher die leistungsfaehigste HW ist und deshalb gar keine Cheats noetig haben.

[Andre]

Original geschrieben von aths
Davon ist imo auszugehen, schon weil sie das meiste Geld und die fähigsten Cheat-Leute haben (siehe 3DMark.)

ATI hat ja beweisen, dass sie ebenso fähige Cheat-Progger haben.
Nur das interssiert ja manche hier anscheinend nicht.

[Andre]

Original geschrieben von aths
Wenn ich mich recht entsinne, benchte Leo Quake3 mit einer eigenen Timedemo, und ansonsten versucht er, über den bekannten Bench-Einierlei hinaus zu gehen, und 3DMark-Benches in einem Review habe ich bei Leo noch gar nicht gesehen.

Das sind imo alles Schritte auf dem richtigen Weg. Leo zeigt, dass es geht. PCWelt & Co. zeigen hingegen, wie man ein wertloses Review schreibt. Leider sind die wertlosen Reviews die Masse, weil sie sehr überschaubare Dinge benchen. Hier was gedreht, das zahlt sich -zigfach aus.

Leo befindet sich in einer anderen Situation.
Oder meinst du, die Reviewer bewegen sich in einem ökonomisch luftleeren Raum ohne Deadlines?
Die haben oftmals keine Zeit, aths.
Das ist die Realität in einer globalen, wirtschaftlsabhängigen Welt.
Der Rest ist Wunschdenken.

[Andre]

Original geschrieben von Exxtreme
Andre,

du als Gamer würdest wohl die GraKa kaufen, die am schnellsten ist bei vergleichbarer BQ... oder nicht? Die IHVs versuchen nun in den meistgebenchten Spielen halt sehr gut auszusehen. Und da sich die Reviewer meist eh' nicht die Mühe machen eigene Timedemos zu erstellen und lieber die Standard-Timedemos nehmen, liegt es nahe, daß man versucht dort eben gut auszusehen.

Also mir gehts hier langsam aber sicher die Ansicht auf den Keks, dass die Reviewer faule Säcke sind.
Ich möchte mal einen hier sehen, der bei den gültigen Deadlines und bei wirtschaftlicher Abhängigkeit, die Zeit hat, ein 60-Seiten-Review mit 2568906 Timedemos (natürlich bei jedem Test andere) zu machen.
Die Reviewer stehen in Konkurrenz und es geht schlicht um Bares.
Das hier manche den sozialen Engel auf der Schulter haben, fein, aber bitte mal ab und zu in die Welt schauen.

[ow]

Original geschrieben von Exxtreme
Andre,

du als Gamer würdest wohl die GraKa kaufen, die am schnellsten ist bei vergleichbarer BQ... oder nicht? Die IHVs versuchen nun in den meistgebenchten Spielen halt sehr gut auszusehen. Und da sich die Reviewer meist eh' nicht die Mühe machen eigene Timedemos zu erstellen und lieber die Standard-Timedemos nehmen, liegt es nahe, daß man versucht dort eben gut auszusehen.


Bei der Vielzahl an moeglichen timedemos macht es gar keinen Sinn auf spezielle timedemos zu optimieren.
Wenn, dann wird auf die Applikation als solche optimiert aber doch nicht auf irgendwelche festen Framesequenzen aka timedemos.

[seahawk]

Außerdem sollte so ein Cheat beim Spielen auffallen. Einfach den Framcounter laufen lassen und einen Level Unreal 2 zocken. Wenn das Ergebnis erheblich abweicht, dann sollte der Reviewer aufhorchen.

Wer als Reviewer nur die Timedemos durchjagt ohne auch mal im realen Spiell zu testen, der gehört sowieso geschlagen.

[Richthofen]

Original geschrieben von Andre
Also mir gehts hier langsam aber sicher die Ansicht auf den Keks, dass die Reviewer faule Säcke sind.
Ich möchte mal einen hier sehen, der bei den gültigen Deadlines und bei wirtschaftlicher Abhängigkeit, die Zeit hat, ein 60-Seiten-Review mit 2568906 Timedemos (natürlich bei jedem Test andere) zu machen.
Die Reviewer stehen in Konkurrenz und es geht schlicht um Bares.
Das hier manche den sozialen Engel auf der Schulter haben, fein, aber bitte mal ab und zu in die Welt schauen.

Full Ack und genauso sieht es aus.
Wir sind nicht bei wünsch dir was und das scheinen einige nicht so ganz gecheckt zu haben.

[ram]

Original geschrieben von Andre
Also mir gehts hier langsam aber sicher die Ansicht auf den Keks, dass die Reviewer faule Säcke sind.
Ich möchte mal einen hier sehen, der bei den gültigen Deadlines und bei wirtschaftlicher Abhängigkeit, die Zeit hat, ein 60-Seiten-Review mit 2568906 Timedemos (natürlich bei jedem Test andere) zu machen.
Die Reviewer stehen in Konkurrenz und es geht schlicht um Bares.
Das hier manche den sozialen Engel auf der Schulter haben, fein, aber bitte mal ab und zu in die Welt schauen.

Du solltest mit Exxtreme den Nick tauschen so wie du "argumentierst". ;)

Das Argument mit dem Zeitaufwand zieht nicht. Es gibt durchaus Reviewer, welche das verfügbare Zeitbudget bis zur Deadline nicht für Nullinformationsdurchläufe mit Codecreatures, Aquamark, Q3A oder 3D Mark verplempern. NVNews hat z.B. Benchmarks mit Enclave, AoM, Dungeon Siege, IL2, Morrowind, NFS6, Raven Shield, RTCW, STEF und WC III drin. Offenbar kann man in derselben Zeit bis zur Deadline sogar noch mehr Spiele benchmarken, wenn man auf die üblichen (zum Zeit sehr zeitaufwändigen 0815-Benchmarks) verzichtet.

[Andre]

Original geschrieben von ram
Du solltest mit Exxtreme den Nick tauschen so wie du "argumentierst". ;)

Das Argument mit dem Zeitaufwand zieht nicht. Es gibt durchaus Reviewer, welche das verfügbare Zeitbudget bis zur Deadline nicht für Nullinformationsdurchläufe mit Codecreatures, Aquamark, Q3A oder 3D Mark verplempern. NVNews hat z.B. Benchmarks mit Enclave, AoM, Dungeon Siege, IL2, Morrowind, NFS6, Raven Shield, RTCW, STEF und WC III drin. Offenbar kann man in derselben Zeit bis zur Deadline sogar noch mehr Spiele benchmarken, wenn man auf die üblichen (zum Zeit sehr zeitaufwändigen 0815-Benchmarks) verzichtet.

Och rämchen,

du wirst doch wohl verstanden haben, dass ich bewusst pauschalisiert habe, wie ja auch gerne ALLE Reviewer als faule Vollnullen dargestellt werden.
Mir ist schon klar, dass es geht, aber manchmal - wenn man die Karte nur für 2 Tage hat - eben nicht.
Und nein, ich wechsle meinen Nick nicht in "Superhero Actionstar" =)

[aths]

Original geschrieben von Andre
ATI hat ja beweisen, dass sie ebenso fähige Cheat-Progger haben.
Nur das interssiert ja manche hier anscheinend nicht. Doch, ich habe damals in einem extra erstellten Thread meine Enttäuschung über die Quake-Cheaterei geäußert.
Original geschrieben von Andre
Leo befindet sich in einer anderen Situation.
Oder meinst du, die Reviewer bewegen sich in einem ökonomisch luftleeren Raum ohne Deadlines?
Die haben oftmals keine Zeit, aths.
Das ist die Realität in einer globalen, wirtschaftlsabhängigen Welt.
Der Rest ist Wunschdenken. Die Reviewer wollen Leser anlocken mit dem Review. Dazu sollten sie sich bemühen, ein gutes Review zu erstellen. Wenn sie wirklich keine Zeit für einen vernünftigen Test haben, sollten sie dazu stehen und zugeben, dass ihr Test nicht viel taugt. Oder das bestmögliche draus machen, und nicht nur 3DM, Q3 und SeSam "benchen".

Nicht alles was Leo macht findet mein Applaus, so habe ich mich z.B. deutlich zu seinem Verfahren geäußert, 4x AA mit 4x AA zu vergleichen.

[skampi]

Original geschrieben von ow
Davon ist imo nicht auszugehen, weil NV Hardware seit jeher die leistungsfaehigste HW ist und deshalb gar keine Cheats noetig haben.

Du kannst das gerne so sehen ow, ich teile deine Meinung nicht uneingeschränkt. Die Leistungsfähigkeit eines Produktes wie einer Grafikkarte zeigt sich nunmal erst im Zusammenspiel von Hardware, Treiber und Applikation. Und da hat ich bisher mitunter den Eindruck, dass Nvidia es ganz gut beherrscht Schwächen in der Hardware durch "Fortschritte" auf den anderen Gebieten zu kompensieren/substituieren.

[skampi]

Achso, um es gleich vorwegzunehmen:

ATI hat das natürlich auch schon gemacht.:stareup:

[Quasar]

@aths:
Bezüglich der Modi, welche wir in unserem Benchmarks gegeneinander antreten lassen, müssen wir uns sowieso an die Festlegung des vorhergehenden Artikels halten: Unter Direct3D ATi 4x vs. nVidia 4xS und unter OpenGL ATi 4x vs. nVidia 4x.
Sooo schlimm ist's doch gar nicht. Immerhin 4xS-F(üllraten)SAA gegen gammakorrektes FSAA.

@topic:
Zu der "faule Reviewer" Geschichte kann ich eigentlich nur sagen, dass die Zeit, die man eine Karte hat, meist nicht das Problem darstellt, sondern vielmehr der wahnsinnig kurze Abstand, in dem neue Treiber rauskommen.
Wer liest schon heute noch gern ein Review, in dem ein Cat3.0 für die Radeons und ein Det30.82 für die GeForces benutzt würde, und wenn's nur als Referenzwert älterer Karten ist?

[aths]

FSAA-Diskussion geht hier weiter: http://www.forum-3dcenter.org/vbulletin/showthread.php?threadid=75003

[Exxtreme]

Original geschrieben von ram
Du solltest mit Exxtreme den Nick tauschen so wie du "argumentierst". ;)


Also das habe ich nicht kapiert... :|

Original geschrieben von Andre
Och rämchen,

du wirst doch wohl verstanden haben, dass ich bewusst pauschalisiert habe, wie ja auch gerne ALLE Reviewer als faule Vollnullen dargestellt werden.
Mir ist schon klar, dass es geht, aber manchmal - wenn man die Karte nur für 2 Tage hat - eben nicht.
Wo habe ich pauschaliert, daß ALLE Reviewer faule Vollnullen sind?

Frische Timedemos aufzunehmen ist normalerweise kein Problem. Die Reviewer machen ja nur Reviews wenn neue Karten eintrudeln. Leonidas hat sich auch lange, bevor er seine Reviews schrieb, mit Timedemos eingedeckt.

[Salvee]

Viele Reviewer SIND FAULE SÄCKE! Und wenn die nachfolgend näher zitierten nicht faul sein sollten, dann sind sie zumindest inkompetent, wobei ich nicht weiss, was schlimmer ist.

Was fällt bei diesem Benchmark auf?
http://www.anandtech.com/video/showdoc.html?i=1821&p=27

Oder bei diesem?
http://www.anandtech.com/video/showdoc.html?i=1821&p=25

Oder bei diesem?
http://www.anandtech.com/video/showdoc.html?i=1821&p=26

Hier mal ein 'postives' Beispiel, wo ein Review recht zügig verbessert wurde, nachdem man den Author auf seine offensichtlichen Fehler aufmerksam machte:
http://www.vr-zone.com/reviews/Triplex/9800Pro/page7.htm

Oder auch Borsti, der seine eigenen Benchmarks nicht kannte, aber immerhin nur wenige Tage :stareup: brauchte, um die Tabellen richtig zu beschriften:
http://www6.tomshardware.com/graphic/20030512/geforce_fx_5900-13.html

Also zieht das Zeitargument zumindest bei Anand (und mit Einschränkungen THG) nicht, denn bei Anand stehen jetzt schon seit Wochen offensichtlich falsche Werte.
Dabei ist zu beachten, dass wir hier nicht von irgendwelchen Popel-Sites sprechen, sondern von den wahrscheinlich meistgelesenen Hardware-Sites überhaupt.

So sieht die Realität aus, Andre, falls du es nicht wusstest.

[Andre]

Original geschrieben von Salvee
So sieht die Realität aus, Andre, falls du es nicht wusstest.

Dazu kann ich nur sagen:
Mach es besser.
Damit will ich die wirklich schlechten Reviewer nicht in Schutz nehmen, aber keiner hindert dich daran, es besser zu machen.
Dann gucken wir mal, ob das alles so easy ist.
Und ich glaube nicht, dass ich mir sagen lassen muss, was die Realität ist, Salvee.


/Anmerkung:
Eine Nicht-Korrektur offensichtlicher Fehler ist natürlich Müll.

[Salvee]

Original geschrieben von Andre
Dazu kann ich nur sagen:
Mach es besser.
Damit will ich die wirklich schlechten Reviewer nicht in Schutz nehmen, aber keiner hindert dich daran, es besser zu machen.
Dann gucken wir mal, ob das alles so easy ist.
Und ich glaube nicht, dass ich mir sagen lassen muss, was die Realität ist, Salvee.


/Anmerkung:
Eine Nicht-Korrektur offensichtlicher Fehler ist natürlich Müll.

Die Sache mit der Realität war natürlich nur eine Retourkutsche, da du mangelnde Kenntnis derselbigen ja vielen Postern hier unterstellst, damit aber imo daneben liegst.

Dir ist klar, dass etliche Reviewer mit diesen Benchmarks ihren Lebensunterhalt bestreiten (das Wort 'verdienen' passt nur bedingt)? Da kann man doch wohl zumindest bei Standardbenches zumindest Korrektheit der Messwerte erwarten. Meiner Meinung nach tragen diese Leute durch ihre Tätigkeit durchaus die Verantwortung für ihr Tun und Lassen.
Mein Job ist es nicht, es besser zu machen, und das Recht, auf teilweise grobe Unstimmigkeiten aufmerksam zu machen, lasse ich mir nicht nehmen.
Inwieweit ich es besser könnte, ändert nichts an meiner sachlich begründeten Kritik, ich bin nicht das Problem, und auch nicht die Lösung ;)

Edit: Leider leicht OT

Edit2: 3DChipset sieht die Sache genauso ;)

'Anandtech's Journalistic Integrity Questionable?

This was brought to my attention by a fellow viewer. It appears that the NV35 preview on Anandtech is seriously flawed and it hasn't been fixed at all. A lot of fingers are pointing that Anandtech results were given to them by nVidia. Anandtech has had some great reviews, but this one I didn't really know it was so errornous to the point that the results look taylored. With a web site that scores over 55 million hits can be this bad with their review and not fix it is just bad. What a dis-service to the viewers! Here is some clips of what this is about:


There has been like 5-6 threads started in their feedback forum regarding their NV35 preview. All of them have been deleted by their mods except this last one. Pay particular attention to what Anandtech’s own Editor has to say. It’s amazing that people like this actually write for Anandtech in the first place.

Their Quake3 performance numbers have been wrong for almost 4 weeks now, and there hasn’t been a single retraction…or a followup…or anything. These guys have been made aware of this issue, and the first thread that was posted after the preview was posted pointed all of this out. One of the other editors (Evan, I think) said that he was going to follow up on it…nothing ever happened, and the thread (like all the others) was destroyed by their mods.

Furthermore, their Splinter Cell analysis is totally wrong as well. They point the finger @ ATI’s drivers when, in fact, the issue with Antialiasing has been acknowledged by Ubi Soft themselves. In fact, they even _recommend_ that you disable it entirely (you can find that info. On Ubi Soft’s own website, and somebody put that quote in this thread).

And if that weren’t bad enough, look @ Beyond3D’s latest 5200 review. Guess what nVidia does when you enable AA in Splinter Cell? They completely disabled AA entirely. So, Anandtech’s performance numbers are completely bogus. The nVidia numbers do NOT enable Antialiasing at all, while ATI’s do (with a large performance drop, as well as those rendering errors). The more amazing thing about this whole story are the responses by Anandtech’s own writers…

Solomon - Is this what it has come down too? Sooner or later it's going to be extremely hard believing any review on the internet. I wouldn't have expected a site like this to have such a flawed review of any product. The sad thing about this is it has been brought up to the editors for awhile now with no change in anything. The Quake 3 scores are the most messed up I have ever seen. Anandtech has surely dropped from my recommendations for a site that has credible reviews. This is truly sad.

G'Rilla - Well, it is about time someone called Anandtech on this nonesense. I noticed the quality of the articles on that site taking a nose dive a year and a half or so ago. It seems that writing solid informative reviews has taken a backseat to pumping out the volume and pulling down the hits.

I cannot recall specifics right now but, I know I have e-mailed article authors at Anand several times in the past asking about oddities in articles. I have never received responses. Not once, not ever. I gave up reading their material about a year ago. It is sad, very sad, when folks loose sight if what it was they were all about in the beginning.