Patric Ojala (3DMark Producer) tut es schon wieder

[Demirug]

aus dem Beyond3D Forum (http://www.beyond3d.com/forum/viewtopic.php?t=7674)

We have never permitted 3DMark specific optimizations, and we still don't do that. Currently we are working with our development program members to form rules about what type of driver optimizations are permitted for 3DMark, and we are trying to get them published ASAP. I don't wan't to go into details until it's ready, but one thing is clear, benchmark identification and benchmark specific optimizations are not permitted.

I know the 45.23 dets were marketed as 'Futuremark approved'. The truth is that we studied the optimizations in those drivers and informed Nvidia of a number of such we were not pleased with.

Zum wiederholten mal muss ich mich fragen wer schützt FutureMark vor diesem Mann?

Der erste Absatz ist ja noch einigermassen in Ordnung aber dann der Kommentar zu den 45.23 Treibern von nVidia. Wie kann man nur so (Entschuldigung) blöd sein. Das ist doch wohl eine schöne Bankrott Erklärung. "Futuremark approved" sagt also überhaupt nichts darüber aus was ob ein Treiber den Vorstellungen von FutureMark entspricht sondern ist ein Aufdruck welchen man sich durch die Teilnahme am Beta-Programm erkaufen kann. Nicht das dies jetzt eine wirkliche Neuigkeit wäre aber an der Stelle von FutureMark hätte ich nicht auf diese Weise in einem öffentlichen Umfeld kommuniziert wie käuflich ich doch bin. Denn in diesem Fall muss man sich ja nun ganz klar fragen was man sich bei FutureMark noch so alles als IHV kaufen kann.

Ich kenne Patric Ojala ja nicht persönlich und er mag ja durchaus ein netter Kerl sein. Ich kenne aber Firmen da wäre er für das was er sich nun schon alles geleistet hat egen Geschäftsschädigung schon vor die Tür gesetzt worden.

[daflow]

Aber eins muss man Patric Ojala lassen, seine Aussagen haben durchaus einen gewissen Unterhaltungswert =). Vielleicht ist er in Wirklichkeit so eine Art Marketingag von Futuremark...

[Quasar]

Um's mal mit MMMs Wort zu sagen:
*DOH*

[nggalai]

LOL ;D

Patric hat echt schon fast einen Sonderartikel auf marketingblubber.ch verdient. Aua, aua, aua. Und ja, eigentlich ist er ein netter Kerl, aber Hilfe--nehmt dem den Internetanschluss weg.

93,
-Sascha.rb

[mapel110]

marketing und sätze wie "the truth is" schliessen sich ohnehin kategorisch aus :D

[Mr. Lolman]

Ich möchte wissen, was an Patrics Aussage so schlimm ist?

Das man durch das Betaprogramm diverse Möglichkeiten serviert seine Treiber auf den Murks zu optimieren ist ja hinlänglich bekannt. Das NVidia anscheinend bei (fast) jedem neuerem Spiel kräftig Handanlegen muss, um in der Leistung konkurrenzfähig zu bleiben, ist genauso bekannt.

Insofern ist mir der erste Absatz, den Demirurg ja noch einigermassen in Ordnung fand, sogar sehr willkommen, da anscheinend (hoffentlich) abgewogen wird, welche Optimierungen auch in Spielen Verwendung finden können, um sie dann für den 3dmark zu legitimieren.

(Wie NVs unoptimierte DX8/9 Leistung aussieht, lässt sich ja anhand der ersten FX Treiber, und deren Leistung im Murks, schön darstellen. )


Beim 2. Absatz finde ichs wirklich bemerkenswert, dass FM anscheinend den Schneid hat, auch ihre Mitglieder im Betaprogramm blosdzustellen, wenn die sich nicht an die Regeln halten, und mit unlauteren Methoden Ergebnisse beschönigen. Schliesslich sind die Member im Betaprogramm eine wichtige Geldquelle, und gerade nach NVs Wiedereintritt ins Betaprogramm dachte ich, das es wohkl etwas ruhiger um NV und deren Cheaten im 3dmark wird.

Durch welchen Pfusch der 45.23 Futuremark approved wurde, möchte ich ja garnicht wissen, ausserdem geht nirgendwo hervor das FM den 45.23 wissentlich der unlauteren Optimjierungen abgesegnet hat. Vielleicht kam das ja erst später ans Licht??

Klar gut für FMs Credibility ists nicht. Aber was wäre, wenn man den Mund gehalten hätte, und irgendeine Online Seite hätte die Cheats im 45.23 aufgedeckt...

[Quasar]

Öhm,
dass der 45.23 'cheatfrei' nach der ursprünglichen Definition von FM war, hat doch wohl keiner behauptet, oder?

Es wurde, IIRC, von allen Seiten lediglich behauptet, der Output erfolge nun ohne Qualitätsverminderung. Es war nie die Rede von nicht-angepassten Shadern.

[Demirug]

Mr. Lolman, ich kann nicht auf etwas "approved" schreiben das ich nicht nach einem entsprechenden Verfahren getestet haben wenn das "approved" wirklich ernst gemeint ist. Futuremark selbst behauptet öffentlich das sie entsprechenden Tools haben um Treibercheats zu entdecken:

Futuremark has prepared a second patch for 3DMark03, Build 330, where these preventative changes are implemented. We hope this will encourage the whole industry to release drivers that render the tests as 3DMark03 intends them to be rendered, and which produce results that can be fairly compared to those obtained with other hardware. It is possible that new drivers that cheat also in the new 3DMark03 build may be released in the future. We sincerely hope this will not happen. We strive to provide all BETA program members with robust tools to detect such situations.

Das heist also das entweder die Tools doch nicht so robust sind wie man behauptet hat oder man schlicht und ergreifend überhaupt nichts geprüft hat. In beiden Fällen hat FM nun wieder den schwarzen Peter.

Ob sie zu dem Zeitpunkt wussten ob nun "Optimierungen" enthalten sind oder nicht ist unwesentlich geworden da man ja nun die Kenntniss bestätigt hat und es keinerlei offizielle Reaktion von FM aufgrund dieser "neuen" Erkenntniss gegeben hat. So entsteht nun ganz klar der Eindruck das man entweder machtloss ist oder die Sache bewusst ignoriert hat. Das sie nicht Machtloss sind haben sie ja schon gezeigt.

Wir erinnern uns:

Es werden "Cheats" bei einem nicht Betameber entdeckt -> Es gibt eine öffentliche Abrechnung die genau erklärt wie gecheatet wurde und einen Patch der es verhindern soll.

Es werden "Cheats" bei einem Betameber entdeckt -> nichts passiert.

Und was lernen wir daraus?

Wer zahlt hat recht.

[Crushinator]

Original geschrieben von Demirug
(...)
Ich kenne Patric Ojala ja nicht persönlich und er mag ja durchaus ein netter Kerl sein. Ich kenne aber Firmen da wäre er für das was er sich nun schon alles geleistet hat egen Geschäftsschädigung schon vor die Tür gesetzt worden. Du scheinst Dir aber sehr sicher zu sein, daß er geschäftsschädigend handelt, ich bin's mir jedoch nicht.

[ow]

Original geschrieben von crushinator
Du scheinst Dir aber sehr sicher zu sein, daß er geschäftsschädigend handelt, ich bin's mir jedoch nicht.

Ich bin mir ebenfalls sicher, dass solche Aussagen nur geschäftssschädigend sein können.

[Crushinator]

Original geschrieben von Demirug
(...)
Es werden "Cheats" bei einem nicht Betameber entdeckt -> Es gibt eine öffentliche Abrechnung die genau erklärt wie gecheatet wurde und einen Patch der es verhindern soll.

Es werden "Cheats" bei einem Betameber entdeckt -> nichts passiert.

Naja, man kann es aber auch so sehen:

- Der Nicht Beta-Member hat auf einmal derart bei den Punkten zugelegt, daß man in Erklärungsnot geraten ist, deshalb ist man dem ganzen im Detail nachgegangen, mit dem Ergebnis, daß der Nicht Beta-Member öffentlich an den Pranger gestellt wurde.

- Der Beta-Member flog bei dieser Überprüfung auch auf (wenn auch nicht so übertrieben) und wurde dafür genau so öffentlich gehängt.

[John Porno]

Original geschrieben von crushinator
Du scheinst Dir aber sehr sicher zu sein, daß er geschäftsschädigend handelt, ich bin's mir jedoch nicht.


Hi!

Sieht man ja an der Reaktion der Leute im Forum, ob es geschäftsschädigend ist oder nicht.

[Crushinator]

Original geschrieben von John Porno
Sieht man ja an der Reaktion der Leute im Forum, ob es geschäftsschädigend ist oder nicht. Ich bin der Meinung, daß wir erstens bis jetzt zu wenige sind, um anhand unserer Reaktion darauf zu schließen und zweitens, daß bisher nichts weltbewegendes von uns allen vorausgesagt wurde. ;)

Naja, wir werden's ja noch erfahren. Außerdem wurde der Murks schon vor diesem Statement (wegen den Optimierungen) kaum zu einem nennenswerten Vergleich in einem seriösen Review verwendet, wenn Du das meinst.

[Endorphine]

Original geschrieben von Quasar
Um's mal mit MMMs Wort zu sagen:
*DOH* Das schreibt man anders =) Siehe Screenshot aus Season 13 Episode 9 - "Jaws Wired Shut".

-> *D'OH!* *eg*

[Exxtreme]

Hmm, selbst R3D schreibt was dazu:
http://www.rage3d.com/articles/futuremark/

[Quasar]

Original geschrieben von Endorphine
Das schreibt man anders =) Siehe Screenshot aus Season 13 Episode 9 - "Jaws Wired Shut".

-> *D'OH!* *eg*

Verzeihung :massa:

edit:
Original geschrieben von Exxtreme
Hmm, selbst R3D schreibt was dazu:
http://www.rage3d.com/articles/futuremark/

Ja, sehr kontrovers zu lesen. IMHO merkt man, dass der Artikel auf Rage3D veröffentlicht wurde.

[Endorphine]

Original geschrieben von Exxtreme
Hmm, selbst R3D schreibt was dazu:
http://www.rage3d.com/articles/futuremark/

Interessanter Gedankengang. Wenn der Autor aber schon Vergleiche mit CPUs anstellt, warum erwähnt er dann nicht im selben Atemzug, dass CPUs mit SPEC_CPU vermessen werden und jeder Benchmarklauf bis zum geht-nicht-mehr via Compiler optimiert wird?

Diese Diskussion ist IMHO schon recht alt. Es läuft IMHO weniger auf die Frage hinaus, ob Futuremark den richtigen Weg einschlägt, sondern darauf, was man überhaupt wie messen möchte.

[Endorphine]

Original geschrieben von Quasar
Verzeihung :massa: ;)

[Crushinator]

Original geschrieben von Exxtreme
Hmm, selbst R3D schreibt was dazu: Hmmm, das bezieht sich aber auf die allgemeine Situation, daß FM den Fehler machte von ihrem urspünglichen Standpunkt - in Augen der Öffentlichkeit - abrückte, in dem Murks-Spezifische Optimierungen wieder erlaubt wurden. Ich bin mir allerdings noch nicht einmal bewußt, ob die im Link zittierte Aussage Ojalas ...
“Further discussions have shown that under some circumstances (that we're trying to define at the moment) shader replacements can be accepted." ... generell Murks-spezifische Optimierungen erlaubt. Für mich ergibt z.B. das Code-Replacement, was explizit Demi beim zukünftigen Deto 50 festgestellt hat, natürlich einen großen Sinn.

Anscheinend versteht "die Öffentlichkeit" solche Aussagen grundsätzlich nicht so, wie sie angedacht wurden. :D

[Quasar]

“Further discussions have shown that under some circumstances (that we're trying to define at the moment) shader replacements can be accepted."

... kann man aber noch etwas anders verstehen.

Man ist sich noch nicht über den Preis einig, den FM für das legalisieren der Optimierungen nimmt... *eg*

[Crushinator]

Original geschrieben von Quasar
... kann man aber noch etwas anders verstehen.
Man ist sich noch nicht über den Preis einig, den FM für das legalisieren der Optimierungen nimmt... *eg* Klar kann man das ihnen unterstellen, die Frage aber ist und bleibt, welchen Sinn dann ein solcher "Benchmark" überhaupt noch erfüllen sollte. Da ich nicht daran glaube, daß sich eine Firma selbst in die Egalität befördert, die als zahlende Kunden nicht nur nV oder ATi sondern Größen wie Dell & Co. (wogegen beide Peanuts sind) hat, teile ich Deine Ansicht vorerst nicht. =)

/edit: doppeltes "sich" entfernt.

[Keel]

Original geschrieben von crushinator
Klar kann man das ihnen unterstellen, die Frage aber ist und bleibt, welchen Sinn dann ein solcher "Benchmark" überhaupt noch erfüllen sollte. Da ich nicht daran glaube, daß sich eine Firma selbst in die Egalität befördert, die als zahlende Kunden nicht nur nV oder ATi sondern Größen wie Dell & Co. (wogegen beide Peanuts sind) hat, teile ich Deine Ansicht vorerst nicht. =)

/edit: doppeltes "sich" entfernt.

Hmm, wenn NV-HW gut in nem FM-Bench läuft, dann kriegt FM Geld und NV auch, weil sie mehr Karten verkaufen können. ATI hat da (leider) nicht genug mitzureden. Und NV brauch FM ja keineswegs plattmachen, wenn ihre Karten da gut performen. So kann sich NV über gute Ergebnisse im FM freuen und damit werben und FM kriegt Geld. FM wird also nicht in die Egalität befördert. Die werden sich wohl nicht gegenseitig anschwärzen, wenn beide mit der Situation zufrieden sind.
Ich sehe da also durchaus Sinn drin - auch wenn mir dieser nicht gefällt.

[Crushinator]

^^ Mir ist klar, daß man es so logisch erklären könnte. Was mir nicht klar ist, ob man tatsächlich glaubt, daß FM mit dieser Aktion in Zukunft überhaupt noch eine Daseinsberechtigung hätte. IMHO nicht!

if (KeineRelevanz || VertrauenVerspielt)
{
EgalObNVZahltOderNicht();
WegVomFenster();
}

[Demirug]

Und weiter gehts. Jetzt gibt Tero Sarkkinen im Rage3D Forum (http://www.rage3d.com/board/showthread.php?threadid=33709592&perpage=20&pagenumber=2) auch noch seinen Senf dazu:

I would like to address some concerns and correct some erroneous claims in the article and some posts here.

It seems that some have interpreted that we would allow 3DMark specific optimizations. This is not the case and we have not published anything like that. During all this time, 3DMark has not changed and its run-rules have not changed. It is very important for everyone to understand this.

We have been hard at work talking with _all_ key players in the industry to hear their point of view. This work has been time consuming and the issues are very complex and we have not wanted to comment on work in progress. We would like to apologize the time it has taken, but it has been time well spent and you will see the results soon.

We will publish clarifications and ground rules for our product usage on September 19th. I would like to ask everyone to sit tight and wait a little bit more :) One thing I can tell is, that we will not allow any 3DMark specific optimization or shader replacement. Drivers that fulfill these rules will produce neutral and comparable performance results.

Tero Sarkkinen, EVP Sales and Marketing, Futuremark

Ein schönes Beispiel von viel schreiben aber wenig sagen. Aber dafür wird er ja bezahlt.

Ich frage mich nur wie unter diesen Vorraussetzungen der 45.23 "approved" werden konnte?

[ShadowXX]

Aus dem Post von 'Tero Sarkkinen' spricht meiner Meinung nach die pure Angst, dass der 3DMurks noch weiter abgewertet wird, als er es jetzt schon ist....

Erstmal beschwichtigen...und versuchen zu 'reparieren' was zu 'reparieren' ist....

Und du hast recht Demi: Das steht sehr konträr zu anderen Handlungen und Aussagen von FM.

J.S.Shadow

[Asuka]

Offenbar haben sie jetzt das große Muffensausen bekommen und wollen die Leute erst mal vertrösten. Wer's glaubt...

[tEd]

...wenn Aquamark3 einen guten eindruck macht wird 3dmark von diesem wahrscheinlich bald abgelöst jedenfalls in grafikkarten reviews

Das vertrauen zu futuremark und 3dmark ist bei den meisten usern weg und es wird schwer sein für futurmark das vertrauen wieder zu gewinnen vorallem wenn alternativen nahe sind (aquamark3,shadermark2)

[Mr. Lolman]

Und jetzt muss man mal Überlegen, warum die Kunden FM nicht mehr trauen.

Richtig, weil einerseits der 3dmark03 von NV total diskreditiert wurde, und ihm eine Relevanz für die Einstufung der DX9 Karten für zukünftige Spiele abgesprochen wurde, nur um dann andererseits mit peinlichen Cheats, die Validät des Benchmarks zu untergraben.

Ich bin mir absolut sicher, dass in jedem wichtigeren Benchmark auf Teufel komm raus optimiert wird, und tw. ein Dreck darauf gegeben wird, ob diese Optimierungen auch nur ansatzweise in realen Spielsituationen zu tragen kommen können.



Der 3dmark war NIE ein ideales Mittel die Leistungsfähigkeit von GraKas in derzeitigen Spiele zu illustrieren. Er war jedoch immer ein ganz guter Indikator dafür, wie Spiele in 1-2 Jahren auf der getesten Graka performen werden.

Dass diesesmal ein furchtbarer Overdraw herhalten muss, finden viele Engine Programmierer/ Gamedesigner widersinnig. IMHO war der Overdraw nur eine Designentscheidung, um die Grafik auf Highendkarten möglichst schön ruckeln zu lassen, ohne mehr Zeit fürs Object/Scene Design aufwenden zu müssen. Dass die Grafik der Spiele in 1-2 Jahren um einiges besser sein wird, ändert IMHO nichts am wahrscheinlich ähnlichem Load

[MadManniMan]

Original geschrieben von Quasar
Um's mal mit MMMs Wort zu sagen:
*DOH*

*anschließ*

@FM und den Rest der Saubande da draußen:

:no:

...naja, wenigstens schaffen sie es, in Zeiten eines "drohenden" AM3-Releases in der Presse zu bleiben.
Ich halte es mit meinem Vertrauen in diesen Geschichtenkomplex wie mit dem in die ganze 11-9-Story: offizielle Informationen abgreifen, lachen, wahrhaft schlüssiges Kram erlesen, Schlüsse ziehen...