Brauchen wir neue Kenngrössen für theoretische Leistungsdaten?

[Demirug]

Am Anfang hatten wir die Pixelfillrate als Massstab aller Leistung. Dann kammen immer mehr Kenngrössen dazu und das Verhältniss zwischen den theoretischen Zahlen auf der Verpackung oder in den Listen auf diversen Webseiten/Printmedien und der tatsächlichen Spieleperformance wird seit dem immer undurchsichtiger. Das die angebenen Werte der Kenngrössen im grossen und ganzen richtig sind lässt sich ja mit der Hilfe von diversen Benchmarks nachweisen also kann es daran nicht liegen.

Es muss also an den Kenngrössen selbst liegen. Sind diese zu sehr vereinfacht das sie nicht mehr in der Lage sind die immensen Unterschiede in der Architektur der Chips zu berücksichtigen?

Ein paar einfache Beispiele:

Der R300 hat eine HSR-Pixelcullrate von 64 Pixel/Takt. Ein beachtlicher Wert. Damit müsste ein theoretischer Chip der zum Beispiel nur 32 Pixel/Takt verwerfen kann locker zu schlagen sein. Was tun wir aber wenn dem nicht der Fall ist un der zweite vermeintlich schwächere Chip bei HSR Lastigen Situationen immer gewinnt?

Zwei Chip mit jeweils 8 Pipelines und einer TMU/Pipe werden bei gleichem Takt und Bandbreite betrieben trotz gleicher Fillrate (welche sich auch mit einem syntischen Benchmark nachweisen läst) gewinnt immer der gleiche Chip in echten Spielen bei den die Fillrate als kritsch angesehen wird.

Die Beispiele sind natürlich durchaus etwas überspitzt aber im Ansatz sind genau diese Dinge zu beobachten.

Da die Werte natürlich ein Maximum darstellen sollte man dann nicht angeben unter welchen Umständen dieses maximum erreicht werden kann und welche Abweichungen von dieser Idealsituation zu welchen einbrüchen führen?

Natürlich wären dann die schönen einfachen Zahlen zerstört aber die Aussagekraft und Vergleichbarkeit zweifle ich hiermit ja sowieso an.

Leider werden die IHVs nicht gerade freiwillig solche Zahlen herausgeben weil man damit möglicherweise Rückschlüsse auf die Technologie ziehen könnte welche zwar patentiert aber noch nicht veröffentlicht wurde. Zum Beispiel sind von nVidia nicht einmal 25% der beantragten Patente öffentlich einzusehen.

Um es kurz zu machen: Ich hätte gerne keine einfachen Zahlenwerte mehr sondern lieber Graphen.

[Aqualon]

Original geschrieben von Demirug
Um es kurz zu machen: Ich hätte gerne keine einfachen Zahlenwerte mehr sondern lieber Graphen.

Wär bestimmt nicht schlecht. Nur leider verkauft sich über irgendwelche Graphen keine Hardware. Da protzt man dann lieber mit der Anzahl der Pipelines, mit Takt von GPU/RAM oder irgendwelchen Speicherdurchsätzen rum, auch wenn dies nur theoretische Werte sind, die in der Praxis nicht erreicht werden oder aufgrund anderer Probleme nicht ausgenutzt werden können.

Und da sich nichtmal die CPU-Hersteller auf nen gemeinsamen Bench-Standard einigen können, mit dem man direkt die Leistung vergleichen kann, wird das bei den Graka-Herstellern noch weniger der Fall sein. Die CPUs sind ja alle zumindest in den Grundzügen kompatibel, aber bei GPUs spielen einfach zuviele Faktoren rein, die man nur schlecht vergleichen kann.

Und einen Hersteller der freiwillig zugibt, dass in bestimmten Situationen die effektive Speicherbandbreite nur 10% der maximalen ist, weil etwas anderes total bremst, wird es wohl eh nie geben.

Aqua

[micki]

3dmark, da bekomsmt du den wert denn du haben willst, auch einzeln aufgelistet für verschiedene fälle

oder missverstehe ich dich?

MfG
micki

[ShadowXX]

@micki

da missverstehst du Demirug aber gewltig.
Der 3DMurks ist für solch eine Betrachtung überhaupt nicht zu gebrauchen.
Insgesamt wäre nur 'ein' bestimmter Benchmark der falsche weg. Die Grafikchiphersteller könnten sich zu gut darauf einschiessen und die Ergebnisse dadurch verfälschen (und das wollen wir ja gerade nicht...).

Von der Theorie her finde ich Demirugs Idee gut, wie aber schon erwähnt wird sich kein IHV darauf einlassen....


J.S.Shadow

[Demirug]

Original geschrieben von micki
3dmark, da bekomsmt du den wert denn du haben willst, auch einzeln aufgelistet für verschiedene fälle

oder missverstehe ich dich?

MfG
micki

Ja da haben wir uns missverstanden.

Im Bezug auf die Fillrate zum Beispiel hätte ich gernen Graphen welche das Verhältniss Anzahl Texturen, Dreiecksgrösse, Dreiecksausrichtung, ... zur Fillrate aufzeigen.

So wie man zum Beispiel bei einer Festplatte die Lese/Schreibgeschwindigkeit ja über die gesammte Platte misst und dann einen Graphen bekommt sollte man IMHO auch die Kenngrössen einer Grafikkarte über ein breites Band an möglichkeiten messen um dann zu schauen wie gleichmässig der Graph ist.

[Tigerchen]

Ob da Otto Normaluser was mit anfangen kann?
Und ob da am Ende nicht doch wieder gemogelt wird?
Das BÖSE,gepaart mit der Findigkeit der Menschen findet immer einen Weg!

[Demirug]

Das Mogeln wird man leider nie ganz abstellen können

Aber ich denke schon das ein Graph von den meisten noch verstanden wird. Man muss ja nicht unbedingt den technischen Hintergrund verstehen um zu sehen das eine Karten zum Beispiel höhere Peaks hat dafür aber auch viel stärker einbricht. Dürfte auf jeden Fall mehr Aussagen als nur zwei Spitzen werte miteiander zu vergleichen.

[Endorphine]

Das Problem dabei ist, dass das dann unweigerlich auf dreidimensionale Graphen hinauslaufen würde (hatte mir da vor einer Zeit schon mal Gedanken drüber gemacht), ja, optimal wären sogar noch mehr Dimensionen. Das kapiert dann aber kein Mensch mehr und die meisten werden Probleme mit der Interpretation haben.

Die IHVs wollen ja nur eins: verkaufen und Gewinn machen. Und das funktioniert mit der raw-power Methode (MHz, Mega/Gigabyte etc.) eben bestens.

Die Überlegung macht Sinn, aber es wird sich wohl kaum was ändern. Die einzige Möglichkeit sehe ich darin, einen Benchmark zu schreiben, der die Daten anschaulich visualisiert (dreh- und zoombar).

Edit: Das wäre doch mal was für den Archmark :) Ein Schaubild "Füllrate abhängig von Speichertakt/-bandbreite und GPU-Taktfrequenz" etc.

p.s. Kennt jemand ein Programm zur dreidimensionalen Visualisierung von beliebigen Datensätzen? Sowas suche ich schon lange. Sonst muss ich das irgendwann mal selbst schreiben...

[Ailuros]

Es muss also an den Kenngrössen selbst liegen. Sind diese zu sehr vereinfacht das sie nicht mehr in der Lage sind die immensen Unterschiede in der Architektur der Chips zu berücksichtigen?

Das oder IHV's verstecken klug ein paar wichtige Kleinigkeiten, auf die man nicht so schnell oder so leicht kommen kann, wobei man irgendwann mal getroffen raten kann was da mitspielen koennte.

Offensichtliches Beispiel das bekannt ist (keine Ahnung ob es getroffen ist):

R3xx hat laut Paper-specs einen hoeheren Farben-Kompressions ratio als NV3x. Normalerweise muesste dann MSAA bei R3xx besser abschlagen in Leistung, wobei aber NV mit dem "filter on scanout" Trick das ganze dann kompensiert.

Ich bezweifle jetzt schon dass Pipelines oder genauer Anzahl von Pipelines z.B. die gleiche Bedeutung haben wie frueher. Neue Definierungen werden sich schwer durchsetzen, neue Messungs-massnahmen waeren im guten Ganzen dann besser angebracht.

Aber wie schon erwaehnt IHV's geben ihre noch nicht patentierte Geheimnisse eigentlich nie nach aussen.

[zeckensack]

Original geschrieben von Aqualon
Und da sich nichtmal die CPU-Hersteller auf nen gemeinsamen Bench-Standard einigen können, mit dem man direkt die Leistung vergleichen kann, wird das bei den Graka-Herstellern noch weniger der Fall sein.Sie müssen sich auch garnicht einigen. Benchmarks können auch andere schreiben :naughty:

Original geschrieben von ShadowXX
Insgesamt wäre nur 'ein' bestimmter Benchmark der falsche weg. Die Grafikchiphersteller könnten sich zu gut darauf einschiessen und die Ergebnisse dadurch verfälschen (und das wollen wir ja gerade nicht...).Synthetische Benchmarks sind prinzipiell viel weniger anfällig für Beschiss. Deswegen würde ich vorschlagen, diesen Weg zu verfolgen ;)

archmark zB lässt sich nicht bescheissen, dort gibt es einfach nichts mehr wegzuoptimieren ...

[zeckensack]

Original geschrieben von Demirug
Das Mogeln wird man leider nie ganz abstellen können

Aber ich denke schon das ein Graph von den meisten noch verstanden wird. Man muss ja nicht unbedingt den technischen Hintergrund verstehen um zu sehen das eine Karten zum Beispiel höhere Peaks hat dafür aber auch viel stärker einbricht. Dürfte auf jeden Fall mehr Aussagen als nur zwei Spitzen werte miteiander zu vergleichen. Mir fällt da spontan Linpack ein, was ja quasi der Industrie-Standard ist, wenn man die Leistung von Supercomputern quantifizieren will. Auch dort gibt's nette Kurven :)

[Aqualon]

Original geschrieben von zeckensack
Sie müssen sich auch garnicht einigen. Benchmarks können auch andere schreiben :naughty:

archmark zB lässt sich nicht bescheissen, dort gibt es einfach nichts mehr wegzuoptimieren ...

Wo du es schon mal erwähnst :naughty:

Gibt es mittlerweile ne Version für Otto-Normal-User (also mich :D)?

Aqua

[Gast]

Ich hab mir auch mal so meine Gedanken gemacht:

Warum nicht EIN Benchmark für alle? Wünschenswert wäre das ja schon, wenn keiner cheaten würde, nicht wahr? Allerdings würd ich das Fell von der anderen Richtung abziehen:
Wer hat das wenigste Interesse an einem Fairen Benchmark? Die Grafikkartenhersteller.
Wer hat das größte Interesse an einem Fairen Benchmark? Die Spieler.
Und wer steht dazwischen? Die Spielehersteller!
Schließlich wollen die Ihre Spiele auch verkaufen. Wenn sich der Kunde aber an dem neuen Spiel nicht erfreuen kann (trotz Antialiasing sieht es kantig aus, die Texturen sind verwaschen, etc.) oder das SPiel zu ner Diashow wird, dann fragt er sich, woran es liegt. Hat er ne Karte im Rechner, die von einem (natürlich vom GraKa-Hersteller ausgetricksten) Benchmark über 50% besser ist als die Konkurrenz, so wird er den Programmierern zürnen und sich überlegen, ob er das nächste Spiel von ihnen kauft. Würde aber die Karte entlarvt werden, so wären die Hersteller der Spiele aus dem Schneider.

Was interessiert einen den wirklich bei der Grafikkartenperformace? Mir ist es total egal, ob meine Grafikkarte im DOS-Modus langsamer ist, als Savage3. Solange sie unter UT2003 und Unreal2 alle anderen Karten hinter sich läßt (Wenn ihr das auf eure Spiele münzt, dann solltet ihr mir doch zustimmen, oder? Also was tun?

Ich könnte mir einen (eventuell von Spieleherstellern gesponsorten) Benchmark vorstellen, der jedes Jahr neu rauskommt. Er enthält Sequenzen von allen wichtigen Spielen des Jahren, eventuell auch von Betaversionen. In den einzelnen Kategorien (Direct3D, OpenGL, QuakeIII-Engine etc.) gibt er dann eine Wertung aus und fasst diese dann eventuell noch gewichtet zu einer neuen MASSEINHEIT zusammen, eventuell "Dennis2003" ;) genannt. Natürlich gibt es nächstes Jahr dann "Dennis 2004".

Was für ein Problem könnte hier auftreten? Der Grafikkartenhersteller könnte seinen Treiber natürlich auf den Benchmark optimieren. Hier möchte ich zwei Szenarien unterscheiden:
1. Er optimiert ohne Bildqualitätsverluste: Das soll mir grade recht sein! Wenn der Benchmark alle tollen Spiele umfasst, und die Leistung wird darin verbessert, dann ist das doch spitze.
2. Die Bildqualität wird verschlechtert: Das ist natürlich zu verurteilen :) . Um dies zu verhindern, könnte man natürlich Bildqualitätsvergleiche einführen.
Man könnte mit einer alten, unoptimierten Grafikkarte oder dem entsprechend unoptimierten Treiber, ein Bild digitalisieren und dann pixel um pixel mit den neuen screenshots vergleichen. Weicht das Bild auch nur um ein Pixel vom Referenzbild ab, gibt es einen Punktabzug. Dieser könnte dann um so größer sein, je mher die Abweichung an dem Gesamtbild ausmacht.

Laßt euch das mal durch den Kopf gehen,

mfg Dennis

[aths]

Optimieren ohne BQ-Verlust ist in jedem Fall ok? Da sprechen imo mehrere Dinge dagegen:

- Das Einfügen neuer Clipplanes bringt bei fester Kamerafahrt keinen Verlust, ist aber Cheating.

- Durch Shader Replacement zu "optimieren" beschleunigt den Benchmark, man hat aber nicht die Sicherheit, dass auf das neu gekaufte Spiel (ebenso gut) "optimiert" wird.

- Was ist "gleiche BQ"? Darf sich da wirklich absolut rein gar nichts unterscheiden, oder dürften ganz leichte Änderungen im Bild noch sein? Wo zieht man die Grenze?

[Leonidas]

Original geschrieben von aths
Optimieren ohne BQ-Verlust ist in jedem Fall ok? Da sprechen mehrere Dinge dagegen:

- Das Einfügen neuer Clipplanes bringt bei fester Kamerafahrt keinen Verlust, ist aber Cheating.

- Durch Shader Replacement zu "optimieren" beschleunigt den Benchmark, man hat aber nicht die Sicherheit, dass auf das neu gekaufte Spiel (ebenso gut) "optimiert" wird.

- Was ist "gleiche BQ"? Darf sich da wirklich absolut rein gar nichts unterscheiden, oder dürften ganz leichte Änderungen im Bild noch sein? Wo zieht man die Grenze?



1. Unrelevant, da nur für Theorie-Tester interessant. Bei Spielen darf man so sowieso nie "opimieren".

2. Enthalte ich mich.

3. Die Grenze läßt sich finden, indem die Hersteller jede Optimierung offenlegen. Sprich jede einzelne Optimierung mit vorher/nachher-Screenies darstellen. Dann läßt sich schnell eine Grenze finden, was ok und was nicht ok ist. Dazu müssten die Hersteller allerdings mit den "Fans" zusammenarbeiten.

[Demirug]

Was haben den Treiberoptimierungen mit Kenngrössen für theoretische Leistungsdaten zu tun? :weg:

[Spake]

imo is deine idee gut
wenn allerdings alle spiele dabei sind ist es ja nett mehr ein benchmark sondern eine benchmarksammlung
womit wir dann allerdings wieder bei einem gewissem performance-rating sind ;)
was mir wiederrum recht ist :D
wenn die gpu-entwickler nun ihre treiber drauf optimieren solls mir in fast allen fällen egal sein
du hast eben recht damit das es egal ist so lange keine bildqualität dabei drauf geht
immerhin spiele ich zumindest lieber mit 60 als mit 30 fps
mal abgesehen würden so die gpu-entwickler auf eben alle aktuellen spiele optimieren

ich denek früher oder später wird es eine open-source community geben welche eben auf ihrer seite den benchmark anbieten und für die jeweiligen karten auch gleich durchschnittswerte angeben

problem bei solchen benches welche eben auf echten spielen basieren ist dummerweise die gewisse cpu-lastigkeit
womit wir wieder bei futuremark und ihrem 2003er benchmark sind :D

aber zum glück gibt es ja eben (fast) unabhängige hardwareseiten welche eben den grafikkarten richtig auf den zahn fühlen
diese würden unter umständen ja vorher erwähnte open-source community gründen ;)
so in etwa ein einfaches nachschlag-lexikon für jedermann

[Spake]

@ unbekannten gast
imo is deine idee gut
wenn allerdings alle spiele dabei sind ist es ja nett mehr ein benchmark sondern eine benchmarksammlung
womit wir dann allerdings wieder bei einem gewissem performance-rating sind ;)
was mir wiederrum recht ist :D
wenn die gpu-entwickler nun ihre treiber drauf optimieren solls mir in fast allen fällen egal sein
du hast eben recht damit das es egal ist so lange keine bildqualität dabei drauf geht
immerhin spiele ich zumindest lieber mit 60 als mit 30 fps
mal abgesehen würden so die gpu-entwickler auf eben alle aktuellen spiele optimieren

ich denek früher oder später wird es eine open-source community geben welche eben auf ihrer seite den benchmark anbieten und für die jeweiligen karten auch gleich durchschnittswerte angeben

problem bei solchen benches welche eben auf echten spielen basieren ist dummerweise die gewisse cpu-lastigkeit
womit wir wieder bei futuremark und ihrem 2003er benchmark sind :D

aber zum glück gibt es ja eben (fast) unabhängige hardwareseiten welche eben den grafikkarten richtig auf den zahn fühlen
diese würden unter umständen ja vorher erwähnte open-source community gründen ;)
so in etwa ein einfaches nachschlag-lexikon für jedermann

[Pussycat]

Ich denke dass es für die Hersteller schwierig werden wird die punkteverteilung zu bestimmen. Ist UT 2 10% und half-life 2 20%? Auch Müsste man den banch warscheinlich öfters rausbringen, z.B. halbjärlich.

Die idee an sich ist aber gar nicht schlecht. Wenn nur alle Spiele so einfache benchamkfunktionen wie UT2003 hätten...

[Aqualon]

Original geschrieben von Demirug
Was haben den Treiberoptimierungen mit Kenngrössen für theoretische Leistungsdaten zu tun? :weg:

Dass vielleicht eine theoretische Kenngröße besser ausgenutzt werden kann, wenn der Treiber z.B. die Shader umstellt?

Mal angenommen, die Bandbreite wird effektiv nur zu 20% ausgenutzt, weil ein Shader nicht mit der Berechnung fertig wird. Wenn der Treiber diesen dann so umstellt, dass er schneller berechnet wird , kann das doch sein, dass die Speicherbandbreite früher wieder stärker ausgenutzt wird, was ne insgesamt effektivere Nutzung zu Folge hätte.

Oder seh ich das jetzt total falsch?

Aqua

[Spake]

shit 2 mal das selbe gepostet :(
:)

für mich als spieler ist doch das was am ende übrig bleibt wichtig und letztlich auch für den spiele-entwickler
der freut sich doch auch wenn plötzlich mehr leute das spiel kaufen weil deren pc's nun auch schneller mit dem game auskommen

letzlich sind optmierungen ohne bildqualitätsverluste(wobei das auch eine sache ist immerhin ist diese auch nciht bei allen chips gleich und glecih gehandhabt) doch dann erwünschenswert ;)

wenn ein spiel eben aufgrund der programmierung nicht so gut auf einer gpu läuft und der gpu-hersteller dass dann ausbessern kann ist es doch mehr als wünschenswert ???

versteht mich nicht falsch:
wenn nv oder Ati "cheatet" dann will ich dass auch wissen und es an und ausschalten können aber gegen optimierungen welche ein game etc. schneller machen aber sonst alles gelcih bleibt kann man dann doch ncihts einwenden
und wenn die treiberhersteller eben keine solche funktionen einbauen dann gibt es ja welche dann spezielle tools entwickeln :D