Diskussion zu: Perzentil-Frameraten sollten besser auf Basis einer zeitlichen ...

[Leonidas]

Link zur News:
https://www.3dcenter.org/news/perzentil-frameraten-sollten-besser-auf-basis-einer-zeitlichen-skala-ermittelt-werden

[Altehardware]

ganz ehrlich nen frametimes graph ist Sinnvoller in spezifischen game Test insbesondere wenn es um Engpässe wie Vram Bandbreite oder rop Leistung geht

Derzeit sind nur wenige sku optimal ausgerüstet für die Zukunft
da wären
rtx4090 rttx4080 rx7900xt rx7900xtx rx7800xt
Der rest hat entweder zu wenig Bandbreite oder zu wenig vram und das ist nur 1440p Sicht in 1080p habe die meisten sku zu wenig vram oder zu wenig rop Leistung.

[Der_Korken]

Aus mathematischer Sicht ist der Einwand völlig berechtigt, dass man die Frames proportional zu ihrer Berechnungsdauer gewichten sollte. Im Moment würde ein 1%-Low-Wert folgende Frage beantworten:

"Welcher Framerate entsprechen die 1% am der am langsamsten berechneten Frames?

Da musste ich schon etwas länger nachdenken, um das faktisch korrekt zu formulieren. Niemand würde nach sowas fragen. Wohin gegen aber durchaus jemand fragen könnte und was das neue Modell beantwortet:

"Welche Framerate erreiche ich mindestens während 99% meiner Spielzeit?"

Allerdings muss man auch sagen, dass sich dadurch an den Ergebnissen nicht viel ändern wird. Wenn die 1% langsamsten Frames im Schnitt doppelt so lange gebraucht haben wie die anderen 99%, würden sie jetzt doppelt so stark gewichtet. Der neue 1%-Low-Wert würde dann ungefähr da rauskommen, wo nach alter Berechnung der 0,5%-Low-Wert gewesen wäre. Generell würden sich die Werte bei gleichem Perzentil alle verschlechtern (wir gewichten langsame Frames höher, gucken uns aber auch immer genau die langsamen Frames an), aber an den Verhältnissen zwischen verschiedenen GPUs dürfte das keinen großen Einfluss haben. Im Grunde ist allein die Wahl gerade die 1%-Perzentile zu nehmen bereits eine willkürliche Wahl. Man hätte auch vorher schon jedes andere Perzentil nehmen können, aber 1% ist halt ein "runder" Wert.

[Zossel]

Warum kein Histogramm über die Anzahl Frames mit Zeit 0 bis x, x bis y, y bis z, usw.

fio spuckt so Plattenlatenzen aus, das ist ziemlich informativ.

[Der_Korken]

Man will bei der Informationsflut alles am besten in einer Zahl haben. Stell dir vor es kommt ein neues Spiel raus und es werden 20 GPUs gebencht. Wer guckt sich denn da 20 Histogramme an und vergleicht die miteinander :freak:.

[elianda]

Ich würde es machen, aber ich habe auch beruflich eng mit Datenanalyse zu tun.

Was mich eher verwundert, dass es so lange dauert bis solche Verfahren sich für Benchmarkanalyse als Standard durchsetzen.
Nur mal um ein Beispiel zu bringen, wenn man ein schwarz/weiß Bild hat und das so anzeigen will, dass der Nutzer einfach Strukturen im Bild erkennen kann, dann skaliert man das auch nicht einfach auf Min/Max der Helligkeitswerte. Jeder Ausreißer würde die Strukturen in der Anzeigerange komprimieren und schwer sichtbar machen. Eine Standardmethode ist, dass man ein Histogramm macht und dann die Grenzen bei 10%/90% des Volumens ansetzt.

Was ich damit sagen will ist, dass in anderen Bereichen solche Methoden seit vielen Jahren üblich sind und das keine superkomplizierten Verfahren sind.

Als Vorschlag für die Benchmarker:
- setzt Euch zusammen und einigt Euch auf ein Verfahren, gebt dem einen Namen und macht eine Referenzimplementierung
- bei der Präsentation könnt ihr dann einfach den Namen ggf. mit Link hinschreiben, wo man genau nachschauen kann, was gerechnet worden ist.

In der Wissenschaft funktioniert das in vielen Bereichen sehr gut.
Man sollte sich aber auch im klaren sein, dass kein Verfahren optimal ist. Die Vor- und Nachteile von Algorithmen im Zusammenspiel mit Daten lassen sich aber ermitteln.

[Leonidas]

Das mit dem Zusammensetzen ist wohl die Schwierigkeit. Vieles am erreichten Fortschritt hat sich IMO allein dadurch ergeben, dass die neuren Benchmark-Tools das einfach vorgegeben haben.

[Gast]

Ganz ehrlich, es ist einfach nur wurscht. Das Beispiel ist sowas von an den Haaren herbeigezogen und hat 0 Praxisrelevanz.

In aller Regel will man Hardware vergleichen und egal welche Werte man nimmt, die relativen Unterschiede werden sich so gut wie nie signifikant verändern.

[Leonidas]

Kann man so sehen. Aber wieso nicht die Berechnungsmethode verbessern, wenn dies nahezu Null Aufwand ist und alle benötigten Werte bereits vorhanden sind?

Außerdem stärkt Nachdenken über die korrekte Methologie das grundsätzliche Vertrauen in die eigene Meß-, Benchmark- und Auswertung-Methodik. Sicherlich muß das überhaupt nicht für die meisten Leser interessant sein. Aber zumindest ich muß mir darüber Gedanken machen.

[Gast Ritis]

Das ist doch ein alter Hut. FPS war schon immer eine falsche Grösse und nur fürs vermarkten von Hardware interessant, aber doch nicht für eine echte Analyse. ;D

In der Engine-Entwicklung und Game-Optimierung geht es allein um Rendering- bzw. Compute-Time in ms je Frame. Ist das in der Summe aller Berechnungen schnell genug ergibt sich im Umkehrschluss ob man die angepeilten 50, 60, oder 120 FPS bzw. Hz erreicht um einen Bildschirm zu bedienen. Aber die relevante Bezugsgrösse ist Zeit für einen (1!) Frame.

Das Beispiel mit den Frames nach einer Stunde Spielzeit ist auch komplett daneben.
Die Aussage zu den Perzentil FPS ist wie bei den durschnittlichen FPS in der Bezugsgrösse auf eine (1!) Sekunde angegeben.
Natürlich ist es am Ende immer der Durschnittswert aller Sekunden innerhalb des Testlaufs, der jedes Mal durch den Tester individuell in der Länge angesetzt wird. Egal ob das jetzt durchschnittliche FPS über z.B 10min gemessen sind oder nur der Durchschnitt schlechtesten 1% der Sekunden in den 10min. Eben je nach dem was der Tester behaupten will. Solange man nur innerhalb der gleichen Testbedingungen Setups vergleicht ist das OK.

Wenn aber jemand in jeder Sekunde >60 Frames misst und dann hinterher behaupted das 1% Perzentil wäre nur bei 50 weil in jeder Sekunde die ersten 10 Frames zu langsam in ms kommen, dann hat er sich und den Leser mit falschen Zahlen belogen.

Es ist genau genommen eben nicht möglich jeden einzelnen Frame in ms zu messen und dann einfach die langsamsten Frames von beliebiger Stelle in der Bewertung für Perzentile zusammenzunehmen und zu behaupten es ging um FPS. Denn dann wird die angebliche Bezugsgrösse verlassen. Man müsste ein Sekundenraster über die Messdaten legen und darin die Werte ermitteln.

Korrekt würde man also bei Messungen in ms je Frame, was wohl die meisten Tools machen, die Angabe in ms/Frame belassen müssen. Es müsste ein Hinweis geben das ein Peak oder Durschnitt ist, ob er alle Frames, oder ein Perzentil angibt.
Das darf man dann in FPS umrechnen, müsste aber jedes Mal klarstellen, dass das nur relative! Werte zur "Veranschaulichung" sind.

Aber eigentlich geht es bei den FPS-BS Diskussionen doch nicht um korrekte Analyse. Dann kann man es doch so lassen wie es ist.

Man sollte als technisch Interessierter sich nur bewusst sein, dass die unterschiedlichen Tests nicht in absoluten Zahlen vergleichbar sind, sondern nur in relativen Abständen zu einer Bezugsgrösse. Oder man bildet wie im 3dcenter Index möglichst breite Durschnittswerte um eine Näherng zu bilden. Aber auch da muss man sich der Fehler bzw. Unschärfe (Zeitpunkt und Basis der Datenerhebung) bewusst sein, obskure Messungen durch seltsame Messbedinungen fliessen dann hoffentlich nicht in die Übersicht mit ein.

Was ein Leser nicht darf ist die gemessenen Werte unter anderen Bedingungen für sich selbst zu erwarten. Selbst die relativen Abstände können sich bei ganz anderer CPU-GPU Kombi und Sys-RAM verändern.

[Gast]

Die Aussage zu den Perzentil FPS ist wie bei den durschnittlichen FPS in der Bezugsgrösse auf eine (1!) Sekunde angegeben.

Wenn aber jemand in jeder Sekunde >60 Frames misst und dann hinterher behaupted das 1% Perzentil wäre nur bei 50 weil in jeder Sekunde die ersten 10 Frames zu langsam in ms kommen, dann hat er sich und den Leser mit falschen Zahlen belogen.

Es ist genau genommen eben nicht möglich jeden einzelnen Frame in ms zu messen und dann einfach die langsamsten Frames von beliebiger Stelle in der Bewertung für Perzentile zusammenzunehmen und zu behaupten es ging um FPS. Denn dann wird die angebliche Bezugsgrösse verlassen. Man müsste ein Sekundenraster über die Messdaten legen und darin die Werte ermitteln.

Richtig, würde ich auch so sehen.

Das Problem ist, dass "FPS" selbst schon per Definition eine Durchschnittsgröße ist: eben frames pro Sekunde. Und diese Durchschnittsbildung kriegt man nie mehr weg, egal wie man die FPS-Werte nachher verwurstet.

[Gast]

Aus mathematischer Sicht ist der Einwand völlig berechtigt, dass man die Frames proportional zu ihrer Berechnungsdauer gewichten sollte. Im Moment würde ein 1%-Low-Wert folgende Frage beantworten:

"Welcher Framerate entsprechen die 1% am der am langsamsten berechneten Frames?


Ich würde es etwas anders formulieren. So wie es momentan ist, beantwortet der 1% low Wert folgendes:

"Angenommen, ich würde eine Sekunde lang ausschließlich frametimes messen, die der frametime des 1% perzentils entsprechen. Dann erhielte ich hypothetisch diesen FPS-Wert."

Man kann eben schwer aus einer einzigen frametime (z.B. dem 1% perzentil) auf einen FPS-Wert extrapolieren. Weil eine frametime per Definition nur für ein (1) frame gilt, ein FPS-Wert aber per Definition der Mittelwert aller frametimes der innerhalb einer Sekunde gerenderten frames ist.

[Der_Korken]

Wenn aber jemand in jeder Sekunde >60 Frames misst und dann hinterher behaupted das 1% Perzentil wäre nur bei 50 weil in jeder Sekunde die ersten 10 Frames zu langsam in ms kommen, dann hat er sich und den Leser mit falschen Zahlen belogen.

Es ist genau genommen eben nicht möglich jeden einzelnen Frame in ms zu messen und dann einfach die langsamsten Frames von beliebiger Stelle in der Bewertung für Perzentile zusammenzunehmen und zu behaupten es ging um FPS. Denn dann wird die angebliche Bezugsgrösse verlassen. Man müsste ein Sekundenraster über die Messdaten legen und darin die Werte ermitteln.

Ich glaube du hängst dich hier zu sehr am Begriff "frames per second" auf. Benchmark-Tools arbeiten nicht mit Sekundenrastern, sondern sammeln die Sequenz der Frametimes und berechnen daraus die entsprechenden Werte. Ich als Nutzer habe nie die Erwartung gehabt, dass bei der Einheit "fps" alle Frames zu echten Sekunden gruppiert sind und daraus irgendwas berechnet wird. Dafür ist die Sekunde als Einheit, wie du schon sagst, zu willkürlich. Ich würde hier eher sagen, dass sich die Einheit "fps" aus anderen Bereichen abgeleitet hat, z.B. der Bildwiederholfrequenz von Bildschirmen oder der Bildrate von Filmen. Technisch mögen Frametimes akkurater sein, aber es haben sich eben fps eingebürgert. So wie man die Geschwindigkeit in km/h angibt, obwohl man normalerweise ein festes Ziel mit einer festen Distanz hat und die Angabe wie lange ich für einen Kilometer brauche daher für mich viel interessanter wäre, als zu wissen wie weit ich hypothetisch käme, wenn ich eine Stunde lang drauf los fahre.

Was ich damit sagen will ist, dass in anderen Bereichen solche Methoden seit vielen Jahren üblich sind und das keine superkomplizierten Verfahren sind.

Als Vorschlag für die Benchmarker:
- setzt Euch zusammen und einigt Euch auf ein Verfahren, gebt dem einen Namen und macht eine Referenzimplementierung
- bei der Präsentation könnt ihr dann einfach den Namen ggf. mit Link hinschreiben, wo man genau nachschauen kann, was gerechnet worden ist.

In der Wissenschaft funktioniert das in vielen Bereichen sehr gut.
Man sollte sich aber auch im klaren sein, dass kein Verfahren optimal ist. Die Vor- und Nachteile von Algorithmen im Zusammenspiel mit Daten lassen sich aber ermitteln.

Du unterschätzt hier den Einfluss der Leser. In der Wissenschaft hast du in der Regel auch Wissenschaftler als Publikum und daher einen größeren Fokus auf saubere Methoden. Benchmarker hingegen müssen ihre Ergebnisse auch etwas schlichteren Gemütern verkaufen können und dort halten sich auch nach Jahren etliche Marotten, die technisch eigentlich Unsinn sind. Jedes Mal wenn neue CPUs gebencht werden und die Tester dafür die kleinste im Spiel einstellbare Auflösung verwenden, kannst du die Uhr nach stellen, wann die ersten Kommentare eintrudeln, dass der Test totaler Müll wäre, weil niemand in 720p spielen würde und man doch gefälligst praxisrelevantere Auflösungen testen solle. Wie ein CPU-Test funktioniert haben einige auch nach 10 Jahren immer noch nicht begriffen, weil sie irgendwann was in den falschen Hals bekommen haben und diese falsche Methodik immer und immer wieder fordern. Klar gibt es auch einige Benchmarker, die es nicht verstehen, aber ich lese da bei größeren Testern eher Disclaimer und Erklärungen, warum der folgende Test in 720p erfolgt ist (und sebst dann verstehen manche Leser es immer noch nicht ...).

[Leonidas]

Anderes Beispiel hierzu: Die ComputerBase hatte anfänglich ihre Perzentile auch als Frametimes angegeben, also war weniger besser als mehr. Augenscheinlich war es doch für viele Leser zu verwirrend, so dass diese Angabe nun wieder in fps umgerechnet präsentiert wird.

[Lehdro]

Anderes Beispiel hierzu: Die ComputerBase hatte anfänglich ihre Perzentile auch als Frametimes angegeben, also war weniger besser als mehr. Augenscheinlich war es doch für viele Leser zu verwirrend, so dass diese Angabe nun wieder in fps umgerechnet präsentiert wird.
Natürlich, weil FPS greifbarer für den 08/15 Nutzer sind. Jeder kann damit etwas anfangen, weil er ständig damit in Berührung kommt. Analog dazu PS/kW, oder halt die berühmten Zollwerte, obwohl wir gerade bei Fernsehern in den späten 90ern/Anfang 2000 schon fast durchgängig bei "cm" waren.

Ich sehe aber solche Spezialfälle mit diesen extrem unrunden Frametimes nicht als Problem in der heutigen Berichterstattung. Durch Intels Arc und die heutigen Speicherkrüppel sind die allermeisten Reviewer schon ziemlich darauf geeicht (früher noch durch Multi GPU Gestotter), diese Verhalten zu untersuchen und zu thematisieren. Oft gibt es dann die plumpe aber extrem passende Aussage dazu: "FPS sind gut, aber es ist unspielbar durch die Spitzen in den Frametimes". Siehe dazu das CS2 Review von GamersNexus. (https://www.youtube.com/watch?v=edAVnclEEr8) Ich finde also nicht dass das Thema untergeht, es sei denn man konsumiert nur stumpf FPS Graphen und lässt die Begleitkommentierung/Bewertung der Reviewer weg. Aber gerade heute gehört zum Thema GPU viel mehr als nur FPS.

[Gast]

Mit einem so unrealistischen Beispiel schießt sich der Verfasser selbst ins aus. Und das ist dann einen kompletten Artikel wert?

[Leonidas]

Das unrealistische Beispiel zeigt vor allem auf, dass die Mathematik der bisherigen Berechnungsmethode falsch ist: Die Min-Framerate kann nicht höher als der Durchschnitt sein.

Und wie gesagt: Bei realisischen Zahlen kommen nur geringe Verschiebungen heraus. Damit ist der Fehler des bisherigen Ansatzes dort gar nicht wirklich gut zu demonstrieren.

[Iscaran]

Und wie gesagt: Bei realisischen Zahlen kommen nur geringe Verschiebungen heraus. Damit ist der Fehler des bisherigen Ansatzes dort gar nicht wirklich gut zu demonstrieren.

Interessant wäre aber gewesen wie hoch dieser Fehler realistisch sein kann. Leider haben die Autoren, welche natürlich zu Recht auf eine fehlerbehaftete Mathematik-Interpretation an der Stelle hinweisen, diesen recht wichtigen Punkt leider nicht angesprochen.

@Der_Korken:
Von den Benchmarktools AFAIK sowieso die Frametime gemessen (also die Zeit ab dem letzen Frame) und dann "einfach" in FPS konvertiert mithilfe von FPS = 1000/Frametime [ms].

Damit hat man letztlich virtuelle "FPS" für jeden einzelnen Frame der erzeugt wurde.

[Gast Ritis]

Ich glaube du hängst dich hier zu sehr am Begriff "frames per second" auf. Benchmark-Tools arbeiten nicht mit Sekundenrastern, sondern sammeln die Sequenz der Frametimes und berechnen daraus die entsprechenden Werte.

Ich glaube Du pickst Dir einzelne Sätze aus dem Kontext heraus ohne den Rest zu würdigen, nur um im Kommentar das irgendwie einzuornden. Was überflüssig wäre, würde es nicht aus dem Kontext gerissen.

[Milchkanne]

Gab es nicht Ladebildschirme, wo man 1000fps hatte? Das würde die normale percentile ebenfalls verzerren. Ok, die werden normalerweise nicht mitgebencht. Wäre interessant, mal den Unterschied zu sehen. Wenn man die Frametimes hat, kann man das ja leicht mit Excel gerade nachrechnen. Oder in 3 Minuten ein Python script coden, dass ne passende CSV Datei verarbeitet.

[Leonidas]

Ladebildschirme können alles massiv verzerren, das kann ich selbst im Kopf kalkulieren. Kann aber sogar in die andere Richtung gehen, wenn der Ladebildschirm einen Framecap hat. So oder ist es nicht das, was man messen will.

[Gast]

Das unrealistische Beispiel zeigt vor allem auf, dass die Mathematik der bisherigen Berechnungsmethode falsch ist: Die Min-Framerate kann nicht höher als der Durchschnitt sein.


Die Mathematik ist nicht falsch, sie berechnet etwas anderes.

Welche Berechnung sinnvoller ist und um wie viel könnte man ja durchaus diskutieren.

Und vor allem auch für was welche sinnvoller ist.

[Leonidas]

Korrekt. Die eigentliche Diskussion ist immer die, was man darstellen will.

In diesem Fall will ich keinesfalls eine Min-Framerate, die höher sein kann als eine DS-Framerate. Und wenn außerhalb unrealistischer Beispiele die Min-Framerate somit niedriger liegt, ist dies keineswegs ein verkehrter Effekt.

[Gast]

In diesem Fall will ich keinesfalls eine Min-Framerate, die höher sein kann als eine DS-Framerate.


Mich interessieren Min-Frameraten bei Hardwarevergleichen generell nicht.
Wenn ich die Geschwindigkeit von Hardware vergleichen will, will ich keinesfalls >90% der Messwerte einfach wegwerfen.

Min-Frameraten, egal in welcher Form sind nur interessant um die Spielbarkeit eines bestimmten Spieles zu beurteilen., nicht um die Geschwindigkeit unterschiedlicher Hardware zu vergleichen.