Diskussion zu: News des 16./17. Dezember 2023

[Leonidas]

Link zur News:
https://www.3dcenter.org/news/news-des-1617-dezember-2023

[madshi]

> soll interessanterweise etwas abweichend von den
> Zwischenbild-Berechnern von AMD & Intel arbeiten

Ich glaube das sollte "AMD & Nvidia" heißen?

> Als Prinzip-bedingter Nachteil könnte ExtraSS zu mehr
> Bildfehlern neigen, denn letztlich muß Intel bei der
> Zwischenbild-Berechnung schlicht spekuliert, wie
> das nächste Frame aussieht – und da kann man sich
> eben auch irren.

Stimmt grundsätzlich. Ich vermute aber mal, daß Intel bereits Zugriff auf die Geometry des nächsten Frames hat. Also in etwa wie folgt:

1) Frame 1 wird konventionell berechnet.
2) ExtraSS macht erstmal nix.
3) Die Game Engine berechnet per CPU welche Objekte sich für Frame 2 wohin bewegen. Die GPU hat die Berechnung für Frame 2 noch gar nicht angefangen.
4) ExtraSS verwendet Frame 1 (Bild in RGB) und die Motion-Information von Frame 2, um einen neuen Frame "1.5" zu interpolieren.
5) Die GPU berechnet parallel zu Schritt 4), oder vielleicht nach Schritt 4) den Frame 2 auf konventionelle Art.

Das ist eine reine Vermutung meinerseits, würde aber eine Menge Sinn machen und die Qualität der interpolierten Frames dramatisch verbessern, im Vergleich dazu was ExtraSS produzieren würde, wenn es tatsächlich 100% rein spekulieren würde, statt die Informationen von Schritt 3) zu verwenden.

[Leonidas]

Gedankenfehler (AMD & Intel) gefixt.

Das mit der Geometrie vermute ich genauso. Dennoch ist es ein höherer Grad an Spekulation als bei den anderen, die mehr oder weniger schon das fertige nächste Bild haben.

[madshi]

Ja stimmt. Könnte mir vorstellen, daß es bei "einfachen" Sachen keinen großen Unterschied machen wird. Aber wenn es um transparente Objekte geht, oder Anti-Aliasing oder so, könnte es vielleicht Probleme geben (?).

Ehrlich gesagt hatte ich bei DLSS erwartet, daß sie es genauso machen wie Intel. War überrascht, daß Nvidia dann doch eher die "konventionelle" Methode implementiert hat.

[Yay! Mehr Fake-Bilder]

Bin da viel zu hohl um das Technische zu verstehen was in dem Konferenz-Papier "ExtraSS: A Framework for Joint Spatial Super Sampling and Frame Extrapolation" steht, aber deren Vergleichsbilder zeigen bereits dass das ausgegebene Bild nicht an DLSS herankommt, noch nicht mal an TAA herankommt.
Gut, wenigstens ist man da ehrlich und lügt nicht herum und verspricht "das Beste aus beiden Technologien ohne beider Nachteile".
Für ein akkurates "In die Zukunft blicken" braucht es eine Zeitmaschine oder ein transzendentes wer-auch-immer-was-auch-immer (man nennt es Aliens, Götter, auch was auch immer für Namen).
Es bleibt dann wohl bei den Vor-/Nachteilen beider Ansätze.

Ich bevorzuge dann doch die jetzige Frame Generierung per Bildinterpolation.
Wenn ich sehe was für Artefakte dlss 3 Frame Generation verursacht (bei mir sogar in 4K UHD samt DLSS Quality Einstellung), dann will ich nicht noch mehr Artefakte sehen.
Die doppelte Latenz als Nachteil nehme ich gerne in Kauf. 14 ms anstatt 7 ms bei 144 Hz/fps, oder 16,7 ms anstatt 8,3 ms bei 120 Hz/fps.
Reicht für 95 % der Spiele, selbst Shooter, mehr als aus.

Für wenn ist Frame Interpolation dann gut? Keine zusätzliche Latenz als Nachteile = für die ganzen FPS-Spiele heutzutage vermute ich mal.
Wird ein schlechtes Verkaufsargument. Artefakte bei FPS-Spiele will keiner sehen. Da zählt hohe MPRT (Motion Picture Response Time) und ein klares Bild.
Wer zu den 0.01 % der bezahlten Profis gehört und Spieletourniere gewinnen möchte, oder sich ausdenkt die 7 ms weniger an Latenz machen ihn online zum Profi in Fortnite oder Cock Of Duty dem 20ten Aufguss, der nutzt es halt nicht. :-P
Ich sehe da wenig Verkaufsargumente.

[Real Time Milking]

Wenigstens weiß ich nun was mit DLSS 4 kommen wird.
Natürlich wird DLSS 4 Frame Generation-Extrapolation exklusiv, als Teil der "Real Time Milking"-Technologie nur für die RTX 5000 Serie erhältlich sein, und irgendein erlogenes Bullshit-Argument wird der Marketing Abteilung schon einfallen warum dies so entwickelt wurde und so ist.

Mit DLSS 5 (RTX 6000, 2027/2028), gibt es dann das gemeinsame Agieren von Frame Generation-Extrapolation + -Interpolation: Echtes Bild > Extrapoliertes Bild > interpoliertes Bild > Extrapoliertes Bild > Echtes Bild etc.
1 echtes Bild, 3 generierte.
Geil!
2050 mit "DLSS Drölf" folgen auf dem einen echten Bild dann 20 generierte.
So klappt es auch mit Path Tracing und drölfbillionen Lichtstrahlen.

Irgendwas zum Melken oder Upgraden wird der Führungsriege schon einfallen.
Wenn nicht gibts halt die Standardsmethode der geplanten Obsoleszenz mit zu wenigs VRAM, was in 2 -3 Jahren voll ist.
https://i.ibb.co/YPLfb8C/jensendeathnoteupgrademillions.jpg (https://ibb.co/WG2BsFh)


(extrapoliert = hochgerechnet. Nicht verwechseln mit dem extra tollen Polieren der Fenster)

[Gast]

Intel hingegen will das Zwischenbild allein aus dem alten Bild erzeugen, was bei perfektem Gelingen die Bildausgabe-Latenz reduziert (die Eingabegeräte-Latenz sollte sich hingegen nicht verbessern).

Man sollte eher sagen, die Latenz bleibt identisch, sie reduziert sich nicht, aber sie verschlechtert sich auch nicht wie bei anderen Verfahren.


Wobei man ersteres auch nicht ausschließen kann, wenn die Fake-Frames auch Eingaben berücksichtigen könnten sie durchaus die Latenz verbessern, wie es bei VR schon seit Jahren gemacht wird.

[Gast]

https://cdn.wccftech.com/wp-content/uploads/2023/12/Intel-XeSS-Frame-Generation-ExtraSS-Frame-Extrapolation-Technology-_2.png

Also wenn man das Schaubild anschaut sieht es aus als würde Intel wesentlich mehr für das gefakte Frame machen als AMD/Nvidia.

Anscheinend spart man sich dafür nur das Shading ein, und erstellt durchaus neue G-Buffer.

Und man sieht hier einen Pfeil mit Warp beschriftet, was darauf hindeutet, dass man User Inputs für die gefakten Frames berücksichtigt.

Das würde einerseits zwar weniger Performancepotential versprechen, schließlich müssen die G-Buffer immer noch gerendert werden.

Dafür verursacht man aber nicht nur keine zusätzliche Latenz wie die Lösungen von AMD und Nvidia, sondern man hat effektiv die Latenz der tatsächlichen Output-Framerate.

Das könnte die erste wirklich breit Einsetzbare Umsetzung von FG werden, die Lösungen von NV und AMD sind ja doch extreme Nischenanwendungen die nur in einem sehr begrenzten Frameratebereich überhaupt sinnvoll sind.

[greeny]

Ready or Not: SWAT-Shooter setzt weiter neue Maßstäbe auf Steam [PC Games Hardware]
... hat keinen Link ;)

[madshi]

Ähm, hab mir mal das Intel Paper angeguckt. Die haben mit PyTorch ein neuronales Netz trainiert, und dann mit einer Nvidia 3090 laufen lassen, und dabei hat deren AI für einen 1920x1080 -> 4K Upscale 13.7 Millisekunden benötigt. Und das mit einer 3090, wohlgemerkt. Das klingt für mich nicht danach, als würde Intel das bald so einbauen, scheint viel zu langsam zu sein. Für mich sieht das einfach wie ein wissenschaftliches Paper aus, nicht mehr. Aber keine Ahnung, vielleicht mißverstehe ich da etwas...

Hier ist der Link zum PDF:

https://dl.acm.org/doi/pdf/10.1145/3610548.3618224

[Leonidas]

... hat keinen Link ;)

Fehlerhafter Fehler, gefixt. Korrekter Link ist:
https://www.pcgameshardware.de/Ready-or-Not-Spiel-60931/News/spielerzahlen-auf-steam-1436433/