PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : DLSS 3 Fake-Frames in 3D-Videospielen


kutschip
2022-09-22, 21:13:50
Exxtreme, Leonidas und co. meinen wie üblich nicht freizuschalten was ihnen nicht passt, also dann so. Tolle Zensur, weiter so.

https://www.nvidia.com/en-us/geforce/news/dlss3-ai-powered-neural-graphics-innovations/
DLSS 3 für Zwischen-Frames: "Gaming engine motion vectors" + "convolutional autoencoder AI" + "Optical Flow Accelerator". (Auf die "Reflex super low latency pipeline" wird nicht weiter eingegangen. Weiterhin das gleiche wie "Nvidia Reflex" als Gegenspieler für Radeon Boost?)
Ein fertiges Frame-Paar (bestehend aus dem neuesten fertigen und dem vorherigen fertigen Frame) aus der Grafikpipeline, wird genommen und daraus ein komplett neues Zwischen-Frame erzeugt.

https://www.ign.com/articles/2014/11/05/understanding-frame-rate-and-its-importance
Dieses neue Zwischen-Frame ist folglich nicht vom Spiel selber erschaffen, nicht an die Spiele-Engine gebunden. Es wird auch nicht von der CPU oder der eigentlichen Grafikpipeline berechnet.
Die Spiele-Engine hat x-Engines wie Audio, Textur, Physik, Animation, UI. Die Spiele-Engine berechnet in Echtzeit.

Somit gibt es eine Diskrepanz/Unterschied, zwischen diesem erschaffenem neuen Zwischen-Frame (von dlss 3) welches zeitlich der GPU-Grafikpipeline hinterherhinkt, und dem was von dem Spiel (Spiele-Engine und deren Komponenten) in Echtzeit berechnet wird.

Lederjacke sagt "Pairs of frames from the game", also der Spiele-Engine; bereits echte erschaffene, welche erst dann dem neuralem Netzwerk gefüttert werden.
Hier wird also nicht in die Zukunft extrapoliert, sondern in die Vergangenheit interpoliert.
Dann gibt es mit dlls 3 obendrauf halt 100 frames für/in der Sekunde, aber dass was aus der Spiele-Engine kommt (Animation, Physik, Sound usw.)
erschafft nur echte fertige 50 Frames.

Nvidia Foundry (NV-biased und bekommen oft eine Extrawurst) im letzten Video haben bereits erwähnt dass es frame interpolation ist (man will mit offline Frame Interpolation anderer Anbieter vergleichen).
https://uploads.disquscdn.com/images/2c8c91291034728403e18c246db88e1f83c89084c8502f722c3031e360869eac.jpg

Aus dem IGN-Artikel: In fairness most of the modern engines are pretty frame independent – which means the code is run every frame in a lot of cases – or it's run at physics intervals which are independent of frame rate ...
Die Spiele-Engine weiß halt nicht was dlss 3 macht.

Dann hat man mit dlss 3 Interpolation halt die Illusion einer flüssigeren Bildfolge.
Also entweder tritt mit dlss 3 dann
1) Der Soap Opera Effekt auf und wenn es schlecht kommt Bildartefakte
2) Erhöhte Latenz, die GPU Grafikpipeline wird zurückgehalten.
3) Teile der Spiele-Engine wie Audio, Netzwerk werden nich optisch übermittelt (Display), sondern akkustisch oder durch Eingabe. Weitere Diskrepanz zur dlss 3 Interpolation.

Je niedriger die echte Framerate, desto öfter werden die Nachteile auftreten und merkbar sein.
Ich vermute die Latenz wird sich nicht um >= 1 frame erhöhen, da dlss 3 mit dem Zwischen-Frame schneller fertig wird als das neueste fertige Frame was aus der Pipeline kommt.
Ein Spiel was von der Spiele-Engine aus mit 30 fps/Sek läuft, wird von dlss 3 optisch auf 60 fps gehoben, spielt sich aber (Eingabe, Spiel-Engine wie Audio, Physik etc.) wie 30 - 50+ fps (je nach dem wie schnell dlss 3 fertig ist).

Bei Zwischen-Frame Berechnung für TVs fällt nur der Soap-Opera Effekt negativ auf; es ist ein passives Medium, keine Eingabe.

Was bereits jetzt erkennbar ist, und positiv, ist dass die Interpolation mit dlss 3 jegliche Interpolation bei TVs mehrfach überrundet.
Es müsste auch besser sein was man mit AI-Interpolation, z.B.RIFE AI Engine erreichen kann (bei den Entwicklungskosten zu erwarten).

Ähnlich aber andres: Die Nachteile der Diskrepanz bei Zwischen-Frame Interpolation hat man schon bei Anime, deswegen sieht Anime bspw. gleichmäíg interpoliert auf 60 fps auch komisch aus; nicht wenige Menschen bevorzugen keine Interpolation.
https://anime.stackexchange.com/questions/3814/is-akira-the-only-anime-produced-in-24fps


Ach, ja: Fuck Lederjacke und Führungskräfte. 1100 € für cut-down AD104.
"Goyim, kaufe unsere Million Ampere Restbestände, erst dann gibbed Lovelace"

Gipsel
2022-09-22, 22:02:00
Kein guter Start für einen brandneuen Account, mit Admin- und Modschelte anzufangen :rolleyes:. Noch mal solche Ausfälle und Sanktionen dürften Dir sicher sein. Für Dich aber nochmal extra deutlich: Im Technologieforum steht die sachliche Diskussion im Vordergrund.
Im Übrigen gibt bereits einen Thread zu DLSS, wo viele Deiner (oft sachlich nicht so ganz korrekten) Punkte bereits aufgeworfen wurden. Bitte da (in hoffentlich verbesserter Form) weitermachen.

Danke.