AI/Machine Learning in Gaming [Archiv]

basix

2019-01-18, 08:26:20

Gehört wohl auch hier rein:
https://www.computerbase.de/2019-01/amd-directml-antwort-nvidia-dlss/

Den Titel des Artikels finde ich zwar als völlig falsch, da DirectML generell Machine Learning / Inference für Spiele abdeckt und nicht nur DLSS. Ebenso ist der Artikel schwach. Es ist nicht eine alleinige AMD Sache, Microsoft hat DirectML anscheinend schon im März vorgestellt und Nvidia unterstützt DirectML ebenso.

Für mich ist DirectML ausserdem eigentllich die "Bestätigung", dass zumindest die NextGen XBox etwas in dieser Richtung unterstützen wird. Bei Sony würde ich DL/ML ebenso erwarten. Kommt das also mit den Konsolen, wird es auch am PC recht schnell gehen. Das heisst, man wird relativ schnell eine breite Umsetzung von DL/ML in Spielen sehen.

Hier die Beschreibung von DirectML von Microsoft selbst:
https://blogs.msdn.microsoft.com/directx/2018/03/19/gaming-with-windows-ml/

basix

2019-01-25, 23:05:06

Ich habe nochmal was: AI creates facial animation from audio
https://www.youtube.com/watch?v=ZtP3gl_2kBM

Potential: Genial! Erstens nimmt das Arbeit ab. Zweitens ist die Lokalisierung egal, die Animationen stimmen.

RLZ

2019-01-25, 23:33:38

55rsJI11FOA

deekey777

2019-01-30, 11:34:06

DrFreaK666

2019-01-30, 12:29:27

https://medium.com/@Synced/enhanced-super-resolution-gan-remasters-max-payne-1feb0ebb0c81

ai upscaling von texturen in alten spielen, gibt wohl einige Texturpacks die damit gerade entstehen.

https://cdn-images-1.medium.com/max/2600/1*283hpi1NUfGH5E8ZRn1e2g.png

Dieser Thread ist, was das angeht, recht interessant

https://www.resetera.com/threads/ai-neural-networks-being-used-to-generate-hq-textures-for-older-games-you-can-do-it-yourself.88272/

Übertreibung:
Jetzt: für Midrangegrafikkarten gibt es mittelaufgelöste Texturen, für Highendgrafikkarten hochaufgelöste.
Zukunft: Es gibt nur mittelaufgelöste Texturen, aber Highendgrafkkarten errechnen wegen ihrer Rechenleistung in Echtzeit hochaufgelöste.

;(

Wenn das gut aussieht, dann muss man kenne 120GB mehr herunter laden, sondern vielleicht nur 80GB

registrierter Gast

2019-01-30, 12:43:54

Übertreibung:
Jetzt: für Midrangegrafikkarten gibt es mittelaufgelöste Texturen, für Highendgrafikkarten hochaufgelöste.
Zukunft: Es gibt nur mittelaufgelöste Texturen, aber Highendgrafkkarten errechnen wegen ihrer Rechenleistung in Echtzeit hochaufgelöste.

;(
Contenterstellung ist mit das Teuerste bei der Spieleentwicklung. Wenn man da sparen könnte, kämen das jedem Gaming Studio - egal welche Größe - gelegen.

Rooter

2019-01-31, 16:06:48

Contenterstellung ist mit das Teuerste bei der Spieleentwicklung. Wenn man da sparen könnte, kämen das jedem Gaming Studio - egal welche Größe - gelegen.Aber werden heute die mittelaufgelösten Texturen nicht als hochaufgelöste erstellt und dann runtergerechnet? Würde dann ja nix sparen.
Und ob ein Spiel heute 30GB größer oder kleiner ist interessiert ja keinen mehr wirklich...

MfG
Rooter

Gast

2019-01-31, 19:39:11

Zukunft: Es gibt nur mittelaufgelöste Texturen, aber Highendgrafkkarten errechnen wegen ihrer Rechenleistung in Echtzeit hochaufgelöste.

;(
Dazu wird es nicht kommen, Vorberechnen ist immer effizienter als jedes mal neu berechnen.

Wenn du einen Taschenrechner programmierst rechnest du dir ja auch nicht jedes mal die Zahl Pi aus wenn sie benötigt wird, sondern rechnest sie Vorab und speicherst sie.

RLZ

2019-01-31, 21:05:41

Aber werden heute die mittelaufgelösten Texturen nicht als hochaufgelöste erstellt und dann runtergerechnet? Würde dann ja nix sparen.
Ich glaube der Workflow für "Texturen" ist heute komplett anders als die meisten sich das vorstellen. Gefühlt haben die meisten immer noch handgemalte Diffuse Maps im Hinterkopf. Wenn man sich dann moderne Materialen und beispielsweise den Substance Workflow anschaut, hat das nicht mehr sooo viel damit zu tun.

Silent3sniper

2019-01-31, 21:15:40

Dieser Thread ist, was das angeht, recht interessant

https://www.resetera.com/threads/ai-neural-networks-being-used-to-generate-hq-textures-for-older-games-you-can-do-it-yourself.88272/

Mh bestätigt auf den ersten Blick meine Vermutung: Blind deconvolution verwurstet als neuronales Netz. Cool, aber mit KI hat das nichts zu tun.

Rooter

2019-01-31, 21:30:05

Ich glaube der Workflow für "Texturen" ist heute komplett anders als die meisten sich das vorstellen. Gefühlt haben die meisten immer noch handgemalte Diffuse Maps im Hinterkopf. Wenn man sich dann moderne Materialen und beispielsweise den Substance Workflow anschaut, hat das nicht mehr sooo viel damit zu tun.Glaube ich gern, wird aber trotzdem runtergerechnet.

MfG
Rooter

pixeljetstream

2019-03-02, 15:35:03

https://blogs.unity3d.com/2019/03/01/unity-ml-agents-toolkit-v0-7-a-leap-towards-cross-platform-inference/
Inference Engine für Unity

Troyan

2019-08-31, 08:28:51

nVidia beschreibt die Verbesserung von DLSS, die man seit einem Jahr gemacht und in Control eingebaut hat: https://www.nvidia.com/en-us/geforce/news/dlss-control-and-beyond/

Nach ein paar Minuten Control macht es kein Sinn ohne DLSS zu upscalen, wenn man Turing hat. DLSS ist leicht schneller als die Grundauflösung mit 4xMSAA und sieht meisten besser aus.

Troyan

2020-03-23, 14:08:10

nVidia stellt DLSS 2.0 vor und soll folgende Vorteile gegenüber der "vorigen" Version haben:

LSS 2.0 offers several key enhancements over the original version:

Superior Image Quality — DLSS 2.0 offers image quality comparable to native resolution while only having to render one quarter to one half of the pixels. It employs new temporal feedback techniques for sharper image details and improved stability from frame to frame.
Great Scaling Across All RTX GPUs and Resolutions — a new AI model more efficiently uses Tensor Cores to execute 2x faster than the original, improving frame rates and removing restrictions on supported GPUs, settings and resolutions.
One Network for All Games —The original DLSS required training the AI network for each new game. DLSS 2.0 trains using non-game-specific content, delivering a generalized network that works across games. This means faster game integrations, and ultimately more DLSS games.
Customizable Options — DLSS 2.0 offers users three image quality modes (Quality, Balanced and Performance) that control render resolution, with Performance mode now enabling up to a 4x super resolution. (i.e. 1080p → 4K). This means more user choice, and even bigger performance boosts.
https://blogs.nvidia.com/blog/2020/03/23/dlss-2-ai-gaming-directx-12-ultimate/
https://www.nvidia.com/en-us/geforce/news/nvidia-dlss-2-0-a-big-leap-in-ai-rendering/?nvid=nv-int-gfhm-70087#cid=gf7_nv-int-gfhm_en-us

Wichtigster Punkt ist, dass es nun auch in die UE4-Engine eingebunden werden kann, wodurch es fast schon zum Standard werden könnte.

Die Erfahrungen in Wolfenstein YB und DutM zeigen Potential, das nun endlich auch genutzt werden kann.

y33H@

2020-03-23, 14:39:01

Sieht in Control echt gut aus nun, vor allem die Haare =)

Daredevil

2020-03-23, 14:51:46

Videoooooooo
0X1RtXCvPFQ

robbitop

2020-03-23, 15:04:49

Ich zitiere mal meinen Post aus dem NV Treiberthread:
Ich bin gespannt ob DLSS bei Ampere auch nochmal schneller wird. Aktuell kostet es ja wesentlich mehr als wenn das Spiel mit der halbierten Auflösung läuft. Also scheint das Inferencing ja mehr Leistung zu kosten. Ggf. legt man dann ja nochmal eine Schippe drauf. :)
Dank Nextgen Konsolen erwarte ich, dass ML basiertes Upscaling zum neuen Standard wird (wie es mit temporal AA / reconstruction bei Lastgen war - hier ist id Techs TSAA 8x hervorzuheben IMO). Je mehr Wettbewerb und je mehr verschiedene Ansätze, desto mehr Innovation.

Eine super Entwicklung! :up:

Raff

2020-03-27, 13:34:48

DLSS 2.0 unter der Lupe: https://www.pcgameshardware.de/Nvidia-Geforce-Grafikkarte-255598/Specials/Mechwarrior-5-DLSS-Test-Control-DLSS-Test-1346257/

Also wenn das so weitergeht, wird DLSS 3.0 echt bombe.

MfG
Raff

Mortalvision

2020-03-27, 14:20:24

Sieht doch gut aus! Die nächste Konsolengeneration, also 2023 wird so etwas gerne nutzen.

aufkrawall

2020-03-27, 14:48:41

Tja, nur wann? Hier scheint auch die Software-Seite immens wichtig zu sein und bisher hat noch niemand außer Nvidia etwas überzeugendes demonstriert.

Edit: Ich nehme mal an, du wirst gemeint haben, dass sich während der Lebenszeit der neuen Konsolen-Gen ab ca. 2023 dieser Effekt einstellt.
Ich frage mich nur, ob man anders als z.B. TAA als Entwickler überhaupt seinen eigenen NN-Upscaler kreieren kann, oder ob man dafür nicht auf die Konsolen-Hersteller und deren Forschung angewiesen ist.

robbitop

2020-03-27, 15:29:31

Sieht doch gut aus! Die nächste Konsolengeneration, also 2023 wird so etwas gerne nutzen.
Schon diese Konsolenversion wird das tun. RDNA2 hat INT4/8/16 Beschleunigung was ebenfalls exzellent für Inferencing ist. Die HW Voraussetzungen sind dafür da. Es muss entsprechende Software dafür geschrieben werden. Da kommt es dann auf die Zusammenarbeit zwischen AMD, den Konsolenvendors und den Studios an.
IIRC gab es für einen XSX Titel ja schon eine erste Implementation bzw einen Test dieser.

JVC

2020-03-27, 15:34:43

RDNA2 hat INT4/8/16 Beschleunigung was ebenfalls exzellent für Inferencing ist.
Also wäre , wenn NV es "öffnet", DLSS 2.0 auf RDNA2 praktisch möglich?

M.f.G. JVC

Ghost1nTh3GPU

2020-03-27, 15:45:22

robbitop

2020-03-27, 15:47:06

Also wäre , wenn NV es "öffnet", DLSS 2.0 auf RDNA2 praktisch möglich?

M.f.G. JVC
Mit entsprechenden Änderungen schon. Aber warum sollte NV das tun? Die haben eine Menge Zeit und Gehirnschmalz und Geld in die Handgenommen.

Aber ich sehe nicht, warum das nicht auch andere tun können.

Ghost1nTh3GPU

2020-03-27, 15:50:14

Mit entsprechenden Änderungen schon. Aber warum sollte NV das tun? Die haben eine Menge Zeit und Gehirnschmalz und Geld in die Handgenommen.

Wie bei PhysX wäre eine lizensierbare Light-Variante sicher denkbar. Aber das Know-How wird man wohl selbst eher in Geforce-Now stecken. Gerade beim Handy Client kann man sicherlich auf einiges an Basisauflösung verzichten.

pixeljetstream

2020-03-27, 16:10:01

Mittelfristig (2-3 Jahre) ist da auch ein kleiner ASIC in einem HDMI-Adapter denkbar, der hier die VRR Frames entgegennimmt und daraus mit AI 8K120 generiert. Das mCable hat dies in simpler Form schon gezeigt und die Verbesserung der Netzwerke und Verbreitung von simplen Inferencing-Chips gerade am Anfang.

Es wird nicht einfach das Bild hochskaliert. So können engines ui mit full res darüber legen, und die engines liefern zusätzlichen Daten für optimale Ergebnisse.

pixeljetstream

2020-03-27, 16:18:59

Ich frage mich nur, ob man anders als z.B. TAA als Entwickler überhaupt seinen eigenen NN-Upscaler kreieren kann, oder ob man dafür nicht auf die Konsolen-Hersteller und deren Forschung angewiesen ist.

Prinzipiell ja, aber Zugang zu reichlich Trainingleistung und Experten ist nicht trivial. Aber ganz so klein sind EA, Bethesda Ubisoft, Unity, epic etc. auch nicht. Und MS hat schonmal seine cloud ;)

Dampf

2020-03-27, 19:21:28

Könnte man die Tensor Cores nicht auch für Physik Berechnungen nutzen? https://www.youtube.com/watch?v=atcKO15YVD8

Glaube da lässt sich wirklich einiges machen, sieht wesentlich flexibler und performanter aus als die gängigen Methoden. Ich denke in Zukunft könnte ML eine wesentliche Rolle im Gaming spielen. Gut, dass es daher Tensor Cores und den INT 4/8 support bei der XSX gibt.

Image Reconstruction könnte erst der Anfang sein.

basix

2020-03-27, 22:50:23

Two Minute Papers ist einer der genialsten AI Channels auf Youtube.

Noch zum Thema Upscaling / Image Reconstruction:
https://www.youtube.com/watch?v=eTUmmW4ispA

Das Resultat sieht extrem gut aus und ist grundsätzlich Real Time fähig.

6.1 Inference Runtime Performance
The time to infer a FullHD frame on 4x NVIDIA Tesla V100 GPUs is 9ms. The DeepFovea model has 3.1 million parameters and requires 111 GFLOP with 2.2GB memory footprint per GPU for an infer-ence pass. We implement a custom inference framework in C++ on NVIDIA CUDA 10 and cuDNN 7.6.1. All calculations are performed with 16-bit half floating point precision to leverage NVIDIA Tensor-Core computational units. Time to sparsify a frame on a single GPU is 0.7ms. We are able to achieve 90Hz in the HMD

XSX kann ja beschleunigtes AI und die PS5 vermutlich auch.

Troyan

2020-03-28, 08:45:13

basix

2020-03-28, 10:22:26

Beschleunigtes AI = Reduzierte Präzision mit RPM --> Faktor X Beschleunigung ggü. FP32. Sogar Microsoft hat das explizit so erwähnt. Mit INT8 @ RPM bekommt man 4x Beschleunigung gegenüber FP32. Und ja, das kann auch Pascal, sogar Nvidia spricht bei einer Tesla P4 von "Inferencing Accelerator" ;) (Link (https://images.nvidia.com/content/pdf/tesla/184457-Tesla-P4-Datasheet-NV-Final-Letter-Web.pdf)) Aber wer ist denn schon Nvidia, dem aktuellen AI-Platzhirsch, wenn sie diese Lösung als Beschleuniger betiteln. Das kann ja nicht stimmen :rolleyes:

Tensor Cores haben einfach einen deutlich höheren Beschleunigungsfaktor, sonst nichts (und sind deutlich weniger flexibel als GPGPU INT8).

robbitop

2020-03-28, 11:26:03

Pascal hat INT8 einen höheren Durchsatz als FP32? Ui das war mir unbekannt.

Die Frage ist ja am Ende immer ob der INT Durchsatz bzgl des Inferencings des jeweiligen NN die Renderzeit des Frames limitiert oder eher andere Teile der GPU.

robbitop

2020-03-28, 18:03:37

Nein, die können kein "beschleunigtes AI". TensorCores sind aus dem Grund entwickelt worden, weil die normalen Recheneinheiten auch mit der Möglichkeit von INT8 und INT4 Beschleunigung viel zu langsam sind.
Es hat sein Grund, wieso nVidia innerhalb von einem Jahr von Pascal auf Volta gewechselt ist, weil die TensorCores die ganzen Berechnungen x-fach Beschleunigen.

Die neuen Konsolen sind auf Gaming-Pascal Niveau.
Die neuen Konsolen haben RT Beschleunigung, VRS und Meshshader. Damit liegt man eher bei Turing als Pascal.
Sofern man mit schnellem INT8 in keinen realworld bottleneck rennt was AI upscaling angeht spielt es auch keine Rolle, ob man nun Vektor oder Matritzen Rechenwerke hat.
Matritzenrechenwerke sind nix besonderes oder neues - haben dank tollem Marketing aber ein tolles Image.

pixeljetstream

2020-04-03, 08:37:06

GTC Talk zu DLSS 2.0
https://developer.nvidia.com/gtc/2020/video/s22698

aufkrawall

2020-04-03, 12:53:19

Thx, das erklärt nochmal sehr gut verständlich die Möglichkeiten und Limitierungen von TAA.

Wie ist das mit Aliasing durch Postprocessing (DoF, Bloom, evtl. SSAO...), wenn DLSS nur vorher greift?
Auch interessant, dass extra Denoiser-Passes nötig sind. Ist die Frage, ob sich da jemand für z.B. SSR überhaupt die Mühe machen würde. In Control ist es selbst mit DXR nicht optimal.
Leider wird im Video auch nicht auf Artefakte von DL-Algos bez. konkret DLSS 2.0 eingegangen und kein Ausblick auf mögliche Verbesserungen in der Zukunft gegeben.

Wär auch schön, wenn man den Spieleentwicklern explizit mitteilte, dass sie mit DLSS ihr Schrott-Sharpen endgültig in die Tonne kloppen können, anstatt es fest verankert in der PP-Queue zu belassen. :freak:

robbitop

2020-04-03, 15:23:03

GTC Talk zu DLSS 2.0
https://developer.nvidia.com/gtc/2020/video/s22698

Danke - sehr hilfreich! :up:
Hab es mir komplett angesehen - die Ergebnisse sind wirklich verblüffend. Wie viel Rechenleistung das am Ende spart bzw man diese ausgeben kann für höhere fps oder Auflösung. Hoffentlich verbreitet es sich schnell und hoffentlich gibt es auch ein nicht propertäres Gegenstück, so dass mittelfristig alle etwas davon haben. Vendor Lock wäre unschön für den Endverbraucher. (wobei ich den Vendorlock absolut nachvollziehen kann aus wirtschaftlicher Sicht)

pixeljetstream

2020-04-03, 17:03:00

Leider wird im Video auch nicht auf Artefakte von DL-Algos bez. konkret DLSS 2.0 eingegangen und kein Ausblick auf mögliche Verbesserungen in der Zukunft gegeben.

Da das Thema ein sehr heißes Eisen für die Zukunft ist (end of moore's law, anderweitig performance/quality finden etc.), denke ich nicht dass man sich da viel in die Karten schauen lassen will was man als nächstes angeht, aber 2.0 war sicher nicht die letzte Version ;)

RLZ

2020-04-03, 18:16:20

Matritzenrechenwerke sind nix besonderes oder neues - haben dank tollem Marketing aber ein tolles Image.
Ich würde auch bei Hardwaredesign nie unterschätzen wieviel ein andere Optimierungstarget Auswirkungen hat. Wie viel man da auch gegenüber Tensorcores rausholen kann, sieht man ja TPUs oder dem Tesla FSD Chip.

Die eigentlich Frage wird ja sein, wie groß die Netze für Spiele bis zur nächsten Gen oder Midlife Kicker werden. Und da haben die Prognosen wohl das Investment nicht gerechtfertigt.

Und da es noch passend zum Topic ist:
lN9pXZzR3Ys

sUb0W5_waRI

https://gdcvault.com/play/1026600/AI-Summit-Experimental-AI

https://gdcvault.com/play/1026619/Machine-Learning-Summit-Developing-and
https://gdcvault.com/play/1026580/Machine-Learning-Summit-Developing-and

https://gdcvault.com/play/1026624/Online-Game-Technology-Summit-Machine
https://gdcvault.com/play/1026585/Online-Game-Technology-Summit-Machine

Karümel

2020-04-04, 16:30:16

YWIKzRhYZm4

Karümel

2020-04-04, 20:32:14

DSLL muss vom Entwickler "eingebaut" werden, oder?
Jemand eine ungefähre Idee, was für ein Aufwand das ist?
Also wird man das häufiger in Zukunft sehen oder eher seltener da sehr aufwändig?

Akkarin

2020-04-05, 13:10:29

Ich hab ein paar dumme Fragen. Wurden bestimmt schon mal beantwortet aber ich kanns irgendwie nicht finden...

1. Können die Tensor Cores gleichzeitig mit den Shadern benutzt werden ? IIRCs werden teils die gleichen Register etc. gebraucht, also nicht ?

2. Gibt es dann überhaupt einen Performance-Vorteil bei FP16 ? Es gibt ja nur einen Tensor Core pro 16 Shader. IIRC ist ein Tensor Core 8x so schnell bei FP16, 16x so schnell bei INT8 und 32x so schnell bei INT4.

3. Benutzt DLSS FP16, INT8, INT4 oder ein Mix aus dem ?

RLZ

2020-04-05, 13:36:50

DSLL muss vom Entwickler "eingebaut" werden, oder?
Jemand eine ungefähre Idee, was für ein Aufwand das ist?
Also wird man das häufiger in Zukunft sehen oder eher seltener da sehr aufwändig?
Da Nvidia gleich eine fertige Integration für die UE4 liefert, würde es mich stark wundern, wenn wir es nicht öfters sehen.

robbitop

2020-04-05, 15:31:33

INT und FP kann gleichzeitig auf Turing laufen. Die Tensorcores sind diese INT ALUs die Matrizen und Vektoren berechnen können.
Der Inferencing Teil von DLSS ist Integer. Davon sicherlich ein guter Teil Matrizen. Man profitiert also von den Tensor Cores ohne die FPUs zu belasten.
IMO sollte das aber auch mit TU116 und dessen INT Vektor ALUs (und auch auf Pascal) möglich sein. Will NV aber nicht.

Akkarin

2020-04-05, 16:18:36

Gast

2020-04-05, 17:46:40

1. Können die Tensor Cores gleichzeitig mit den Shadern benutzt werden ? IIRCs werden teils die gleichen Register etc. gebraucht, also nicht ?

Turing hat die Datenpfade verbreitert, so dass aus dem Shadercore, der aus INT32, FP32 und Tensorcores pro Takt 2 aus 3 verwendet werden können.

2. Gibt es dann überhaupt einen Performance-Vorteil bei FP16 ? Es gibt ja nur einen Tensor Core pro 16 Shader. IIRC ist ein Tensor Core 8x so schnell bei FP16, 16x so schnell bei INT8 und 32x so schnell bei INT4.

1 Tensor Core ist im Prinzip ein FMA Core der mit 4x4 Matrizen arbeitet.
Die Multiplikation erfolgt dabei mit FP16 und die Addition mit FP32 Genauigkeit.

Wobei diese auch bis zu INT4 herunterskaliert werden können, und dafür noch mehr Performance bieten.

Fun Fact: Die Tensor-Cores sind auch für FP16 Operationen in "normalen" Shadern zuständig, und damit für deren doppelte Performance.
Deshalb haben auch die GTX-Turings extra FP16-Einheiten, damit der erzeugte Shadercode innerhalb von Turing kompatibel bleibt.

3. Benutzt DLSS FP16, INT8, INT4 oder ein Mix aus dem ?
Keine Ahnung, man könnte sich ja als Developer bei Nvidia registrieren und dann auf das SDK zugreifen.
Ob das aber derartige Detail verrät weiß ich nicht.

pixeljetstream

2020-04-05, 19:18:38

Naja, wenn nVidia für DLSS INT4 mit Tensor Cores benutzt, damit aber 'nur' doppelte throughput gegenüber 'normalen' Vektor-ALUs dann ist das jetzt nicht der uneinholbare Vorsprung. Mit rapid packed math ist AMD in der selben Größenordnung, wenn nicht sogar noch schneller. Geht es hier evt. um den Stromverbrauch ?

Daher meine Frage. Tensor Cores haben verdammt viele iOS pro Takt pro Core, aber sind halt nur 1/16 der Einheiten. Irgendwas passt da nicht.

edit: ohh, es sind 1/8, nicht 1/16 der Einheiten. Trotzdem Verstehe ich nicht ganz wo die absurden TOS zahlen für die Tensor Cores her kommen.
Es ist die komplette Matrix x Matrix + Matrix Operation welche sie unabhängig durchjagen, herkömmliche Operationen ob nun packed oder nicht müssen alle Zwischenergebnisse einzeln berechnen und dabei müssen Register, Zustände und Instruktionen verwaltet werden... Deswegen fällt viel overhead bei tensorcores weg, man hat ein optimiertes load, store Verhalten etc. Mit der Einschränkung wie sie gefüttert werden müssen.

Akkarin

2020-04-05, 19:48:16

Und wie groß ist nun der throughput eines Tensor Cores im Vergleich mit einem Shader und können sie zusammen laufen ?

pixeljetstream

2020-04-06, 01:02:05

Und wie groß ist nun der throughput eines Tensor Cores im Vergleich mit einem Shader und können sie zusammen laufen ?
https://arxiv.org/abs/1903.07486

Gast

2020-04-06, 11:19:01

Und wie groß ist nun der throughput eines Tensor Cores im Vergleich mit einem Shader und können sie zusammen laufen ?

Es liegt nahe, dass die Tensor cores die ALUs der shader verwenden und die Tensor cores nur "virtuell" vorhanden sind. Hätte NVidia in ihren GPUs separate FP16 ALUs für die Tensor Cores, dann wäre es doch dämlich nicht ein paar mehr Transistoren zu verwenden um die Anzahl der Shader zu erhöhen.

Und durch "Nvidia Math" wird die Zahl der OPS in die Höhe getrieben. Multiply+add -> 2 Tensor OPS
Ich bin mir zwar noch nicht ganz sicher, wie Nvidia auf 4x Tensor OPs im Vergleich zu FP16 kommt.... möglicherweise können die INT ALUs FP16 mull+add ausführen oder store/load wird auch noch als Tensor op gezählt.... ist ja "Nvidia Math"...

Akkarin

2020-04-06, 12:41:48

:up:

Gast

2020-04-06, 17:24:39

Es liegt nahe, dass die Tensor cores die ALUs der shader verwenden und die Tensor cores nur "virtuell" vorhanden sind. Hätte NVidia in ihren GPUs separate FP16 ALUs für die Tensor Cores, dann wäre es doch dämlich nicht ein paar mehr Transistoren zu verwenden um die Anzahl der Shader zu erhöhen.

Nvidia hat separate FP16 ALUs, die auch bei normalen Shaderberechnungen für den doppelten FP16-Durchsatz zuständig sind.

Und Turing Light hat FP16 ALUs die nur für FP16-Operationen, aber nicht für Tensoroperationen genützt werden können.

Karümel

2020-04-13, 10:50:16

Absolute Laienfrage meinerseits.

Kann man DLSS eigentlich auch mit Downsampling kombinieren und würde es was bringen?
Wenn man jetzt zum nen Full-HD Monitor nutz, das Bild dann per DLSS auf 4K hochrechnet und dann auf dem 1080P Monitor wieder ausgibt. :confused:

Troyan

2020-04-13, 10:58:44

Ja, funktioniert einwandfrei.

robbitop

2020-04-13, 11:05:22

Gibt sogar nen PCGH Online Artikel dazu. :)

Raff

2020-04-13, 11:18:57

Jo, robbi. :up: -> DLSS 2x im Eigenbau: So nutzen Sie DLSS mit DSR-Supersampling für fantastische Bildqualität (https://www.pcgameshardware.de/Nvidia-Geforce-Grafikkarte-255598/Specials/Geforce-Tuning-Tipps-DLSS-2x-aktivieren-1346292/)

Ich kann aus Erfahrung mit einer RTX 2080 Ti sagen, dass z. B. 5K-DSR problemlos funktioniert und der Perf-Modus die Bildrate erwartungsgemäß nutzbar macht.

MfG
Raff

Karümel

2020-04-13, 11:29:42

Danke, für den Link.
@ Raff, kommt dazu auch noch was im Heft?

Troyan

2020-04-17, 12:44:38

Zwar nicht "in" Gaming, aber für Gamer. nVidia hat eine AI Umsetzung für das Herausfiltern von Nebengeräuchsen von Voice Chat veröffentlicht: https://www.nvidia.com/en-us/geforce/forums/broadcasting/18/361740/rtx-voice-beta/

Benötigt RTX Karten. Funktioniert auch beim Ausgabegerät. Ziemlich beeindruckend, funktioniert bei einem Youtube ziemlich gut.

Raff

2020-04-19, 10:55:24

Apropos, hat hier noch jemand eine Titan V am Laufen? Lässt sich da problemlos DLSS 2.0 einschalten, wie's bei Turing geht? Performance-mäßig sollte das ja mindestens genauso gut sein.

MfG
Raff

pixeljetstream

2020-04-19, 11:58:57

Turing's Tensor cores haben mehr Features, ist also nicht gesetzt dass es funktioniert.

Raff

2020-04-19, 14:24:27

Weißt du zufällig von einem Paper, das die (Fu+nktions-)Unterschiede thematisiert? Ich weiß nur noch, dass INT8 und INT4 bei Turing doppelt so schnell ablaufen.

MfG
Raff

pixeljetstream

2020-04-19, 14:45:22

Müsste in der CUDA docu stehen. Gibt dort Einträge zu instruction throughput.
Inoffizielle, unabhängige Quelle ist das Paper sehr detailliert https://arxiv.org/pdf/1903.07486.pdf

Karümel

2020-04-20, 18:55:42

Noch ein Laienfrage.
Ein Spiel muss ja DLSS unterstützen. Also geht das ja über Software.
Gibt es dann eigentlich nur per Software. DSLL Ja oder Nein. Oder kann die Entwickler über Updates die Quali von DLSS verbessern?
Bzw. einmal ins Spiel eingebaut und dann ist die Sache fix?

Raff

2020-04-20, 22:47:03

DLSS erfordert laut Nvidia den Zugriff auf bestehende Funktionen zur Bilddatenverrechnung über Zeit sowie diverse Puffer. Heißt: Ein Spiel benötigt zwingend irgendeine Form von Temporal-AA, um DLSS ohne einen Riesenaufriss zu implementieren. Damit ist's zwar nicht genug, aber die paar übrigen Tweaks, die zu machen sind (betrifft unter anderem das Post-Processing am Ende), sind halb so wild.

Soweit ich das verstanden habe, ist die Show dann aber keineswegs fix. Wenn das neuronale Netzwerk "schlauer" geworden ist, kann man den Extrakt (also die Berechnungsinformationen) ins Spiel bringen, sodass DLSS besser wird. Mir ist nur nicht ganz klar, ob das nun per Treiber im Rahmen des NGX-Gedöns reinkommt, vom Spielentwickler implementiert werden muss - oder beides.

Müsste in der CUDA docu stehen. Gibt dort Einträge zu instruction throughput.
Inoffizielle, unabhängige Quelle ist das Paper sehr detailliert https://arxiv.org/pdf/1903.07486.pdf

Besten Dank. :up: =)

MfG
Raff

Gast

2020-04-21, 21:49:27

DLSS erfordert laut Nvidia den Zugriff auf bestehende Funktionen zur Bilddatenverrechnung über Zeit sowie diverse Puffer.

Vor allem muss das Spiel selbst mal in reduzierter Auflösung rechnen, das passiert nicht "von selbst".

Dann muss das Spiel für die temporale Komponente die einzelnen Frames mit Subpixel-Offsets berechnen, das muss es auch mit TAA.
Und wie du gesagt hast, müssen diverse Buffer an das DLSS übergeben werden, damit dieses seine "Magic" machen kann.

Und das Spiel muss wissen wo es mit der echten Auflösung arbeitet, und wo mit der upgescalten Auflösung und sich entsprechend anpassen.

Heißt: Ein Spiel benötigt zwingend irgendeine Form von Temporal-AA, um DLSS ohne einen Riesenaufriss zu implementieren.

Naja, nicht wirklich, das einzige was man vom TAA übernehmen kann ist das Rendern mit Subpixeloffsets, aber das sollte jetzt auch nicht so wahnsinnig schwer zu implementieren sein.

D

Damit ist's zwar nicht genug, aber die paar übrigen Tweaks, die zu machen sind (betrifft unter anderem das Post-Processing am Ende), sind halb so wild.

Soweit ich das verstanden habe, ist die Show dann aber keineswegs fix. Wenn das neuronale Netzwerk "schlauer" geworden ist, kann man den Extrakt (also die Berechnungsinformationen) ins Spiel bringen, sodass DLSS besser wird. Mir ist nur nicht ganz klar, ob das nun per Treiber im Rahmen des NGX-Gedöns reinkommt, vom Spielentwickler implementiert werden muss - oder beides.

Besten Dank. :up: =)

MfG
Raff[/QUOTE]

Klevapalis

2020-04-22, 11:33:25

Vor allem muss das Spiel selbst mal in reduzierter Auflösung rechnen, das passiert nicht "von selbst".
Kann jeder mit ner Custom Resolution.

Dynamische Anpassung an die Auflösung sollte jedes Spiel unterstützen.

Raff

2020-04-22, 14:29:42

Die Render-Kette bei Nutzung von DLSS ist gemeint. :) Die Engine muss intern mit Bruchstücken der eingestellten Auflösung arbeiten (Quality, Balanced, Performance), was man ihr erst beibringen muss. Dann wird lustig gerechnet und alles auf die Ausgabe-Auflösung hochgerechnet. Das GUI wird dabei stets "nativ", also mit der Endauflösung, berechnet, anstatt dass man da wild rauf- und runterskaliert.

MfG
Raff

Gast

2020-04-23, 15:31:12

Kann jeder mit ner Custom Resolution.

Das Spiel muss aber damit umgehen können, dass es an verschiedenen Stellen der Renderpipeline mit unterschiedlichen realen Auflösungen unterwegs ist.

Mit Custom Resulution hast du immer noch eine einzige Auflösung die für das ganze Spiel verwendet wird.

Das Spiel berechnet möglicherweise auch verschiedene Dinge abhängig von der Aufösung, da muss dann überprüft werden, welche die Korrekten Input-Parameter sind, die Bildschirmauflösung nach dem Upscaling oder die reale Renderauflösung.

Ansonsten hättest du möglicherweise das HUD an komplett falscher Position gezeichnet, oder die Post-Processing Effekte funktionieren nicht korrekt.

DLSS ist eben kein Post Processing Effekt, der ein fertiges Bild nimmt und daraus ein besseres macht, sondern es sitzt quasi in der Mitte der Renderingpipeline.

Dynamische Anpassung an die Auflösung sollte jedes Spiel unterstützen.

Spiele welche die Renderauflösung schon bisher unabhängig von der Darstellungsauflösung verwenden können, sollten schon so ziemlich alles in der Engine haben, was es für DLSS benötigt.

Das könnten mittlerweile zwar viele Spiele, aber doch nicht alle.

BlacKi

2020-04-28, 13:30:00

So, ich hab jetzt den idealen Mittelweg aus Performance und Bildqualität gefunden: DLSS 626p! Die Auflösung ist normalerweise nur bei 1080p verfügbar, mit einem Griff in die Render.ini aber auch bei WQHD ausführbar.

https://imgsli.com/MTUyNjY

Was positiv auffällt: wie vorher auch schärfere Texturen, Boden, Marmor und die Bunkerschrift sind detailierter. Es glättet die Kanten besser als das Game eigene TAA, zu sehen am Holzgeländer ganz rechts in der Bildschirm-Mitte.

Was sehr positiv auffällt: die Performance!

was negativ auffällt: die üblichen Artifakte, allerdings deutlich minimierter als bei 576p. Schärfe etwas zu krass.

Also damit bin ich persönlich sehr zufrieden. Was meint ihr?

wenns das für alle spiele gäbe, würde ich mir sofort eine turing kaufen.

welche karte nutzt du für die tests?

Dampf

2020-04-28, 14:04:47

wenns das für alle spiele gäbe, würde ich mir sofort eine turing kaufen.

welche karte nutzt du für die tests?

Wohl das schwächste RTX Mitglied, eine RTX 2060 Laptop-GPU. :biggrin: Bei 1440p muss man natürlich etwas tricksen, um die felsenfeste 60 FPS mit RTX on zu bekommen. Das spätere Level mit dem Dampfrohren ist deutlich fordernder, daher hab ich ein paar Einstellungen vorgenommen, um auch da die 60 FPS zu halten. Volumetrics auf niedrig, RTX contact shadows off (dafür dann natürlich SSAO on), diese zwei Dinge fallen kaum auf, schaufeln aber sehr viele FPS frei (wie im Screenshot zu sehen hab ich da in der Geschäftsleitung ungefähr zwischen 70-90 FPS). Volumetrics zum Beispiel, verringert nur die Auflösung der volumetrischen Effekte. Von Hoch auf Medium gibt ungefähr 12 FPS, mitunter deutlich mehr als so mancher RTX Effekt. Den Unterschied sieht man in bestimmten Szenen, wenn man sich reichhaltige Volumetrics genau anguckt, dann sind sie etwas niedrig auflösender. Von Mittel zu Niedrig hab ich keinen visuellen Unterschied feststellen können, dafür aber 2-3 FPS gewonnen.

RTX contact shadows hat jedoch einen deutlicheren Einfluss auf die Grafik als die Volumetrics-Auflösung, denn damit wird jedes noch so kleine Objekt, wie soll ich sagen, abschließender schattiert. Schaufelt 3-4 FPS frei. Hört sich nach nicht viel an, aber auf bei meiner Mission die 60 FPS im Dampflevel zu halten, ist das ein Opfer, das gemacht werden muss. :biggrin:

Man könnte natürlich auch die Indirekte Beleuchtung deaktivieren, das hat einen deutlich größeren Effekt auf die FPS. Aber da muss ich sagen, dass das die Grafik deutlich aufpoliert, denn jedes Objekt erhält korrekt berechnete Beleuchtung und Schattierung, damit sieht das Spiel "voll" aus. Ich gehe mal davon aus, dass eine Desktop RTX 2060 das Spiel mit allen RTX Effekten, Volumetrics medium und DLSS Performance (720p) in 1440p60 locker möglich ist, da die noch mehr Leistung besitzt.

Im Zentrum steht natürlich DLSS, das das alles ermöglicht! Diese Technologie ist besonders für Laptops interessant. In Wolfenstein zum Beispiel kann ich entscheiden, ob ich mit DLSS, RTX und in WQHD mit 60 FPS spielen will. Oder aber ich nutz DLSS ohne RTX für den ultimaten Performance Boost, um mein 1080p 144Hz Laptop Panel voll auszureizen.

Ich persönlich würde mir von DLSS noch ein Super-Performance Preset in WQHD wünschen (eben die angesprochenen 626p). Wobei ich natürlich zugeben muss, dass ich ein Einzelfall bin, der mit seinem Laptop auch gern mal am WQHD Monitor zockt. :biggrin:

JVC

2020-04-28, 14:15:13

Für eine "RTX 2060 Laptop-GPU" ist das Ergebnis tatsächlich fantastisch :up:

Auf dem 65" 4K betrachtet sind die Unterschiede aber durchaus markant.
(aber ich bin ja auch ein "Pixelzähler" :freak:)

Alles was mir dabei hilft schneller auf "8K" zu kommen,
wird beäugt und ist willkommen :smile:

M.f.G. JVC

Bambuslooter

2020-04-28, 14:52:29

Ich persönlich würde mir von DLSS noch ein Super-Performance Preset in WQHD wünschen (eben die angesprochenen 626p). Wobei ich natürlich zugeben muss, dass ich ein Einzelfall bin, der mit seinem Laptop auch gern mal am WQHD Monitor zockt. :biggrin:
Nicht ganz alleine, zuhause immer via Monitor und unter der Woche am Laptop.
Danke für deine ausführlichen Berichte, sau interessant was da alles geht.
Hab die RTX 2070 im Laptop.
Läuft deine Kombi auch mit UV?
Könntest durchaus minimal höhere DLSS Settings fahren, wenn du alles undervoltest.

Dampf

2020-04-28, 15:14:20

Nicht ganz alleine, zuhause immer via Monitor und unter der Woche am Laptop.
Danke für deine ausführlichen Berichte, sau interessant was da alles geht.
Hab die RTX 2070 im Laptop.
Läuft deine Kombi auch mit UV?
Könntest durchaus minimal höhere DLSS Settings fahren, wenn du alles undervoltest.

Nur die CPU is undervoltet. Die GPU ist stock und läuft mit 85 Watt TGP. :smile:

GPU-Undervolting und Takterhöhung hab ich schon versucht. Gibt durchaus etwas mehr Performance, aber nicht so viel, dass es sich lohnen würde (wobei ich das bei Control noch nicht ausprobiert hab).

Generell muss ich sagen, dass sich die Performance mit DLSS 2.0 verschlechtert hat. Das shaderbasierte DLSS 1.9 lief schneller, hier konnte ich ohne Probleme DLSS 720p in WQHD nutzen. Jetzt muss ich auf 626p runtergehen, um die gleiche Performance (+2-3 FPS) zu erhalten. Dafür sieht DLSS jetzt aber natürlich bei weitem besser aus, selbst 626p raucht das damalige DLSS 720p in der Pfeife.

Ich vermute das liegt daran, dass die Tensor Cores in den Notebooks etwas zu unterdimensioniert sind und mehr auf die Shader ALUs drücken. Immerhin brauchen die ja auch Speicherbandbreite und teilen sich das Power-Budget mit der restlichen GPU.

Witzigerweise konnte ich bei Minecraft RTX das nicht feststellen, hier ist DLSS 2.0 sehr effizient, die Framerate in 720p ist fast identisch zu der, als wenn man 1080p mit DLSS spielen würde (- 1 bis 3 FPS). Also wie man sieht, auch bei DLSS 2.0 gibt es Unterschiede von Titel zu Titel.

Was auch auffällig ist, ist dass das DLSS 2.0 in Control sehr viel VRAM allocation einspart. Bei Minecraft bleibt sie hingegen gleich. Bei Mechwarriors scheint DLSS auch VRAM einzusparen (wenn man den YouTube Videos Glauben schenken darf) Jetzt ist das noch nicht interessant, aber in Zukunft wenn Titel mehr VRAM benötigen und noch nicht von meinem Geliebten Retter (Sampler Feedback :biggrin:) Gebrauch machen, könnte DLSS hier durchaus helfen.

@JVC 65 Zoll 4K, nicht schlecht. :eek: Ja, da ist sowas natürlich wesentlich auffälliger als auf meinem 24 Zoll WQHD Monitor :biggrin: Da wäre es natürlich sehr interessant, 4K DLSS auf Performance (1080p) und natives 4K zu vergleichen.

JVC

2020-04-28, 15:25:10

Da wäre es natürlich sehr interessant, 4K DLSS auf Performance (1080p) und natives 4K zu vergleichen.
Leider hab ich keine Tu-Karte.
Aber Jeder der einen Fernseher verwendet, sollte mal das Fernseher eigene Upscaling testen ;)
Das von meinem Samsung erinnert mich optisch sehr an DLSS, aber Nativ bleibt Nativ.

Abgesehen davon, spiele ich eher ältere Titel und da reicht die 1080Ti eigentlich locker.
(behindern tun mich nur die alten Anschluss-Standards, freu mich auf HDMI 2.1 :))

M.f.G. JVC

Dampf

2020-04-28, 15:38:49

Leider hab ich keine Tu-Karte.
Aber Jeder der einen Fernseher verwendet, sollte mal das Fernseher eigene Upscaling testen ;)
Das von meinem Samsung erinnert mich optisch sehr an DLSS, aber Nativ bleibt Nativ.

Abgesehen davon, spiele ich eher ältere Titel und da reicht die 1080Ti eigentlich locker.
(behindern tun mich nur die alten Anschluss-Standards, freu mich auf HDMI 2.1 :))

M.f.G. JVC

Hast du eines dieser Samsung 8K Fernseher, die einen dedizierten AI chip für 4K zu 8K upscaling haben? So einen hab ich im Media Markt mal begutachtet, echt krank die Dinger :freak:

Allerdings weiß ich nicht, ob man das vergleichen kann. DLSS nutzt ja Motion-Vektoren in Games, die es bei Filmen logischerweise nicht gibt und nutzt deep learning um das Bild zu rekonstruieren. Also weit mehr als nur Upscaling. Trotzdem natürlich auch da interessant.

JVC

2020-04-28, 15:47:22

Hast du eines dieser Samsung 8K Fernseher, die einen dedizierten AI chip für 4K zu 8K upscaling haben? So einen hab ich im Media Markt mal begutachtet, echt krank die Dinger :freak:
Leider nein, aber hätte ich gerne :freak:
Ich warte noch auf ne HDMI 2.1 GPU und dann such ich mir nen neuen Bildschirm :biggrin:

Allerdings weiß ich nicht, ob man das vergleichen kann. DLSS nutzt ja Motion-Vektoren in Games, die es bei Filmen logischerweise nicht gibt und nutzt deep learning um das Bild zu rekonstruieren. Also weit mehr als nur Upscaling. Trotzdem natürlich auch da interessant.

Naja, ich weis auch nicht wie viel Watt die Tensorkerne auf ner NV-GPU benötigen...
Aber die meisten Fernseher (glaub ich zu mindestens) können was ähnliches.
(gerade die teuren 4K oder 8K Fernseher haben eigentlich alle Rechenleistung für ein "Upscaling")

M.f.G. JVC

robbitop

2020-04-28, 15:51:47

DLSS hat ein anders trainiertes Netzwerk und ist tief in die 3D Pipeline des Spiels eingebunden. Es bekommt mehr als nur den fertigen Scanout des Frontbuffers. Und es wird vor dem Post Processing und vor dem HUD gemacht.
Das muss prinzipbedingt zu völlig anderen Resultaten führen. Damit es richtig gut sein kann, muss es möglichst tief integriert sein.

JVC

2020-04-28, 16:02:20

Damit es richtig gut sein kann, muss es möglichst tief integriert sein.
Keine Ahnung wie das genau funktioniert.
Aber es funktioniert m.M.n. ganz gut :smile:

Ich hab schon 4K Gameplay vom USB-Stick auf 8K "aufgeblasen" gesehen :eek:
Drauf gespielt hab ich leider noch nicht ;( (Nativ bleibt trotzdem Nativ)

M.f.G. JVC

robbitop

2020-04-28, 16:28:33

Keine Ahnung wie das genau funktioniert.
Aber es funktioniert m.M.n. ganz gut :smile:

Ich hab schon 4K Gameplay vom USB-Stick auf 8K "aufgeblasen" gesehen :eek:
Drauf gespielt hab ich leider noch nicht ;( (Nativ bleibt trotzdem Nativ)

M.f.G. JVC
Naja 4K ist ja schon eine wahnsinnig hohe Auflösung als Startpunkt. Außerdem ist aufgenommenes Gameplay als Video ja verlustbehaftet komprimiert und unterliegt einer gewissen Unschärfe.
Echtes Gameplay mit niedrigen Auflösungen als Basis ist da schon eher die Messlatte.

Gast

2020-04-28, 17:44:23

Allerdings weiß ich nicht, ob man das vergleichen kann. DLSS nutzt ja Motion-Vektoren in Games, die es bei Filmen logischerweise nicht gibt und nutzt deep learning um das Bild zu rekonstruieren. Also weit mehr als nur Upscaling. Trotzdem natürlich auch da interessant.

So gut wie alle Upscaler nützen Motion-Vektoren. Nur hat DLSS den Vorteil dass es diese direkt vom Spiel selbst bekommt. Beim Video-Upscaling müssen diese erst aus der Abfolge der Bilder rekonstruiert werden, was auch mal daneben gehen kann, schließlich haben Videos ja keinen Tiefenpuffer.

Die Upscaler betrachten in der Regel mehrere Bilder in der Vergangenheit und oft auch in der Zukunft für die Rekonstruktion, und erzeugen deshalb meistens auch einen nicht unerheblichen Output-Lag. Für Videos stört das natürlich nicht, aber das macht sie für Spiele unbrauchbar.

Ein weiterer Punkt ist, DLSS ist für Standbilder quasi Perfekt, da es eigentlich fast nichts erfinden muss und alle Daten tatsächlich berechnet. Bei DLSS werden aufeinanderfolgende Frames an verschiedenen Subpixelpositionen berechnet, das erzeugt durchaus auch echte Mehrinformation, und kann durchaus auch als echtes Supersampling bezeichnet werden, nur eben temporal.

Bei Videoupsampling ist es genau umgekehrt, da im Grunde versucht wird über mehrere Frames verteilt Details zu finden, die in einem einzelnen Frame nicht drinnen sind, bringt das bei einem Standbild fast nichts, wenn jeder Frame identisch ist können keine Details über mehrere Frames erzeugt werden, und es bleibt dann eigentlich "nur" mehr Sharpening übrig.

Dampf

2020-05-07, 15:19:24

Interessant: Auch Star Citizen forscht an einem Deep Learning unterstützten Denoiser für Raytracing: https://robertsspaceindustries.com/comm-link/transmission/17585-Star-Citizen-Monthly-Report-April-2020

Zusammen mit der Aussage von Nvidia, dass sie an einem AI-Denoiser für Minecraft forschen würden, ergibt sich ein ziemlich klares Bild. Kommt demnächst etwa ein AI-Denoiser der auf den Tensor Cores läuft? Das würde die Performance von Raytracing erheblich beschleunigen.

Fusion_Power

2020-05-07, 15:25:56

Ist beim Raytracing nicht das RT an sich der größte Performancefresser? Kann da das denoising überhaupt so viel ausmachen?

Dampf

2020-05-07, 15:27:38

Ist beim Raytracing nicht das RT an sich der größte Performancefresser? Kann da das denoising überhaupt so viel ausmachen?

Bei Minecraft ist es tatsächlich so, dass der Denoising Teil mehr kostet als das eigentliche Raytracing, nämlich 45%.

Wie es bei Hybriden Games aussieht weiß ich nicht kann mir aber auch hier vorstellen, dass Denoising ebenfalls einen großen Teil ausmacht. Sollte eigentlich ähnlich sein.

robbitop

2020-05-07, 15:34:26

Ein weiterer Punkt ist, DLSS ist für Standbilder quasi Perfekt, da es eigentlich fast nichts erfinden muss und alle Daten tatsächlich berechnet. Bei DLSS werden aufeinanderfolgende Frames an verschiedenen Subpixelpositionen berechnet, das erzeugt durchaus auch echte Mehrinformation, und kann durchaus auch als echtes Supersampling bezeichnet werden, nur eben temporal.
Wobei das ja ein alter Hut ist. Das hat TSSAA auch schon so gemacht. In Kombination mit MSAA gab es das ja auch schon lange (ATIs Temporal MSAA wo sie pro Frame das Samplegrid rotiert/alterniert haben / NV's MFAA war praktisch das gleiche wie ATIs Verfahren aber mit ein bisschen mehr Verrechnungsarbeit).

Dampf

2020-05-22, 15:38:24

FlashBFE

2020-05-29, 19:24:27

Scheinbar ist AI Denoising auf den Tensor Cores nun bereit für Spiele:

https://www.artstation.com/artwork/e0Eyv6

It's a fully playable game that is ENTIRELY ray-traced, denoised by NVIDIA's AI and DLSS, and obeys the laws of physics - all running in real-time on a single RTX GPU. Absolutely mind-blowing.

Da wurde aber ganz schön geschummelt. Im Standbild brechen die Murmeln das Licht und erzeugen einen Brennpunkt sowie eine Abbildung ihres Inhalts auf dem Papier und dem Pinsel. Im Video haben sie nur einen dummen, leeren Schatten. Auch die Reflexionen sehen nicht mehr so gut aus. Das beste an dem Video sind die Geometrie und die Texturen, nicht das RTX.

Dampf

2020-08-01, 15:33:17

https://twitter.com/anorangeduck/status/1289310169797517313

Motion Matching mit ML

Dampf

2020-09-01, 22:12:58

Jensen ist in der Präsentation heute nochmal darauf eingegangen, wie man die Tensor Cores zukünftig in Spielen verwenden möchte.

https://youtu.be/E98hC9e__Xs?t=787

Dampf

2020-10-20, 14:04:17

CDPR nutzt maschinelles Lernen, um die Lippensynchronität in Cyberpunk 2077 für alle Sprachen dramatisch zu verbessern.

https://www.youtube.com/watch?v=uFIxiz0jwRE&feature=emb_title

Sieht sehr gut aus (auch in Deutsch) ein wirklich tolles Beispiel, wie man ML in Spielen einbindet!

basix

2020-10-20, 23:39:01

Auf das warte ich schon länger. Mit korrekter Lippensynchro ist es viel glaubwürdiger und "tiefer"

Dampf

2020-12-11, 21:23:10

Cyberpunk macht es mal wieder deutlich, NLP in Games können gar nicht früh genug verwendet werden. Es zieht mich komplett aus der Immersion wenn NPCs ständig das selbe sagen und einfach strunz doof sind.

-/\-CruNcher-/\-

2020-12-12, 06:51:45

Es ist ja nicht nur die Lippensynchro es ist die ganze Emotionale Austrahlung die in Realtime verändert werden kann zur gleichen Zeit.
Die Gefühlswelt des Characters kann blitzschnell in Realtime geswitched und abgebildet werden, sie redet traurig, sie redet bessorgt, sie redet erschreckt, sie redet verunsichert, sie hat etwas zu verbergen, sie scheint apathisch.

Nicht so neu aber noch nicht in der überzeugenden Qualität wie wir das gerade in Cyberpunk 2077 erleben mit einem ML Ansatz im Hintergrund und Realtime in einem Entertainment Produkt.
Was auf jeden Artificial Character der aus dem Character Creation part kommt angewendet werden kann.

Geldmann3

2020-12-19, 05:17:01

Ich kann mir sehr gut vorstellen, dass Reflexionen, Physik und Umgebungsverdeckung in Zukunft ebenfalls an ein neuronales Netzwerk ausgelagert werden, was 100x schneller in der Berechnung ist und dabei 95% so akkurat wie bisherige state of the art Methoden. Das klassische Raytracing wird dann nur noch als Referenzmaterial für's Training dienen. Doch auch riesige Spielwelten mit Details zu füllen, wozu Menschen aus Zeitmangel niemals in der Lage wären, sehe ich in Zukunft als Aufgabe von AI. Ich schätze menschlich Hand wird in Zukunft vor allen dort angelegt, wo die ,,Missionen" stattfinden oder der Fokus des Spielers bewusst hingelenkt wird.

Jedenfalls habe ich bereits von mehreren Game-Developern gehört, dass auch sie glauben, es gehe in diese Richtung. Was wir zurzeit sehen ist erst der absolute Anfang. Die Kinderschuhe von AI in Games. DLSS ist quasi das Pong der AI bezüglich Videospiele.

-/\-CruNcher-/\-

2020-12-19, 05:43:41

Ja und auch in der Hardware wird sich einiges ändern, wir sehen es schon bei Apple,Intel, Nvidia vor allem sehr direkt auch in vielen teilen der Smarthphone Socs ist es mittlerweile standard Netzwerke Inferencen zu können und das immer effizienter.

Es gibt so viele Vorteile bei der Skalierung und Resourcen Verteilung bei Nvidia sehen wir direkt vor uns wie teils ein Hardware Node Vorteil weg kompensiert wird (nicht ganz 1 voller wir wissen noch zu wenig aber es ist schon ein Kostenfaktor der hier eine Rolle spielt).

Das ist absolut selten ich würde sogar sagen gab es so noch nicht selbst wenn du der beste ASM optimierer bist gegen Nvidias Cluster Power hast du keine Chance.

Über den Erfolg des Ergebnisses kann man durchaus streiten aber wie du sagtest das ist erst der Anfang sozusagen experimentele phase, wo genau, wie ,warum, höchster impact, hohe integrations effizienz, kosten/nutzen.

Wer jetzt nicht dabei ist verpennt alles, die großen sind aber alle mit dabei weil sie sich schon Jahre darauf vorbereitet haben und wir reden da von einem Zeitraum weit bevor Nvidia ihre Tensor Cores in Turing präsentierte, sehr weit davor.

Und da geht auch einiges ontop bei den jetzigen AMD Karten und Konsolen glaubt mal nur ;)

Für mich sind 6800 und 3070 absolute super burner als Vergleich was man alles hin und her optimieren kann und jeweilige nachteile effektiv ausgleichen.
Der Rest ist Skalierungsbonus, interessiert mich persönlich absolut nicht ;)

basix

2023-05-28, 12:35:39

Ich hole mal diesen Thread aus der Versenkung:
DirectML Optimierungen für Stable Diffusion wurde released: https://devblogs.microsoft.com/directx/dml-stable-diffusion/

AMD als auch Nvidia haben auf ihren Webseiten ebenfalls was dazu geposted:
https://gpuopen.com/amd-microsoft-directml-stable-diffusion/
https://blogs.nvidia.com/blog/2023/05/23/microsoft-build-nvidia-ai-windows-rtx/

dildo4u

2023-05-29, 07:48:35

NVIDIA ACE for Games Sparks Life Into Virtual Characters With Generative AI

5R8xZb6J3r0

https://videocardz.com/press-release/nvidia-reveals-ace-avatar-cloud-engine-game-characters-powered-by-generative-ai-tech

DrFreaK666

2023-05-29, 09:02:30

begeistert mich ehrlich gesagt wenig. Das sieht ziemlich gescripted aus.
Was passiert, wenn man ihm zufällige Fragen stellt? Wie viel weiß der Barkeeper von der Welt?
Wenn er nur da ist, um eine Nebenquest voran zu bringen, dann würde ich das lieber als Cutscene haben

dildo4u

2023-05-29, 09:11:51

Ist das nicht der Punkt das per Hand zu machen ist zu aufwendig für Nebenquests.

DrFreaK666

2023-05-29, 09:21:23

Wieso? Wenn ich ihm nur Fragen zu den Nebenquest stellen darf, wieso darf ich ihm überhaupt Fragen stellen?
In der Demo geht's natürlich um Spracherkennung und -wiedergabe, aber wenn man es genauer nimmt, dann weiß ein Barkeeper mehr, als nur Details zur Nebenquest (bzw. sollte es wissen). Füttert man ihn dann mit Informationen, damit er realer wirkt?
Ist das dann wirklich weniger aufwendig?

Stell mir gerade vor, wie NPCs in Zukunft auf Schwäbisch oder Sächsisch vollgelabert werden :biggrin:

Tangletingle

2023-05-29, 10:11:00

NVIDIA ACE for Games Sparks Life Into Virtual Characters With Generative AI

https://youtu.be/5R8xZb6J3r0

https://videocardz.com/press-release/nvidia-reveals-ace-avatar-cloud-engine-game-characters-powered-by-generative-ai-tech
Und es geht weiter:

NVIDIA used GPT-4 to create a autonomous Al agent that goes around Minecraft, explores and advances the tech tree. The incredible thing here is that the bot writes scripts for itself that makes it better at playing the game. So if it meets a spider, it writesa script for how to kill that spider. Once that script is working, it adds that "skill" to it's 'skill library". Over time it keeps advancing and developing better abilities. It's skill library is also transferable to other Al agents like AutoGPT. This seems like it has a lot of implications for the future of software development. This is able to generate code and keep making it better without human help. Everything is automated.

7yI4yfYftfM

AffenJack

2023-05-29, 10:13:01

DrFreaK666

2023-05-29, 10:48:00

AffenJack

2023-05-29, 11:20:26

Mir schon klar, das klingt für mich aber nicht nach weniger Arbeit, sondern nach mehr

Es ist deutlich weniger Arbeit für nen glaubhaften NPC. Wenn du deinen NPC nur 0815 Text aufsagen willst und immer bei völlig dummen NPCs bleiben willst, ja dann ist es wahrscheinlich weniger Arbeit. Willst du dagegen eine glaubwürdige Interaktion führen, bei der nicht alles vorgegeben ist, dann ist das durch die KI viel einfacher.

DrFreaK666

2023-05-29, 11:32:02

Naja, mal schauen. Ich kann mir jedenfalls kein Spiel vorstellen, bei dem ich dauernd ins Mikrofon quatsche.
Was ist dann mit den Gamern, die das nicht wollen?

Ghost1nTh3GPU

2023-05-29, 11:36:31

Naja, mal schauen. Ich kann mir jedenfalls kein Spiel vorstellen, bei dem ich dauernd ins Mikrofon quatsche.
Was ist dann mit den Gamern, die das nicht wollen?

Rein aus Barrierefreiheit-Gründen wird man da sicherlich auch per Tastatur eingeben können.
Mit intelligenteren AI-Agenten wird der Singleplayer wohl halt um Elemente bereichert die man sonst nur aus Multiplayer kannte.

Troyan

2023-05-29, 11:37:30

Die können Text schreiben oder vorgefertigten Text auswählen.

Es geht hier darum, dass NPCs nicht mehr per Hand entwickelt und designt werden, sondern alles automatisiert geschieht: Backstory, Animation, Sprache, Übersetzung, Reaktion.

DrFreaK666

2023-05-29, 11:37:57

Rein aus Barrierefreiheit-Gründen wird man da sicherlich auch per Tastatur eingeben können.
Mit intelligenteren AI-Agenten wird der Singleplayer wohl halt um Elemente bereichert die man sonst nur aus Multiplayer kannte.

Das klingt nach Steinzeit DOS-Text-Adventures. Kommt bestimmt super an auf Konsolen

Die können Text schreiben oder vorgefertigten Text auswählen.

Es geht hier darum, dass NPCs nicht mehr per Hand entwickelt und designt werden, sondern alles automatisiert geschieht: Backstory, Animation, Sprache, Übersetzung, Reaktion.

Jo, die Demo zeigte aber diesbezüglich recht wenig, finde ich

Ghost1nTh3GPU

2023-05-29, 11:45:27

Das klingt nach Steinzeit DOS-Text-Adventures. Kommt bestimmt super an auf Konsolen

Die CoD/Fortnite-Konsolen-Casuals sind es aber eher gewöhnt das Mikro zu nutzen.

Ansonsten spielt man halt die Rolle des namenlosen und sprachlosen Hauptcharakters, der nur Schwert oder Pistole für sich sprechen lässt.;);D

AffenJack

2023-05-29, 11:47:42

Naja, mal schauen. Ich kann mir jedenfalls kein Spiel vorstellen, bei dem ich dauernd ins Mikrofon quatsche.
Was ist dann mit den Gamern, die das nicht wollen?

Für die wirds andere Möglichkeiten geben und andere Games. Ich kann mir Spiele die auf den Detekivaspekt wertlegen vorstellen, die das als Kernelement sehen werden die richtige Interaktion zu führen. Da wirds dann keine andere Möglichkeit geben, aber solche Spiele waren vorher auch nicht möglich.

Andere wiederrum werden bestimmt auch noch vorgegebenen Text als Ausweichmöglichkeit haben und das einfachste für Entwickler, die KI kann auch den Text deines eigenen Charakters erstellen auf Basis seines eigenen Wissens.

Ich frage mich aber, wieviel Leistung das wohl kostet das in Echtzeit zu erstellen. Trainieren wird vorher gemacht, aber Spracherkennung inkl. Chatbotfunktion, also Inferencing ist auch anspruchsvoll. Das klingt schon nach einer Menge Rechenleistung, die da drauf gehen wird. Soll jemand mit langsamer GPU dann ne größere Zeitverzögerung haben, bis die Antwort kommt? Da sehe ich das größte Problem für die Spieler.

Troyan

2023-05-29, 11:51:31

Jo, die Demo zeigte aber diesbezüglich recht wenig, finde ich

Ich denke, dass Video von nVidia bzgl. Video ist sehr anschaulich, was möglich sein wird: https://www.youtube.com/watch?v=MVUQ5iJCmKs

Es geht darum, dass du nur noch die Stimme des Sprechers benötigst. Der Rest wird automatisiert erstellt und in seiner Stimmlage übersetzt.

Monger

2023-05-29, 12:07:36

Naja, mal schauen. Ich kann mir jedenfalls kein Spiel vorstellen, bei dem ich dauernd ins Mikrofon quatsche.
Was ist dann mit den Gamern, die das nicht wollen?
Ich halte es für sinnvoll dass man mischt, dass man also Standardfragen vorgibt, plus nen Prompt für offene Fragen.
Ja, das ist shice für die Immersion, aber es ist glaub für den Spielfluss besser.

Ex3cut3r

2023-05-29, 12:22:42

BlacKi

2023-05-29, 12:25:20

Jo, die Demo zeigte aber diesbezüglich recht wenig, finde ich

wenn man das video ohne kontext betrachtet, so wie ich anfangs, dann würde ich dir da zustimmen.

mit kontext bedeutet das:
deutlich geringerer aufwand um spiele zu entwickeln
deutlich geringere entwicklungskosten durch weniger mitarbeiter
bessere immersion, da die npc bei selber frage auch anders anworten, mehr details preisgeben können bei leicht anders gestellter frage, und smalltalk halten können der nicht vorprogrammiert ist.

das sind so die keyfeatures.

ich denke, es wird auch ziemlich interessant, was bugs angeht:biggrin:

Troyan

2023-05-29, 12:25:25

Nein, eine Demo in der UE5.

BlacKi

2023-05-29, 12:28:59

was nicht heißt das nicht nicht per dlc eingebaut werden kann. vl deshalb der verspätete dlc. dlss3 kam auch zuerst in CP.

ich wäre zumindest nicht überrascht wenn es so kommen würde.

ich würden den dlc sogar kaufen und dann nochmal einen run starten.

DrFreaK666

2023-05-29, 12:43:44

...ich denke, es wird auch ziemlich interessant, was bugs angeht:biggrin:

Da wird es sicherlich einige Videos geben. Mal schauen ob dich dann der Keeper genervt rauswirft, wenn du immer wieder die gleiche Frage stellst.

Gebrechlichkeit

2023-05-29, 17:31:58

Es geht nicht nur um Fragen zu Nebenquests, es geht um das ganze drumherum. Du gibst der Figur einen Wissensstack und basierend darauf verhält sie sich. Somit kann der NPC z.B. auch ohne spezielle Programmierung auf jede deine Taten in der Umgebung reagieren.

Desch isch mir wurscht.

Ich will nicht, dass ein Questgeber, NPC level 55 in der Wueste [Gothic 3] mich auf meine Taten im Startgebiet level 5 anspricht bzw. mich volllabbert wie toll ich sei. Sind wir alle autis****?¿ Haste gut gemacht, min´jun :freak: WAS wenn man mit dem Questgeber palafern muss, um die Quest abgeben zu koennen ... der aber mit der Tavernen Frau die ganze Zeit rumflirtet, weil die A.I das kann? Und man leider dadurch die Quest nie beenden kann. Der g**le Bock ...

Zehn Saetze schreiben lassen von einem Ghostwriter ist billiger und schneller.
Muss keinen Code erstellt werden, nur ne .txt datei einbinden

Aus:
Antwort A > Vielleicht weiss der Nachbar ...
Antwort Ab > Frag den Bibliotekar ...
Antwort Ac > Komm spaeter nochmals vorbei

Wird:
A bibliotheca, come later,
A neighbor with books, a true curator.
Pages upon pages, stories untold,
A treasure trove of knowledge, a sight to behold.
In quiet moments, I hear the pages turn,
A symphony of words, a passion to learn.
For in the world of books, there is no end,
A journey of discovery, a lifelong friend.
So here's to my neighbor, a bibliotheca true,
A source of inspiration, a gift anew.
For in the world of words, we find our way,
And with each page turned, a new world to play.

;D

Shink

2023-05-29, 17:43:14

ich denke, es wird auch ziemlich interessant, was bugs angeht:biggrin:
Vielleicht kann ja AI bei Bugfixing und Optimierung unter die Arme greifen

Gebrechlichkeit

2023-05-29, 18:06:50

NVIDIA ACE for Games Sparks Life Into Virtual Characters With Generative AI

https://youtu.be/5R8xZb6J3r0

https://videocardz.com/press-release/nvidia-reveals-ace-avatar-cloud-engine-game-characters-powered-by-generative-ai-tech

Fake as Dolly Buster. Ihr kauft aber auch alles von denen ab, vom es gibt nur ein China Typen. Muss man von nun an, jedes mal in das Microphon des DualSense reden? Na klar doch. Man muss schon extrem faul wie zehn Faultiere sein, wenn man keine Zeit fuer drei Saetze hat ... die man wie gewohnt in das Spiel einbindet.

Frage A
Frage B
Frage C

Antwort A
Antwort B
Antwort C

Naja, ob damit ME:A besser beim Publikum angekommen waere oder nicht .. die Games werden noch schlechter.
:freak:
https://i.postimg.cc/q7WpS7Hn/u-https-media-giphy-com-media-3ohzd-So-ST6-NVemyhqw-giphy.gif (https://postimages.org/) https://i.postimg.cc/4yQZYb7b/u-https-media-tenor-com-m81-Naja2-Fe8-AAAAd-mass-effect-andromeda-my-face-is-tired.gif (https://postimages.org/)

DrFreaK666

2023-05-29, 18:26:04

Wird es so nicht schwierig einem Charakter eine Persönlichkeit zu geben?
Einer KI beizubringen, wie eine Figur ist, stelle ich mir schwer vor

Monger

2023-05-29, 19:12:48

Wird es so nicht schwierig einem Charakter eine Persönlichkeit zu geben?
Einer KI beizubringen, wie eine Figur ist, stelle ich mir schwer vor
Beschreib ihr wie sie sein soll. Dann antwortet sie in dieser Rolle. Funktioniert jetzt auch in ChatGPT bereits recht gut.

DrFreaK666

2023-05-29, 20:35:34

Beschreib ihr wie sie sein soll. Dann antwortet sie in dieser Rolle. Funktioniert jetzt auch in ChatGPT bereits recht gut.

Naja, ich weiß nicht. Wie bei einem Schauspieler könnte immer eine andere Interpretation dabei herauskommen, aber nicht das, was sich der Autor wirklich ausdachte

Wuge

2023-05-30, 11:27:54

Ich stelle mir gerade vor, wie abertausende von Hobby-Kampfpiloten künftig die AI trainieren, die uns dann irgendwann auslöscht...

Monger

2023-05-30, 12:29:08

Naja, ich weiß nicht. Wie bei einem Schauspieler könnte immer eine andere Interpretation dabei herauskommen, aber nicht das, was sich der Autor wirklich ausdachte
Ich denke es ist kein Problem es zu mischen. Einerseits einem NPC Texte soufflieren die er sagen muss, und andererseits einen Rahmen geben indem er improvisieren darf. Macht man bei Tabletop DSA / D&D ja auch nicht anders.

BlacKi

2023-05-30, 12:45:31

Wird es so nicht schwierig einem Charakter eine Persönlichkeit zu geben?
Einer KI beizubringen, wie eine Figur ist, stelle ich mir schwer vorich denke, dass man das bei den story driving charakters nicht wirklich einsetzt. bei random npc schon eher. aber was monger erwähnt klingt auch nicht verkehrt.

DrFreaK666

2023-05-30, 12:56:44

Ja, macht Sinn.
Muss ja nicht alles starr KI sein, nur weil man die Technologie hat

YeahBuoy!

2023-05-30, 14:34:22

Ich finde die Idee von Nvidia sehr gut, besser als der derzeitige Branchenstandard in Triple A Produktionen bei denen NPCs nur 3-4 Sätze standardmäßig drauf haben allemal. Sehe da wie Monger keine Probleme die Äste die der Charakter bei Dialogen durchwandern kann zu mischen. Die Kunst wird wahrscheinlich sein das die AI generierten Antworten nicht "out of character" klingen.

Es wird vermutlich ein frommer Wunsch bleiben, aber wenn Modelle analog zu ACE als opensource Lösung vorliegen könnten wir vielleicht in naher Zukunft, so in 5-10 Jahren, Indieproduktionen sehen die mit wenig Budget hochwertige Titel mit interessanten neuen Mechaniken umsetzen können.

Monger

2023-05-30, 15:36:09

Es wird vermutlich ein frommer Wunsch bleiben, aber wenn Modelle analog zu ACE als opensource Lösung vorliegen könnten wir vielleicht in naher Zukunft, so in 5-10 Jahren, Indieproduktionen sehen die mit wenig Budget hochwertige Titel mit interessanten neuen Mechaniken umsetzen können.
Das ist ein interessanter Punkt, weil natürlich gibt es hier nen Skalierungseffekt, d.h. Spiele mit extrem vielen NPCs und sehr viel "Lore" profitieren viel mehr von so nem Ansatz als wenn man eine KI für ein kleines Spiel füttert. Dafür ist das Qualitätsmanagement weit schwieriger.

Ich kann mir auch nen halbautomatischen Modus gut vorstellen, d.h. man legt Standardfragen fest, füttert die KI, generiert vorab einen Dialoge für alle möglichen NPCs, und verfeinert die dann von Hand nach. Da hat man die volle kreative Kontrolle, startet aber nicht bei null.

Ben Carter

2023-05-30, 16:57:44

Trap

2023-05-30, 17:15:54

Bei der Umsetzung als Skyrim-Mod kann man auch gut das Potential erkennen und die Aspekte, die eine saubere Einbindung doch nicht ganz einfach machen:
0wCjosz1vOA

YeahBuoy!

2023-05-31, 08:14:54

Der "Trick" bei den LLMs ist halt das man für das Training der dahinterstehenden Neuronalen Netze die richtigen Gewichte für das Training benötigt um das gewünschte Ergebnis zu erhalten. Bis es mal einen halbwegs stabilen Branchenstandard in Form von Produkten gibt kann das noch ziemlich aufwändig werden. Der Grund warum derzeit soviel Dynamik bei den KI Assistenten herrscht ist der Umstand das Facebooks Gewichte geleakt wurden und jetzt jeder fähige Dev der halbwegs potente Hardware hat mit Opensource Lösungen hier experimentieren kann.

Jetzt mal weitergesponnen von NVs Ansatz her; Entweder wird das Ergebnis der NPC Dialoge durch eine breite Palette an vordefinierten Sätzen safe eingegrenzt, aber dann dürfte der Unterschied im Aufwand (irgendwer muss das alles Schreiben) und dem Ergebnis (man kriegt ja doch sehr vorhersehbar nur Allgemeingesülze vorgesetzt) zu den bisherigen manuellen Ansätzen ja kaum merklich sein.

Wenn man den Weg geht ein eigenständiges Modell zusammenzuschrauben kriegt man sicherlich einen bemerkbaren Unterschied hin, aber hier gehen die Kopfschmerzen dann richtig los; wie stellt man sicher das bei den generierten Sätzen keine Doppeldeutigkeiten / Anzüglichkeiten / als rassistisch empfundene Sätze zusammengeklöppelt werden? Das spielt ja durchaus eine Rolle für die Alterseinstufung, vom Shitstorm wenn hier was durchrutscht mal ganz zu schweigen. Das wird für QA Abteilungen zukünftig sicher nicht einfacher, und die wurden bislang bei den meisten Publishern ja eh nur benutzt um ein minimum viable product auf den Markt werfen zu können.

DrFreaK666

2023-05-31, 08:25:11

Eine KI in der QA prüft, ob das alles dann passt für USK12 :ugly:
Kann deine Bedenken aber nachvollziehen

YeahBuoy!

2023-05-31, 09:32:23

Ich glaube wenn wir mal 5 Jahre weiterschauen wird das was jetzt noch scherzhaft klingt real werden. Gerade USK Anforderungen, wenn es sich um einfach abprüfbare Schlagworte handelt, könnte man so sicher automatisieren. Bei kontextabhängigen Handlungen, Gewaltgrad bspw., wird vermutlich weiterhin tricky sein das einer KI beizubringen.

Ich denke das QA hier massiv profitieren könnte, aber mal ehrlich, wenn man sich die großen Releases der letzten Monate anschaut dann weiß man das Qualitätssicherung hier immer auf die hinteren Plätze verschoben wird. Ich glaube bei GTA5 gabs doch vor ein paar Monaten mal einen Hacker der sich das Ladeverhalten angesehen hat und mit einem relativ einfachen Fix die initialen Ladezeiten um 70% reduzieren konnte. Bei stark formalisierten Aufgabenstellungen, wie Code, könnte AI hier wirklich Mehrwert bieten. Solange die Kunden die Hersteller nicht massiv abstrafen um eine Signalwirkung zu erhalten. Hat den Verkaufszahlen nach bislang die Konsumenten auch nicht wirklich interessiert.

Ich sehe da durchaus auch für die Enginehersteller einen Mehrwert, sonst kriegt man bei steigender Komplexität der Software eine schlechte Reputation weil bei den Abnehmern unter Zeitdruck vermeidbare Fehler zu einem miesen Ergebnis führen. Vielleicht sollte man John Carmack mit einem AI Bot mal für ein Jahr zusammen einsperren ;-)....

basix

2023-09-20, 00:35:54

Aquaschaf

2023-09-27, 22:22:36

Einfacher und herkömmlicher Rendering-Algorithmus schlägt AI um Welten: https://www.youtube.com/watch?v=TLK3TDDcJFU

Wirklich spannend. 10x schneller und gleichzeitig deutlich erhöhte Qualität.

Das Paper (100 MByte):
https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gaussian_splatting_high.pdf

Das ist doch auch Machine Learning, nur halt nichts mit Deep Learning, sondern mal ein anderes Verfahren (Stochastic Gradient Descent).

Asaraki

2023-09-27, 22:27:04

Vielleicht kann ja AI bei Bugfixing und Optimierung unter die Arme greifen
1. dürfte eine weile dauern
2. auf jeden fall.

Was aber auf jeden Fall geht ist, dass man gerade grosse / open world games von AIs durchspielen lassen kann (in naher/ferner Zukunft) und so alle möglichen Stränge testen kann. Das ist heute mit integrated/automated testing schlicht nicht möglich.

Aber was ist ein Bug? ^^ Die AI baut dir erstmal Bugs ein, weil sie es nicht besser weiss... ;)

00-Schneider

2023-09-27, 22:38:50

Hmm?

AI macht doch schon Bugfixing. Hab mal was dazu gesehen, da ist eine bzw. mehrere AI 24/7 in der Open World des Spiels rumgelaufen/rumgesprungen und hat so erfasst, an welchen Stellen man fest dauerhaft hängenbleibt.

Rooter

2023-10-03, 15:35:18

0wTf_bbkW2U

MfG
Rooter

Ghost1nTh3GPU

2023-10-03, 17:59:23

https://youtu.be/0wTf_bbkW2U

MfG
Rooter

Das ist (aktuell noch) ein Fake: "This video may be inaccurate and is made for entertainment." ;)

DrFreaK666

2024-06-26, 12:11:44

AMD nutzt ML um Spiele-Texturen zu komprimieren.
https://x.com/GPUOpen/status/1805660331655807439

The_Invisible

2024-06-26, 16:23:37

Gabs bei NV schon voriges Jahr, obs hier dann einen Standard gibt? :D

DrFreaK666

2024-06-26, 16:30:00

Benötigt man bei NV nicht NV-Hardware?

dildo4u

2024-06-26, 16:49:13

Was ist anders bei AMD wenn man fürs ausführen ML braucht wird es kein Entwickler nutzen wenn es die Konsolen nicht können.

Die Vorstellung Jahre vorher passt aber Mesh Shader Demos wurden mit Turing gezeigt und dann in 23 in Alan Wake 2 genutzt.

basix

2024-06-26, 17:25:09

Gabs bei NV schon voriges Jahr, obs hier dann einen Standard gibt? :D

Für was einen Standard, wenn man mit Tensoer/Matrix Cores bereits vielseitiger einsetzbare Beschleuniger gibt? In DX12 gibt es ja neu allgemeine WMMA Instruktionen.

In 5-10 Jahren kann man das dann spezifisch für Texturen evtl. in (konfigurierbare) Fixed Function HW bei den TMUs giessen. Wenns denn sinnvoll ist.

Benötigt man bei NV nicht NV-Hardware?
Sie benutzen ihre Tensor Cores, ja. Könnte man aber in eine allgemeine Lösung portieren, welche z.B. via DX12 WMMA läuft.

Was ist anders bei AMD wenn man fürs ausführen ML braucht wird es kein Entwickler nutzen wenn es die Konsolen nicht können.
Kommt drauf an, wie schwer das DNN ist. Wenn es sehr kompakt ist, kann man das auch mit Packed FP16 oder DOT4 Instruktionen lösen. Das können die Konsolen.

Ansonsten: Halt evtl. erst was für Generation PS6 und Co.

Gast

2024-06-27, 11:07:52

AMD nutzt ML um Spiele-Texturen zu komprimieren.
https://x.com/GPUOpen/status/1805660331655807439

Das klingt jetzt aber nicht nach Teil des Echtzeit-Renderings, sondern dass es nur darum geht Installationspakete und damit auch Downloads kleiner zu machen, und damit auch nicht so wirklich relevant.

basix

2024-06-28, 09:08:07

Man muss die Texturen zur Laufzeit auch wieder dekomprimieren ;)

Edit:
Dekomprimierung kann man mit WMMA (Matrix) machen, aber allenfalls reicht auch normales FP16/FP32 Compute.

Im Twitter Post wird allerdings folgendes genannt:
"Unchanged runtime execution allows easy game integration"
Wird das also in standard Textur-Kompressions Formate konvertiert/komprimiert? Also z.B. DXTC oder BC7? Wäre der Hammer

vinacis_vivids

2024-06-28, 09:50:55

Wahrscheinlich mit WMMA fp16/bf16 HLSL-Shader für die Dekompression. ML (danke MI300X) kommt vor der Erzeugung der HLSL-Shader zum Einsatz. Quasi per handgesteuerte ML und handgesteuerte Shader für FSR4.X ?

Gast

2024-06-28, 10:29:30

Man muss die Texturen zur Laufzeit auch wieder dekomprimieren ;)

Wenn ich es richtig verstehe würde das schon bei der Installation passieren.

basix

2024-06-28, 11:43:55

Wenn ich es richtig verstehe würde das schon bei der Installation passieren.

Das macht mMn nur begrenzt Sinn, wenn man nur Download Grösse und nicht auch Disk Grösse reduzieren will. Aber OK, die Präsentation ist in einer Woche, dann wissen wir mehr.

Gouvernator

2024-07-02, 12:13:45

https://youtu.be/-PS_nP2fZ-c?si=w3_iejjXVBMLxVQB&t=453

Exakt wie im Thread-Titel steht. AI nutzt Videogames für self-training um in Richtung Super-Intelligence zu gehen. OpenAIs ursprüngliche Idee war eigentlich genau das, quasi AI-Produkte zu kreieren die gewisse Games mastern können. ChatGPT hätte eigentlich nur ein besseres Bot werden sollen.:ulol3:

DrFreaK666

2024-07-10, 06:48:59

AMD NTBC (Neural Texture Block Compression) Shrinks Storage Footprint by 70%
https://wccftech.com/amd-ntbc-neural-texture-block-compression-shrinks-storage-footprint-by-70/

Cubitus

2024-09-01, 19:05:52

Ist schon krass..

jHS1RJREG2Q

Gouvernator

2024-12-02, 17:26:20

Ich finde die 3D-Charaktere sehen mittlerweile extremst altbacken aus. Die können mal ruhig Stable Diffusion Qualität aufbieten. Das würde mit lebensechten Figuren die Games auf ganz neue Stufe heben. Zum Vergleich zum neuen Indiana Jones Trailer...
Solche Shooter wären historisch auf einer Stufe mit Doom anzusiedeln.

Gast

2024-12-03, 05:41:01

Gouvernator

2024-12-04, 05:22:19

Wie schwer kann es sein in Doom die 2D-Bitmap-Pixelgegner durch Realtime Stable Diffusion zu ersetzen, die wie mein Indiana Jones aussehen?

DrFreaK666

2024-12-19, 04:18:14

PlayStation and AMD are teaming up to infuse games with AI
https://www.theverge.com/2024/12/18/24324317/amd-playstation-ai-work-better-graphics-project-amethyst
The two companies are establishing a “deeper collaboration” to work on “Machine Learning-based technology for graphics and gameplay

AMD und Sony arbeiten also Hand in Hand an Soft- und Hardware.
Man soll also nicht so bald mit ersten Früchten rechnen.
RDNA4 wird davon vielleicht nur etwas profitieren, wie z.B. Trainigsdaten

basix

2024-12-19, 08:10:00

Das Projekt von AMD und Sony heisst "Amethyst" ;)

aufkrawall

2024-12-19, 08:21:04

Leider nur ein oller Bergkristall, nichts Edles. :freak:

#44

2024-12-19, 08:42:55

Ich denke, dass das recht gut und auch halbwegs einfach funktionieren kann.
Der NPC benötigt natürlich einen Hintergrund. Dieser kann auch über eine AI erzeugt werden, der gewisse Rahmenparameter übergeben werden (Allgemeines Setting, Charakter des NPCs, Job, Geschlecht, Intelligenz, etc. pp.).
Anhand dieser Parameter und der dann erzeugten (und ggf. überarbeiteten) Hintergrundgeschichte wird dann das eigentliche Charakter-Modell für die AI erzeugt. Dieses kann dann natürlich auch um die Ereignisse, die im Verlauf rund um den NPC geschehen erweitert werden. Somit reagiert der NPC auch immer aktuell. Das heißt, wenn sein Kumpel ermordet wurde, weiß er das auch und erzählt nicht, dass er von diesem zur Grillerei eingeladen wurde.

Kombiniert muss das Ganze natürlich noch mit gewissen Grenzen bzw. Bedingungen werden. Sodass ein NPC, der als Questgeber dient, auch tatsächlich die Quest anbietet und nicht nur anderes Zeug von sich gibt.

Das ganze Konstrukt einmal aufzubauen wird nicht leicht, aber ich kann mir gut vorstellen, dass das größtenteils in eine Engine, wie der UE, wandert und dann von den Entwicklern "nur noch" benutzt werden muss. Am Ende des Tages kann es, sofern auch die Sprachsynthese gut klappt, eine ganze Menge Arbeit sparen bei zugleich deutlich besseren NPCs.

Ich denke, alles in allem ist so etwas mit einem Model wie GPT-4 schon gut möglich. Schwieriger wird es sein, das ganze Model soweit runter zu brechen, dass idealerweise keine Cloud benötigt wird, um das Ganze zu berechnen, sondern es lokal basieren kann.

lg Ben
Selbst wenn man einen relativ engen Gesprächsrahmen (Thema / Fakten / Antwortoptionen) vorgibt, könnte man die exakten gesagten Sätze generieren lassen. Schluss damit, sich 1000x die gleiche Geschichte über den Pfeil im Knie anzuhören.

Und noch besser: Damit könnte man auch Wissen glaubhaft in der Welt verteilen - auf der abstrakten Ebene lässt sich das ja gut modellieren.

NPCs lernen über ein Topic indem sie sich mit anderen NPCs darüber austauschen - was a) durch den Spieler beobachtet werden kann und viel wichtiger b) dann hinterher auch mit dem NPC zu dem Thema interagiert werden kann - ganz ohne, dass es wieder dutzendfach der Standardsatz ist.
Oder schlimmer - der NPC der eben noch über das Thema geschwätzt hat vom Spieler gar nicht darauf angesprochen werden kann/nichts davon wissen will, weil kein Dialog dafür existiert.

Es können sogar Charakter/Stimmung/Sitation einbezogen werden.

basix

2025-03-21, 02:58:12

Etwas zu Cooperative Vectors (SM 6.9):
https://devblogs.microsoft.com/directx/announcing-directx-raytracing-1-2-pix-neural-rendering-and-more-at-gdc-2025/

Neural Texture Block Compression:
- AMD https://gpuopen.com/download/publications/2024_NeuralTextureBCCompression.pdf
- Intel (+Cooperative Vectors) https://community.intel.com/t5/Blogs/Tech-Innovation/Artificial-Intelligence-AI/Intel-Co-Presents-Cooperative-Vectors-with-Microsoft-at-Game/post/1674845
- Ubisoft https://arxiv.org/pdf/2311.16121

Nvidias Neural Texture Compression als Vergleich:
https://research.nvidia.com/labs/rtr/neural_texture_compression/

Gouvernator

2025-04-18, 08:21:33

Ich denke mittlerweile mit Blick auf das was schon zu Hause mit Video-Generierung möglich ist, dass die KI-Gaming Branche den Bereich übernimmt welcher damals 70er/80er Jahre im Arcade-Bereich zu finden war. Quasi bahnbrechende Grafik für ich sag mal - 50€ pro Stunde. Zugänglich für jeden, der sich in eine online Schlange bei Nvidias Cloud anstellt.

Wenn einmal die generative KI in Echtzeit und mit Netzwerk einen Battlefiled Match erstellen kann, dann könnte Nvidia oder wer auch immer, mit diesem KI-Gaming-Cloud alle Konsolen/- und PC Spieler auf sich vereinen. Ja, das ist die Zukunft GeForce NOW am DGX NVL72 mit AI Echtzeit Grafik...

Man würde denen quasi eine Grafik bieten, die von einem Supercomputer kommt, also etwas in der Art wie DGX mit 15TB Vram.

Gouvernator

2025-07-04, 08:57:34

Carmack fängt an mit KI in (Atari) Games.
https://youtu.be/4epAfU1FCuQ?si=_WNriV3aMMmdh1_e

Er trainiert quasi Games zockende Bots über Webcam.

ChaosTM

2025-07-04, 09:05:20

Das macht Hassabis seit > 10 Jahren mit DeepMind. Daraus resultierte auch das Nobelpreis gewinnende DeepFold.
Carmack geht jetzt einen Schritt weiter. Hab bisher nur eine Zusammenfassung gelesen, werde aber wohl das ganze Video schaun. Its Carmack ;)

Gouvernator

2025-07-04, 19:44:07

Bei ihm läuft ein KI-Agent auf einem Gaming-Laptop. Mir solls nur recht sein. Ich hab öfters Gedanken gehabt richtig schöne Games in 8K von einem Bot spielen zu lassen wo ich nur zugucke. Die Idee ein Game zusammen mit einem eigenen Laptop durchzuspielen finde ich äußerst amüsant. Während er zockt, kannst du mit ihm auch noch per STT quatschen und ihm eine passende Persönlichkeit wie in Voxta verpassen. Von mir aus können es alte NES Spiele sein oder auch nur ein Spiel. So Battletank 1991 oder Bomberman zu viert mit drei lustigen LLMs. Shut up and take my money...