Komplett KI-generierte Games

[wolik]

Seit ein paar Jahren denke ich, dass die Zukunft nicht bei 'Dreiecken' und Shadern liegt, sondern bei der Generierung des gesamten Bildes durch KI. Und auch der gesamten Handlung.
Wann? Ich denke, im Jahr 2040, plus oder minus 5 Jahre.

Zum Thema:
https://www.pcgameshardware.de/Spiele-Thema-239104/News/Nvidia-Chef-Aussage-KI-Generierte-Spiele-Zukunft-1443558/

Im Rahmen der GTC 2024 (GPU Technology Conference) hat Nvidia-CEO Jensen Huang nicht nur die kommende Blackwell-Plattform vorgestellt, sondern sich auch im Rahmen einer Fragerunde zu den Zukunftsaussichten von Künstlicher Intelligenz in der Spieleindustrie geäußert. Denn schon im vergangenen Jahr erklärte Huang in der Nvidia-Keynote zur GTC 2023, dass künftig "jedes einzelne Pixel generiert wird. Nicht gerendert: Generiert".

[Sardaukar.nsn]

In die Richtung wird es sicher gehen, aber Schritt für Schritt. Ganz sicher kommen werden Ki-NPCs in Spielen wo keine oder deutlich weniger Gespräche mehr gescriptet und nachvertont werden müssen.

psrXGPh80UM

uryeFhnNzEs

[urpils]

ich glaub das alles erst, wenn es wirklich da ist. Bisher ist da nur Hype und Hoffnung, aber Weniges, was mich so überzeugt, dass daraus absehbar ein Spiel gebaut werden kann, zumal der Ressourcenaufwand riesig ist.

Je nachdem, wie sich das entwickelt, könnte es genauso gut den Weg der Blockchain gehen ;)

[Ghost1nTh3GPU]

Mit Sora und den anderen Video-KI zeigt sich ja, dass man mit genügend Trainingsdaten den KIs ein gewisses visuelles und auch physikalisches Weltmodell beibringen kann, in welchem dann Inhalte generiert werden können. Bis so etwas natürlich in 4K/120Hz läuft ist sicherlich noch ein weiter Weg...
Aber grundsätzlich ist ja nicht nur die Spiele-Industrie an Simulationen interessiert: digitale Klone von Fabriken, ... .

Als Zwischenschritte kann man sicherlich davon ausgehen, dass gerade im Bereich von Content (Modelle, Texturen, Animationen, Story) die KI sicherlich auch mittelfristig viel beisteuern wird. Gerade wenn man sich RTX Remix anschaut, wird das wohl vielleicht mal vollautomatisiert ablaufen und so manchen Klassiker hier auf ein modernes Niveau heben und nicht nur mit skalierten Texturen und teurem Pathtracing.

[Altehardware]

Die drehen am Rad das wird so nicht funktionieren
Spiele sind sehr komplexe tools und Zusammenstellen verschiedener 3d modelling software.
ne game engine ist keine geschlossene software sondern massig tools.
Ne ai würde das nicht zusammenbekommen. Da nicht in einen Umfeld drin. Wenn so wäre hätte ai schon ein Bewusstsein und davon ist nicht auszugehen.

[basix]

Ich denke die ersten Anwendungen für AI/ML in Spielen werden folgende sein:
- Story Writing
- NPC Dialoge
- Localization (Sprachübersetzungen und entsprechend angepasste Gesicht/Sprachanimationen)
- Animationen, Bewegungsabläufe
- Physik (Kleider, Rigid Body, Rauch, Feuer, Fluiddynamik, Haare, ...)
- Rendering Acceleration (Raytracing, DLSS, Ray Reconstruction, Frame Generation, Textur-Compression, ...)
- Content-Erstellung (3D-Modelle, Texturen, ...)

Schlussendlich ersetzt man damit Teile der Game Engine und des Entwickler-Workflows und verbessert deren Funktion mit KI/ML, eine sogenannte "Augmentation" bestehender Funktionen. Damit will man die Qualität verbessern aber auch den Aufwand für die Entwicklung verringern. Ich sehe da eine Win-Win Situation für uns Konsumenten wie auch auf Entwickler-Seite.

Komplettes non-Triangle Rendering wie bei SoRA kann man vielleicht in 5-10 Jahren machen. Aber ich glaube nicht, dass das skalierbar genug ist für die breite HW Landschaft da draussen. Damit meine ich: Ohne die dicksten GPUs wird das in Realtime nicht zufriedenstellend laufen. Und evtl. läuft es gar nie zufriedenstellend auf einer lokalen Single-GPU, sondern das läuft wie GeForce Now in der Cloud. Dort kann man dann die dicken Blackwell++++ AI-Beschleuniger für den Task verwenden.

[aufkrawall]

Ich denke die ersten Anwendungen für AI in Spielen werden folgende sein:
- Physik (Kleider, Rigid Body, Rauch, Feuer, Fluiddynamik, Haare, ...)

Gibt es schon:
https://dev.epicgames.com/documentation/en-us/unreal-engine/using-the-machine-learning-deformer-in-unreal-engine?application_version=5.0

Wurde halt korrekt "ML" genannt, und nicht nach einem Hypetrain-Buzzword-BS. Es nervt so sehr (schon der Titelname des Threads)...

[basix]

Weiss ich ;)

Nur ist die UE5 in diesem Bereich bereits relativ weit, deutlich weiter als die meisten anderen Engines. Und für Feuer, Wasser usw. gibt es das selbst in der UE5 noch nicht ;)
Das dauert also noch eine Weile, bis die Durchdringung wirklich breit ist. Ich tippe auf PS6 Generation, da dort wohl deutlich mehr TOPS verfügbar werden.

[aufkrawall]

Man braucht auch nicht für alles ML. Kann einfach sein, dass Verformung sich spezifisch dafür wesentlich besser eignet. Das neue Animationssystem in UE 5.4 nutzt es afair auch nicht. Kann natürlich sein, dass das irgendwann als nächste Stufe kommt. Muss aber nicht.
Bei Verformung ist es jedenfalls schon cool (Beispiel Armmuskulatur):
https://i.ibb.co/7GXvgnQ/Fortnite-Client-Win64-Shipping-2024-03-11-23-18-41-333.jpg

Auch faszinierend, wie das mit humanoider Anatomie bei 100% Echtzeitgrafik "einfach funktioniert". Wie sich der fette Vogel krümmt, inkls. der Beine :freak: :eek::
https://i.ibb.co/nRR38Ms/Fortnite-Client-Win64-Shipping-2024-03-11-23-43-19-463.jpg
https://i.ibb.co/HnB5457/Fortnite-Client-Win64-Shipping-2024-03-11-23-24-53-154.jpg

Ich hätte gerne einen ML-Denoiser, der, anders als DLSS RR, nicht seltsam den Grafikstil verpfuscht. Würde Lumen massiv helfen.

[Zossel]

Ich hätte gerne einen ML-Denoiser, der, anders als DLSS RR, nicht seltsam den Grafikstil verpfuscht. Würde Lumen massiv helfen.

Genau dafür ist KI halt scheiße.

[Cubitus]

Die Frage ist auch wo werden die KI generierten Games laufen.
Sowas lässt sich eher im Cloud-Gaming realisieren. Würde Nvidia mehr als gelegen kommen. Denke mal diskrete Grafikkarten so wie wir Sie kennen sind bald out, leider ;(

[Troyan]

Du erzeugst weiterhin einfach per GPU Grafik. Aber anstatt mathematischen Funktionen werden Beschreibungen mitgegeben, die dann per definiertes Netzwerk erzeugt werden. Die mathematische Funktion existiert hier in Form von DL.

[aufkrawall]

Glaub ich eher nicht, so wie Game-Streaming bislang gefloppt ist. Der PC lebt davon, dass er die Plattform ist, die das Spielerlebnis am wenigsten einschränkt und am flexibelsten anpassbar ist. Und Cloud hat Einschränkungen bei der Performance (lahme Server-CPUs), Bildqualität, Latenz und Zuverlässigkeit (Verbindung). Und das lässt sich nicht wirklich auflösen.

Das erfolgreichste PC-Spiel ist Counter-Strike 2. Und bei AAA/SP-Spielen ging der PC gegen die Konsolen auch nicht unter.
Habe auch noch kein Spielkonzept gesehen, das auf absehbare Zeit wirklich konkret angekündigt auf "DL-Inhalte" setzen würde. Und von dem, über das gerade viel sinniert wird, wird in der Praxis von Entwicklung, Finanzierung und Annahme durch Spieler wieder viel auf der Strecke bleiben. Glaube mittlerweile schon, dass vieles davon eine Hype-Blase ist.

[Cubitus]

Ich habe GeforceNow oft im Urlaub laufen.
Ich nutze es tatsächlich noch mit der Shield Portable, es stimmt das Multiplayer Shooter tatsächlich noch ein Problem mit der Latenz haben. Liegt dann auch größtenteils an der jeweiligen Netzwerkumgebung.

Du hast ja die Möglichkeit dich in deine Accounts wie Gamepass, Epic oder Steam einzuloggen Für dich wird ja ein virtueller PC zur Verfügung gestellt, der auch deine Käufe aus dem Account zur Verfügung stellt.
Die Umgebung ist je nach Abo-Modell recht gut ausgestattet, also ne 4080 GTX und CO.

Für Singleplayer Spiele funktioniert das schon ganz gut, wobei es je nach Verbindung immer wieder zu Artefakten kommt.
Man kann begrenzt auch in die Qualität des Datenstreams eingreifen, was dann auf Kosten der Latenz geht. Oder man lässt die Software einfach auto-skalieren.
In den Spielen selbst kannst du prinzipiell sämtliche Qualitäts-Einstellungen treffen, wie Sie auch nativ angeboten werden.

Allerdings müssen die Spiele auch für GeforceNow angeboten werden, nicht jedes und vor allem neuste Spiel wird von GeforceNow supportet, was ein ziemlicher Nachteil ist.

Hier bei uns zuhause mit Glasfaser ist das Erlebnis teilweise recht gut, auch wenn es bei 4K stellenweise noch nicht so knackig scharf wie nativ aussieht, aber das dürfte Casual Gamern nicht auffallen.
Neben den üblichen Sprachchats von den Clients wie Steam funktioniert auch Discord, sodass man sich mit seinen Mates unterhalten kann. Strategiespiele oder Coop-Spiele laufen unter günstigen Voraussetzungen bereits sehr gut unter GeforceNow.

Derzeit das größte Paket:

https://i.postimg.cc/wxX24sm4/Screenshot-2024-06-23-130726.png (https://postimages.org/)

https://www.nvidia.com/de-de/geforce-now/

[wolik]

Diffusion Models Are Real-Time Game Engines

O3616ZFGpqw?si=hxreGkNh7NhwdDdW

https://gamengen.github.io/

[Rooter]

Es wird auch nicht mehr lange dauern, bis sich ein Noob ein Spiel zusammenbauen lässt.

nMmYZRorRgg

MfG
Rooter

[iamthebear]

Dass bei der Generierung von Assets oder möglicherweise auch Nebquests KI zum Einsatz kommt kann ich mir gut vorstellen. Hier würden sich leere Welten (siehe Starfield) sehr einfach füllen lassen ohne dass dies kostenmäßig ausartet und die Entwickler können sich aif Hauptquests und oft sichtbare Elemente konzentrieren.

In Echtzeit aufnder Hardware des Kunden wird aus Performancegründen nicht funktionieren. Aktuelle Spiele haben ja schon Probleme mit normalem Rasterizer Content auf den meisten Systemen flüssig zu laufen und wenn der Preis/Transistor in Zukunft nicht mehr fällt wird sich da auch kaum etwas ändern.

[pest]

das passiert doch jetzt schon beim Texturieren zB
oder ImageGen wird einfach zum Ideen erzeugen verwenden etc etc

[Fusion_Power]

Diffusion Models Are Real-Time Game Engines

https://gamengen.github.io/
Krasser shice. :freak: Zufällig hab ich das heute auch auf YouTube erspäht, hier das Video mit detaillierteren Erklärungen was genau da vor sich geht.

jHS1RJREG2Q

Wäre zu geil wenn man irgend wann in der Zukunft sich einfach sein eigenes Traum-Game prompten könnte. :cool:

[Zossel]

Krasser shice

Nö, stinklangweiliger Shice. Spatzenhirne aus Silizium reproduzieren.

[Oranje7]

Naja man könnte der KI in strategiegames auch mal was beibringen.
Aber Nö die Cheaten wie verrückt, dafür kann man jetzt Doom zocken^^

[Zossel]

Naja man könnte der KI in strategiegames auch mal was beibringen.
Aber Nö die Cheaten wie verrückt, dafür kann man jetzt Doom zocken^^

Gibt es überhaupt KIs die mit Wahrscheinlichkeit klarkommen, Go und Schach haben die Faktor jedenfalls nicht.

[Fusion_Power]

Nö, stinklangweiliger Shice. Spatzenhirne aus Silizium reproduzieren.
Jetzt gönn doch mal! ;p
Ja, ich hätte auch viel lieber gescheite KI in Spielen statt ein KI generiertes Doom. Für irgend was müssen diese ganzen KI Kerne und Funktionen in neuen PCs ja gut sein, wird ja unermüdlich mit geworben. Angeblich soll Half Life 3 KI NPCs haben die entsprechend reagieren können, aber wer weiß schon wann HL3 erscheint.

[Zossel]

wird ja unermüdlich mit geworben

Angeblich gibt es sogar unterschiedliche Rasierer für Männer und Frauen, ist bestimmt was dran es wird ja schließlich für geworben.

[Fusion_Power]

Angeblich gibt es sogar unterschiedliche Rasierer für Männer und Frauen, ist bestimmt was dran es wird ja schließlich für geworben.
Logisch ist da was drann, denn die Rasierer für Frauen sind einfach viel teurer als die für Männer.:D
Echt mal, ich will dann bitteschön Ergebnisse wenn ich mir doch mal ne APU mit massig AI Leistung kaufen sollte. Also immer her mit den Anwendungen!