Diskussion zu: News des 11./12. Februar 2023

[Leonidas]

Link zur News:
https://www.3dcenter.org/news/news-des-1112-februar-2023

[Gast]

"WCCF Tech bringen die Befürchtung von eventuellen Lieferschwierigkeiten bei nVidia zum Ausdruck, welche sich aus dem erhöhten Bedarf an AI-Beschleunigern im Zuge des Hypes um "ChatGPT" ergeben könnten..."

Naja, wenn man mal nachliest, dann findet man folgendes:
"The models were trained in collaboration with Microsoft on their Azure supercomputing infrastructure."
Also lief das Ganze auf Azure Hardware, und wenn man dann folgende Schlagzeile im Hinterkopf hat, ist das Thema mehr als fraglich:
"Microsoft Azure to spin up AMD MI200 GPU clusters for 'large scale' AI training"
Offensichtlich gibt's auch MI200 basierte Azure AI Lösungen. Insofern kann es auch sein, dass sich eher AMD als NVidia freut (AMD freut sich wohl immer, weil die CPUs für die NVidia Cluster von AMD kommen). In jedem Fall ist es aber möglich, dass Microsoft von beiden Herstellern (und vielleicht sogar von Intel, die sollte man auch nicht vergessen) beschafft, und die "Befürchtung" somit unbegründet ist. Ich würde daher nicht zu viel auf die Befürchtung geben.

[Sweepi]

Youtube short mit 1.6 Mio Views über Loeschzwerg und 3dc coverage zur MTT S80: https://www.youtube.com/shorts/2ws67usvhEY (just fyi)

[Lehdro]

(AMD freut sich wohl immer, weil die CPUs für die NVidia Cluster von AMD kommen).
Ist NV nicht mit H100 zurück zu Intel? (https://www.golem.de/news/nvidia-dgx-h100-ich-habe-sapphire-rapids-als-cpu-gewaehlt-2206-165934.html) Ansonsten geht es dieses Jahr doch auch mit Grace (https://www.golem.de/news/grace-nvidia-wechselt-2023-fast-vollstaendig-auf-arm-2205-165622.html) weiter, das wäre dann weder Intel oder AMD, sondern ein eigenes ARM Projekt.

[Gast]

(AMD freut sich wohl immer, weil die CPUs für die NVidia Cluster von AMD kommen).Warum sollten sie? Weil kein intel drin ist?
Ich behaupte, dass das Geld in den Beschleunigern steckt. Und das bekommt Nvidia. Grace wurde schon erwähnt. Hinzu kommt, dass Aufgaben der CPU z.B. hartverdrahtet in Netzwerk- oder Storage-Chips verlagert werden. Geht an Notebook und Desktop-PC vorbei.

[Gast]

Google kann doch seine eigenen viel günstigeren TPUs verwenden und ist nicht auf extrem überteuerte A100 mit einem Preis von 10k $ für eine GPU mit einem ~200$ Chip angewiesen.

semianalysis schreibt selbst:
"This is never going to happen, of course, but fun thought experiment if we assume no software or hardware improvements are made."

[Complicated]

Vor allem Google wird kaum Nvida benötigen, da deren AI "Bard" heisst und Google sicher nicht ChatGPT nutzen wird. Bard wird auf Googles eigenen TPUs trainiert - das sind eher die ASICS, die Vorteile gegenüber GPGPU haben - die vierte Generation TPUs wurde Ende 2021 vorgestellt:
https://de.wikipedia.org/wiki/Tensor_Processing_Unit
https://cloud.google.com/blog/topics/tpus/google-showcases-cloud-tpu-v4-pods-for-large-model-training?hl=en
https://storage.googleapis.com/gweb-cloudblog-publish/images/2_MLperf_1.max-2000x2000.jpg

[Gast]

Ist NV nicht mit H100 zurück zu Intel? (https://www.golem.de/news/nvidia-dgx-h100-ich-habe-sapphire-rapids-als-cpu-gewaehlt-2206-165934.html) Ansonsten geht es dieses Jahr doch auch mit Grace (https://www.golem.de/news/grace-nvidia-wechselt-2023-fast-vollstaendig-auf-arm-2205-165622.html) weiter, das wäre dann weder Intel oder AMD, sondern ein eigenes ARM Projekt.
NVidia's eigene Server laufen aktuell mit Intel. Das bedeutet noch lange nicht, dass MS das auch so nutzt. Das ist alles Custom. Azure bietet offiziell noch nicht einmal H100 Systeme an.
Und ab Mitte des Jahres steht bei AMD MI300 an. Primär natürlich für El Capitan, aber man kann davon ausgehen, dass das dann auch bei Azure und Co verfügbar sein wird.
Grace hingegen wird man erst mal validieren müssen, da komplett neu. Das wird noch einige Zeit dauern, bis das verfügbar ist. Aber generell ist es eben quatsch, dass basierend auf dem Tool mit einer Knappheit von NVidia GPUs zu rechnen ist. Das kann man eben so nicht sagen.

[Leonidas]

Korrekt. Eigentlich diente meine Rede auch nur dazu, dem ganzen den Zahn zu ziehen. Aber nichtsdestotrotz gibt es genügend Leute, die auf dem Hype zu reiten versuchen. Als erstes Mr. Jensen himself.