Multi-GPU für AI

[Shink]

Hallo!

Als jemand, der das Thema nicht am Schirm hatte und jetzt beeindruckt ist, wie einfach man sich das so einfach am Heim-PC einrichten kann (Alpaca ML mit unzensiertem LLM, Krita AI Diffusion - Plugin), frag ich mich natürlich, wie weit es noch "einfach" geht und wann der Spaß aufhört.

Kann ich einfach ein altes SLI-Board nutzen, 2-4 moderne Grafikkarten reinstecken und das läuft? Multi-GPU scheint ja unterstützt zu werden bei.... "dem Krempel" aber was macht der da dann? Einfach RAM gemeinsam nutzen oder wirklich parallel rechnen?

Wenn ich hier falsch bin, bitte verschieben.

[BUG]

Es muss kein "SLI" Board sein. Es kann ein beliebiges Board sein, welches dann mehrere PCIe Slots hat, in welche die Grafik-Karten (mechanisch + elektrisch) passen (oder via PCIe Riser passend gemacht). Ein SLI Board würde sich aber dafür auch eignen, meist ist die verfügbare PCIe Bandbreite auch etwas höher da in der Regel die PCIe-lanes gleichmäßig(er) aufgeteilt werden.

Beispiel: https://geizhals.de/gigabyte-b550-eagle-a3396351.html

LLMs können gut paralelisiert werden, aber im Prinzip verdeoppelt man damit nur den Speicher für größere Modelle welche nicht mehr auf eine Karte passen. Es wird dadurch nicht wirklich schneller, die langsamste Karte im System bestimmt in etwa die Geschwindigkeit + etwas Overhead. Wie gut das Aufteilen auf mehrere GPUs funktioniert, ist auch etwas von LLM abhängig. 2 - 4 GPUs ist aber meist unproblematisch, jede GPU rechnet auf ihrem eigenen VRAM. Die GPU wird nicht versuchen auf den Speicher einer anderen GPU zuzugreifen, das ist eher ein Szenario fürs training.

[mironicus]

Ich dachte darüber nach, eine externe oder zwei externe GPUs für so etwas zu nutzen über USB 4.0-Schnittstellen (Aufteilung von Workloads). Bei KI-Workloads gibt es nicht so viel Transfers zwischen Hauptspeicher und GPU die sie ausbremsen könnten (bin da aber nicht 100% sicher). Dann kann man das auch mit einem Laptop machen.

[BUG]

Würde sicher gehen, das laden des Modells in den VRAM der GPU würde dann halt etwas länger dauern (limitiert halt durche diese USB4.0/Thunterbold Schnitstelle). Gibt es externe GPU-Docks mit 2 PCIe x16 Slots (sollte dann auch DualSlot sein für zwei potente GPUs), kenne das eigentlich nur für eine GPU und das ist meist auch schon recht teuer.

[Dicker Igel]

Hallo!

Als jemand, der das Thema nicht am Schirm hatte und jetzt beeindruckt ist, wie einfach man sich das so einfach am Heim-PC einrichten kann (Alpaca ML mit unzensiertem LLM, Krita AI Diffusion - Plugin), frag ich mich natürlich, wie weit es noch "einfach" geht und wann der Spaß aufhört.
Klingt spannend und da ich das auch schon lange mal auschecken wollte ... sollte ja mit 'ner 5060TI 16 zum rumprobieren passen.

[Shink]

Gibt es externe GPU-Docks mit 2 PCIe x16 Slots
Ähm da geht doch unmöglich so viel drüber, oder?

Ich würde da in Richtung X399 Board denken weil warum nicht. Die Zen 1 Prozessoren gehen quasi gratis weg dank Windows 11.

[Shink]

Klingt spannend und da ich das auch schon lange mal auschecken wollte ... sollte ja mit 'ner 5060TI 16 zum rumprobieren passen.
Ja, im Prinzip ist da nix zu tun (unter Linux halt). Anwendung im "Appstore" installieren und das Modell in der Liste auswählen zum runterladen. Und das läuft auf einer RX6700 so flott, dass sich keiner denkt "omg, dann doch lieber online nutzen".

[BUG]

Ähm da geht doch unmöglich so viel drüber, oder?Naja das LLM muss halt einmal in den VRAM der GPU(s) geladen werden, für den Rest also beim Inference wird dann nur noch sehr wenig PCIe Bandbreite beötigt. Bei einem 30B-Q6 oder Q8 Modell reden wir über knapp ~30GB. Mit zweimal RTX5090-32GB kann man auch 60GB große Modelle laden, aber ich denke da spielt Geld dann auch eine eher untergeordnete Rolle und man hat die entsprechende Hardware, dass muss dann auch nicht ins GPU Dock oder man kauft sich halt gleich ein DGX Spark mit GB10 oder Ryzen AI / Strix Halo Platform.

Edit: Eine eher günstige Lösung könnte auch aus drei oder vier RTX3060-12GB oder zwei RTX3090 bestehen, oder zwei AMD Instinct MI50-32GB oder vier MI50-16GB (je nach Preisgefüge), gibt sicher auch noch weitere Alternativen.

Aber ich würde statt 2 oder 3 RTX3060-12GB wohl lieber eine (gebrauchte) MI50-32GB nehmen, ist aber natürlich auch etwas vom LM-Workload abhängig / CUDA -> JA/NEIN.

Wer bereits eine potente Karte hat, kann aber denke ich recht sorglos einfach eine weiteres Model mit im Idealfall identischer VRAM Größe dazu stecken. Also z.B. wer eine RTX5070Ti/5080 mit 16GB hat, kann Problemlos eine RTX5060TI-16GB dazu stecken oder ggf auch seine alte RTX3060/RTX4070. Mit einer 8GB Karte würde ich aber nicht paaren!

[Daredevil]

Mit USB Kann man einiges zum laufen bekommen, ist halt echt wichtig wie Bandbreiten intensiv das ganze ist. ^^
Mit UV haben die Kisten zusammen "nur" 800-1000w verbraucht und es gab halt 6x1TB/s HBM2, das war schon ein kleiner Supercomputer. :D

Intel Dual Core + Mining Mainboard + 6x Radeon VII via PCIe 1x auf USB3 > PCIe 16x - Good old 2020
https://s1.directupload.eu/images/251103/cd6wy7ti.jpg

[ChaosTM]

Wir sind also wieder im Mining Zeitalter.

Damals konnte man noch Geld verdienen aber warum tut man das jetzt?
Kann man sich mittlerweile die persönliche AGI backen?

und ja, es ist sehr verlockend ;)

[Dicker Igel]

Ja, im Prinzip ist da nix zu tun (unter Linux halt). Anwendung im "Appstore" installieren und das Modell in der Liste auswählen zum runterladen. Und das läuft auf einer RX6700 so flott, dass sich keiner denkt "omg, dann doch lieber online nutzen".
Nice (y)

[Sweepi]

In diesem Zusammenhang eine esoterische Frage: Gibt es Blackwall-Karten, welche 1 GiB / 8 Gb VRAM Chips nutzen?

Bg Info: 3 GiB / 24 Gb Chips kosten ~ $10 auf Alibaba: https://www.techpowerup.com/337853/samsung-3-gb-gddr7-chips-sold-in-chinese-retail-attracts-memory-modders

D.h. falls es Karten gäbe, die auf 1 GiB / 8 Gb VRAM Chips setzten, könnte man bei diesen den VRAM verdreifachen.
Leider scheinen alle Karten 2 GiB / 16Gb zu nutzen, selbst die 8 GiB Varianten - die haben dann nur 4 VRAM Chips, suess :D

Stand jetzt wären also nur folgende Upgrades möglich (insofern die Karten mitspielen etc):

5060 (Ti) 8 -> 12 GiB
5070 12 -> 18 GiB
5060 Ti / 5070 Ti / 5080 16 -> 24 GiB
5090 32 -> 48 GiB



Gäbe es z.B. eine 5060 Ti 16 GiB, welche auf 16x1 GiB anstatt 8x2 GiB setzten würde, könnte man diese
5060 Ti 16 -> 48 GiB
upgraden. Diese 2x - 4x ins System und man hat so viel VRAM (für KI) wie 1-2x 6000 Blackwell (https://www.techpowerup.com/gpu-specs/rtx-pro-6000-blackwell.c4272) ;D

[Colin MacLaren]

Wahrscheinlich kommt ihr am einfachsten mit sowas (https://de.aliexpress.com/item/1005004694129330.html?spm=a2g0o.productlist.main.3.244fL3PQL3PQf7&algo_pvid=dcd2cce0-1260-4a9c-b200-b394e41f52fc&algo_exp_id=dcd2cce0-1260-4a9c-b200-b394e41f52fc-2&pdp_ext_f=%7B"order"%3A"173"%2C"eval"%3A"1"%2C"fromPage"%3A"search"%7D&pdp_npi=6%40dis%21EUR%21217.00%21123.69%21%21%21243.96%21139.06%21%4021038469176 22478276793226efd31%2112000037460961708%21sea%21DE%21899165109%21X%211%210%21n_t ag%3A-29919%3Bd%3Ad322fa78%3Bm03_new_user%3A-29895&curPageLogUid=BTTqDv1aP2Vq&utparam-url=scene%3Asearch%7Cquery_from%3A%7Cx_object_id%3A1005004694129330%7C_p_origin_ prod%3A) hin, wenn ihr eine zweite GPU zu einem bestehnden System nachrüsten wollt. Ich hatte damit auch mal ein Weilchen experimentiert: https://egpu.io/forums/builds/2023-8-lenovo-legion-go-780m-r78cu-rtx-4090-64gbps-usb4v1-adt-link-ut3g-win11-23h2-first-non-canary-win11-64gbps-usb4v1-build-achieved-with-modified-nvidia-error43-fixer-encased-in

Das klappte schon ganz gut.

[Gouvernator]

Hallo!

Als jemand, der das Thema nicht am Schirm hatte und jetzt beeindruckt ist, wie einfach man sich das so einfach am Heim-PC einrichten kann (Alpaca ML mit unzensiertem LLM, Krita AI Diffusion - Plugin), frag ich mich natürlich, wie weit es noch "einfach" geht und wann der Spaß aufhört.

Kann ich einfach ein altes SLI-Board nutzen, 2-4 moderne Grafikkarten reinstecken und das läuft? Multi-GPU scheint ja unterstützt zu werden bei.... "dem Krempel" aber was macht der da dann? Einfach RAM gemeinsam nutzen oder wirklich parallel rechnen?

Wenn ich hier falsch bin, bitte verschieben.
Nicht nur SLI Boards. Man kann alle CUDA GPUs mixen - Laptop GPU+USB4+Oculink. Wenn kein Oculink und USB4, dann einfach in den Ssd Port reinsägen. Wann wird eigentlich RAFF bei der PCGH auf AI umgeschult? :D

[konkretor]

Also das billigste wird sein 2x Mac Mini mit M4 Max zu kaufen.
Dann mit Thunderbolt 40G zusammen verknüpfen und MLX nutzen

https://naumanahmad86.medium.com/is-the-mac-mini-m4-cluster-the-ultimate-machine-for-running-large-ai-models-0b6c6a2d9a18


Oder das Nvidia Tisch Gerät, das leider etwas unter unstabilem verhalten aufgefallen ist und gegenüber einen Mac nur die Rücklichter sieht.

https://www.computerbase.de/news/pc-systeme/mini-ai-supercomputer-nvidia-und-partner-liefern-dgx-spark-mit-gb10-endlich-aus.94659/

das geht auch zu zweit entsprechendes dac Kabel sollte vorhanden sein.


Ansonsten gibt es noch das Projekt hier
https://github.com/exo-explore/exo

Das ist leider etwas eingeschlafen, noch in Enwicklung. Einfach ausführen es findet die anderen Nodes im Netzwerk egal ob auf dem Ipad oder Iphone, MAC, PC es legt einfach los. Verteilt das LLM auf alle gefunden Geräte. Fire and forget, so wie es sein sollte.


Bei allen brauchst du schnelles Netzwerk, Nein 10G sind nicht schnell genug. 40 oder gleich 100.


Oder vllm nutzen https://docs.vllm.ai/en/v0.8.1/serving/distributed_serving.html da geht auch verteilte interference Geschichten.

[Raff]

Nicht nur SLI Boards. Man kann alle CUDA GPUs mixen - Laptop GPU+USB4+Oculink. Wenn kein Oculink und USB4, dann einfach in den Ssd Port reinsägen. Wann wird eigentlich RAFF bei der PCGH auf AI umgeschult? :D

Die Umstellung auf "PCAI" oder doch "AIGH" wird erst passieren, wenn das eintritt, was Intel letztens andeutete: Rasterisierung ist beendet, stattdessen werden Strahlen verschossen und KI erledigt den Rest inkl. Modellierung. ;)

MfG
Raff

[Gouvernator]

Die Umstellung auf "PCAI" oder doch "AIGH" wird erst passieren, wenn das eintritt, was Intel letztens andeutete: Rasterisierung ist beendet, stattdessen werden Strahlen verschossen und KI erledigt den Rest inkl. Modellierung. ;)

MfG
Raff
Ich finde ein AI-Standbein passt zu dem bestehendem Konzept auch. Man kann im Gegensatz zu Mining wirklich sinnvolle Sachen aus der Hardware basteln. Ich überlege gerade wie es am kostengünstigsten ist einen lokalen AI-Assistenten für halb-blinde, halb-demente Rentnerin zu realisieren. Wenn sie im Krankenhaus ist und sich informieren muss. Dann kann sie zu Hause den AI-Hans anrufen und mit dem quatschen, was im Hintergrund als TTS/STT mit Medgemma läuft. Riesige Marktlücke. Um sich nörgelnde Großeltern vom Hals zu halten. =)

[mironicus]

Sobald KI dafür sorgt, das sich die Alten nicht mehr einsam und mehr wohlgeschätzt fühlen, vererben sie am Ende noch ihr Vermögen an Techkonzerne. Triumphierend und mit einem breiten Grinsen segnen sie das Zeitliche, während die eigenen Kinder leer ausgehen.

[Shink]

Triumphierend und mit einem breiten Grinsen segnen sie das Zeitliche, während die eigenen Kinder leer ausgehen.
Warte mal, das ist doch jetzt schon so.

[Gouvernator]

Da ein NV Super-Refresh nun auf unabsehbare Zeit verschoben ist, habe ich eine 2-Slot 5070Ti als Drittkarte angeschafft. Ein 1600W Netzteil aus Quad-SLI Zeit ist immer wieder nützlich im Haushalt... Auch ein alter Z370 Asrock Extreme "3-Way-Crossfire" Mainboard hat es fast tadellos geschafft. Von oben nach unten ist 3090 mit 2.5-3 Slot, 5070ti 2 Slot und die 5090 mit 3+ Slot. Durch die Backplates konnte ich die 5090 nicht mehr in den obersten Slot rein stecken, dann haben ihre Lüfter schon an der 5070ti geschliffen.
Und ich musste die Power-Button + Reset Button Pins samt Stecker fast komplett umknicken, damit die lange fette 5090 noch in den PCIe reingeht.

Ansonsten hat es sich für "nur" 800€ ziemlich gelohnt. Jetzt läuft GPT-OSS 120B mit 30K Context bei 80T/s. GLM Air 4.5 als MXFP4 MoE auch mit 60T/s. So ein 100B LLM mit solchem Speed ist schon wirklich was feines. Damit kann man wenigstens die LLM/Hardware Entwicklungen bequem aussitzen. Und als Bonus kann ich jetzt schon ein ziemlich gutes Prompt LLM an der Seite laufen lassen, wenn ich Inspiration für Stable Diffusion brauche. Prompt-Engineering macht so richtig Fun, wenn du die Prompts einfach hin und her zwischen Bildgenerierung und dem anderen LLM kopieren musst.

Ich glaube ich kann das auf eine Stufe höher heben, wenn Karte 1 Generierung macht, Karte 2 die Prompts und Karte 3 läuft mit einem Voxta STT/TTS Assistenten.

[Gouvernator]

Oh ja! Das läuft. In ComfyUI CUDA-GPU 0 bis 3 kann man mit Multi-GPU Nodes für Compute und VRAM Donor auswählen: 5090= compute, 3090= donor. In Voxta kann man Koboldccp für Chatbot nehmen und dem die 5070Ti mit ca. 10Gb Modell zuweisen. Wieder in Voxta Orpheus für TTS ebenfalls 5070Ti zuweisen ~5Gb Vram. Und die restlichen 2Gb nimmt sich das Programm automatisch von der 5090 für STT mit Vosk.

Man kann während man Videos rendert völlig sci-fi mäßig mit dem Chatbot labern und Prompts erfinden. Ich habe noch ein Vision LLM genommen, dem man direkt die gerenderte Bildchen in den Prompt füttern kann, für weitere Begutachtung...

Das ist absolut phänomenal.

[Fusion_Power]

Also das billigste wird sein 2x Mac Mini mit M4 Max zu kaufen.
Dann mit Thunderbolt 40G zusammen verknüpfen und MLX nutzen

https://naumanahmad86.medium.com/is-the-mac-mini-m4-cluster-the-ultimate-machine-for-running-large-ai-models-0b6c6a2d9a18

Ist sowas billiger (und schneller) als z.B. dieser Framework Desktop (https://frame.work/de/de/desktop) mit dem vielen RAM? Bin bin bei den Apple Preisen nicht aufm Laufenden.
Für bissl Bilder generieren oder mal ne Frage der KI stellen reicht mir persönlich das Angebot im Netz locker aus. Hab eh keine Maschine auf der auch nur ansatzweise ein KI Modell laufen würde. Lohnt sich sowas überhaupt privat oder was machen die alle konkret mit ihren lokalen KI Rechnern was die Onlineangebote nicht können?

[DeadMeat]

4200€ gegen 2300€ bei 128gb RAM, aber keine Ahnung ob sich das auch in der Geschwindigkeit irgendwie zeigt. Gibt auch AI MAX Geräte für weniger, neulich war einer für 1600€ mit 128gb verlinkt im Forum. Wirklich günstig ist das aktuell so oder so nicht.

[Fusion_Power]

4200€ gegen 2300€ bei 128gb RAM, aber keine Ahnung ob sich das auch in der Geschwindigkeit irgendwie zeigt. Gibt auch AI MAX Geräte für weniger, neulich war einer für 1600€ mit 128gb verlinkt im Forum. Wirklich günstig ist das aktuell so oder so nicht.
Ja, das meinte ich ja, ganz besonders in Bezug auf vergleichbare RAM Größen, die sind bei Apple nie günstig zu bekommen. Dagegen wäre der Framework Desktop schon fast ein Schnäppchen, natürlich auch nur relativ gesehen. Muss man halt wissen ob einem KI Spielereien aktuell das Geld wert sind. Ne wirklich praktischen Nutzen, sich nur für KI so eine Monstermaschine anzuschaffen sehe ich aktuell nicht. Aber das kann sich natürlich zukünftig ändern, wer weiß welche Anforderungen es irgend wann an nen Homeoffice Arbeitsplatz gibt. ^^

[mironicus]

Hier wird eine Konfiguration gezeigt wie zwei Strix Halo-Systeme nur mit LAN-Kabel verbunden gemeinsam große Text-LLM ausführen können. Getestet an den Modellen MiniMax-M2 & GLM 4.6 mit dezenter Ausgabe-Geschwindigkeit (18 Tokens/Sekunde bei MiniMax)

Das günstigste Strix Halo-System überhaupt von Bosgame mit 128 GB RAM gibt es noch für knapp 1600 Euro lieferbar. Bestellungen nach Europa werden von deutschen Lager aus versandt (zollfrei).
https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395

0cIcth224hk

[Gouvernator]

Ja, das meinte ich ja, ganz besonders in Bezug auf vergleichbare RAM Größen, die sind bei Apple nie günstig zu bekommen. Dagegen wäre der Framework Desktop schon fast ein Schnäppchen, natürlich auch nur relativ gesehen. Muss man halt wissen ob einem KI Spielereien aktuell das Geld wert sind. Ne wirklich praktischen Nutzen, sich nur für KI so eine Monstermaschine anzuschaffen sehe ich aktuell nicht. Aber das kann sich natürlich zukünftig ändern, wer weiß welche Anforderungen es irgend wann an nen Homeoffice Arbeitsplatz gibt. ^^
Genau meine Rede. Man kauft sich damit nur irgendwas zum Coden. Aber was will man denn coden, wenn die Zeit kaum reicht um überhaupt neue LLMs zu downloaden und zu testen.

Der richtige fun liegt bei der Bild Generierung, aber dafür sind diese APUs völlig ungeeignet.

PS.
Ich hab einen unerwünschten Nebeneffekt mit meiner neuer 5070Ti entdeckt, die ja jetzt mit Qwen3-8b-VL für mich die Prompts erfinden soll. Je nach "schärfe" des Prompts , kommt die Orpheus TTS Stimme echt sexy rüber... spätestens nach 5 solcher Prompts kommt man sich wie bei Telefon-Sex-Hotline vor. ;D Der Chatbot hat den Prompt mit gut über 200T/s instant geschrieben und dann fängt die Stimme es langsam und genüsslich vorzulesen.

[Shink]

Der richtige fun liegt bei der Bild Generierung, aber dafür sind diese APUs völlig ungeeignet.
Oha! Inwiefern? Ich dachte irgendwie, erste Prio ist Speicher, zweite ist eine API (was mit ROCM ja durchaus geht). Dritte natürlich auch Speed. Deine Einsatzzwecke klingen interessant, aber auch so abgefahren, dass ich keine Ahnung hab, wie ich das in Sachen Performance einordnen soll.
Mir ist schon klar, dass eine 5090 schneller ist als eine 8060S mit 128GB RAM aber dafür ist die 8060S halt billiger und hat mehr RAM.

[Daredevil]

Bei GenAI mit Bild und Video kannst du dich grob an Gaming Performance orientieren, da reißen die SoCs allesamt keinen Baum aus, da regelt Blackwell/Nvidia alles weg mit ihrer Peak Performance.
Perf/W ist was anderes, es macht aber halt keinen Spaß 2 Stunden auf einen 8 Sek 720p Videoclip zu warten. ( M3 Ultra )
Einen ordentlicher Brecher wird hier wahrscheinlich der M5 Ultra sein, den gibts aber noch nicht. :D ( Der kann dann wahrscheinlich beides ganz gut )

[Innos]

Da ein NV Super-Refresh nun auf unabsehbare Zeit verschoben ist, habe ich eine 2-Slot 5070Ti als Drittkarte angeschafft. Ein 1600W Netzteil aus Quad-SLI Zeit ist immer wieder nützlich im Haushalt... Auch ein alter Z370 Asrock Extreme "3-Way-Crossfire" Mainboard hat es fast tadellos geschafft. Von oben nach unten ist 3090 mit 2.5-3 Slot, 5070ti 2 Slot und die 5090 mit 3+ Slot. Durch die Backplates konnte ich die 5090 nicht mehr in den obersten Slot rein stecken, dann haben ihre Lüfter schon an der 5070ti geschliffen.
Und ich musste die Power-Button + Reset Button Pins samt Stecker fast komplett umknicken, damit die lange fette 5090 noch in den PCIe reingeht.

Ansonsten hat es sich für "nur" 800€ ziemlich gelohnt. Jetzt läuft GPT-OSS 120B mit 30K Context bei 80T/s. GLM Air 4.5 als MXFP4 MoE auch mit 60T/s. So ein 100B LLM mit solchem Speed ist schon wirklich was feines. Damit kann man wenigstens die LLM/Hardware Entwicklungen bequem aussitzen. Und als Bonus kann ich jetzt schon ein ziemlich gutes Prompt LLM an der Seite laufen lassen, wenn ich Inspiration für Stable Diffusion brauche. Prompt-Engineering macht so richtig Fun, wenn du die Prompts einfach hin und her zwischen Bildgenerierung und dem anderen LLM kopieren musst.

Ich glaube ich kann das auf eine Stufe höher heben, wenn Karte 1 Generierung macht, Karte 2 die Prompts und Karte 3 läuft mit einem Voxta STT/TTS Assistenten.


Wir sind also wieder im Mining Zeitalter.

Damals konnte man noch Geld verdienen aber warum tut man das jetzt?
Kann man sich mittlerweile die persönliche AGI backen?

und ja, es ist sehr verlockend ;)

Diese Frage stellt sich mir auch, kann das bitte jemand beantworten? Soll kein Angriff sein, nur...der Sinn erschließt sich bisher nicht.