Warum sind 128-GB-DDR5-Kits so teuer?

[Geldmann3]

Gerade plane ich auf 128GB 6400er DDR5 (CL30-32) umzusteigen und wenn ich mir 64GB Kits anschaue, kosten diese um die 200€.

Doch wenn ich mich nach 128GB Kits mit 4 statt 2 Riegeln umschaue, liegen diese laut Geizhals.de bei rund 750€+, das ist das 4 fache für den 2 fachen Ram??

Was ist da los? Muss ich bei DDR5 hier etwas beachten, kann ich nicht einfach 2 64GB Kits kombinieren? Ist da irgendeine Magic im Spiel, die ich nicht kenne? Laufen 2x64 GB Kits instabil?

Wahrscheinlich werde ich für den Anfang einen 7950X3D nehmen und den nicht mit voller XMP-Speed laufen lassen (Weil er das nicht mitmachen wird), doch die 6400Mhz sind eher für die nächste CPU gedacht. Vielleicht der 9950X3D oder noch neuer.

Was sind eure Erfahrungen/Wissen dazu?
Muss zugeben, mich länger nicht mit Ram beschäftigt zu haben, mein 12900k und 5800X3D laufen beide noch immer mit DDR4.

[dildo4u]

Die Mengen kauft vermutlich keiner für Gameing daher werden sie kaum mit 6000+ Produziert 5600 ist massiv billiger 370€.

https://www.alternate.de/Kingston-FURY/DIMM-128-GB-DDR5-5600-%284x-32-GB%29-Quad-Kit-Arbeitsspeicher/html/product/1913966?partner=DeIdealo&campaign=DDR5/Kingston+FURY/1913966&utm_source=idealoDe&utm_medium=referral&utm_campaign=deidealo&utm_term=1913966

Für Threadripper Pro mehr als genug da die 4 Speicherkanäle haben.

[Geldmann3]

Das System ist eher für AI-Zeugs gedacht, denn eigentlich zocke ich die letzten Jahre so gegen 0. Lasse auf jeden Fall deutlich mehr Benchmarks als Games laufen. :D

Doch ich denke mir, dass ich das System wenn schon, dann auch direkt auf Gaming optimieren kann, falls ich wieder Lust bekomme und Ram ist bei mir geschichtlich etwas, was gerne viele Jahre überdauert bzw. danach sogar noch weitergegeben wird. Daher gehe ich über das, was ich von den AMD CPUs erwarte.

2 gleiche 64GB Kits wären also kein inhärentes Problem?

[HisN]

Du kannst auch einzelne Riegel kaufen. Ich hab auf HEDT Intel und AMD schon acht einzelne Riegel laufen gehabt.
Das Kit garantiert Dir nur das unter dem HS die gleichen Chips sitzen.
RAM Verkäufer, die ihre Chips nicht selbst bauen kaufen nämlich auch nur irgendwas, und so kann es sein das unter dem HS von einem Riegel mit identischer Bezeichnung mal Samsung und mal Hynix steckt.


Mein 13900k läuft mit 128GB übrigens gerade mal mit 5200 mt.
Bei 64GB stemmt ernmit den gleichen Riegeln 6000.

[Plausible]

Weswegen sollen es denn 4 Riegel werden? Meiner Erfahrung nach läuft gerade XMP besser mit nur zwei Riegeln.

[The_Invisible]

was gerne viele Jahre überdauert bzw. danach sogar noch weitergegeben wird. ?

Für welchen Zweck überdauern, steigenden DEV/AI Workload?

Bei "normalen" Betrieb ist doch bei der RAM-Menge schon lange quasi Stillstand eingetreten, die 8GB bei meinem alten Core2 haben sich noch ausgezahlt (reichen selbst heute noch für Office), die 32GB bei meinem alten 6700k von 2015 eigentlich nicht. Ist heute noch für die meisten Sachen Overkill, läuft aber zumindest als Mini-Server weiter.

Deswegen habe ich jetzt auch nur mehr 64GB verbaut, dafür aber 2 Riegel und mit schnelleren Speed. Die Zeiten wo man die RAM-Steckplätze vollgekloppt hat und es war "geil" sind leider vorbei

[Lawmachine79]

Mega, DCS mit allen Modulen auf der Ramdisk!

[HisN]

Weswegen sollen es denn 4 Riegel werden? Meiner Erfahrung nach läuft gerade XMP besser mit nur zwei Riegeln.

Eventuell weil es keine 64GB-Udimms gibt?

[Geldmann3]

Eventuell weil es keine 64GB-Udimms gibt?
That's it...

Naja, muss sagen 8GB merke ich sogar im Alltag schon deutlich, seit Jahren. Mit 16GB komme ich meist noch aus. In Games komme ich schon regelmäßig über die 16, wenn ich denn mal zocke, mit AI-Stuff oder im Video Editing komme ich manchmal über die 32GB.

Und dann gibt es um ehrlich zu sein nur ein paar ganz wenige Edge-Cases für mehr als 64GB Ram. Modding des FS2020, 8K-Video-Editing oder, wenn ich mal ein großes LLM in den Ram laden möchte. Wobei ich da meist die APIs verwende... Aber hey, dann bin ich da sorgenfrei... Ich muss zugeben, vielleicht nur so einmal im Jahr, kurz die 64GB zu sprengen. ;D aber dann ärgert es mich irgendwie.

[The_Invisible]

96GB Kits gibts aber (2x48GB), sogar mit 6000C30, das wär dann ja eher was für dich :D

[Geldmann3]

96GB Kits gibts aber (2x48GB), sogar mit 6000C30, das wär dann ja eher was für dich :D

Muss schon sagen, das (https://geizhals.de/g-skill-ripjaws-s5-schwarz-dimm-kit-96gb-f5-6400j3239f48gx2-rs5k-a2962993.html?hloc=at&hloc=de) hat was Verlockendes.

Andererseits gibts da kein CL30.

[Milchkanne]

Muss schon sagen, das (https://geizhals.de/g-skill-ripjaws-s5-schwarz-dimm-kit-96gb-f5-6400j3239f48gx2-rs5k-a2962993.html?hloc=at&hloc=de) hat was Verlockendes.

Andererseits gibts da kein CL30.

Wenn du große LLMs lädst, ist ja Bandbreite das einzige, was zählt. Da wäre es vielleicht wirklich interessant auf 2x48 zu gehen und den Speedvorteil mitnehmen. Wenn das dann doch knapp wird, kannste ja immernoch nachschieben.

[Geldmann3]

Gerade tendiere ich tatsächlich zu den 2x48GB Riegeln. Denn ich denke es genügt und später könnte ich nachschieben. Btw. gibt es Boards, die ihr mir dafür empfehlen könnt? Bei der CPU schwanke ich tatsächlich noch zwischen dem 7950X3D und dem 9950X. Der erste hat wahrscheinlich leicht mehr Gaming-Performance und kostet weniger, dafür wird der 9950X bestimmt mit ca. 15% mehr Multithreading-Performance kommen und ich gehe davon aus, dass die neue Generation mehr beim Ram mitmacht, wird dafür aber auch 200€ mehr kosten.

[Plausible]

Eventuell weil es keine 64GB-Udimms gibt?

Stimmt, gibts ja wirklich nur als registered.

Der erste hat wahrscheinlich leicht mehr Gaming-Performance und kostet weniger, dafür wird der 9950X bestimmt mit ca. 15% mehr Multithreading-Performance kommen und ich gehe davon aus, dass die neue Generation mehr beim Ram mitmacht, wird dafür aber auch 200€ mehr kosten.
Die Frage ist, ob du die CPU-Mehrleistung wirklich brauchst? 200 Euro ggü. 15 Prozent ist mMn. kein gutes Preis-/Leistungsverhältnis.

[Rooter]

Sorry, aber ich verstehe die Frage nicht wirklich. Hast du die letzten 50 Jahre hinterm Mond gelebt?

"Der Ferrari hat nur 4x so viel PS wie mein Mittelklasse-Wagen, warum ist er 10x so teuer?" :uconf2:

Ist gar nicht böse gemeint, aber was ist daran neu, dass High End enorm teuer ist?

MfG
Rooter

[Geldmann3]

Darum ging es mir ja gar nicht, sondern eher darum, warum man plötzlich das Doppelte zahlt, wenn man 4x32GB zusammen kauft, als wenn man 2x2x32GB Kits einzeln kauft. Eigentlich gibt es doch eher sowas wie Mengenrabatt als Mengenaufschlag...

Und selbst wenn die zusammen getestet werden, solch ein Aufschlag ist schon krass. Wenn ich mir das ganze einzeln bald 2x kaufen kann. Ist ja eher vergleichbar mir Stock-Karte gegen Werksübertakteter.

Muss ich bei den 48GB Riegeln eigentlich noch mit BIOS-Problemen rechnen, wenn ich jetzt ein neues Board kaufe?

[The_Invisible]

Gerade tendiere ich tatsächlich zu den 2x48GB Riegeln. Denn ich denke es genügt und später könnte ich nachschieben. Btw. gibt es Boards, die ihr mir dafür empfehlen könnt? Bei der CPU schwanke ich tatsächlich noch zwischen dem 7950X3D und dem 9950X. Der erste hat wahrscheinlich leicht mehr Gaming-Performance und kostet weniger, dafür wird der 9950X bestimmt mit ca. 15% mehr Multithreading-Performance kommen und ich gehe davon aus, dass die neue Generation mehr beim Ram mitmacht, wird dafür aber auch 200€ mehr kosten.

Wenn du wenig zockst und mehr Anwendung machst würde ich gleich den 9950x nehmen, den könntest dann auch mit 6400er RAM ausfahren.
Zwecks Board: Würde ich eher mal nach Ausstattung filtern was du benötigst (10gbit?, 4x m.2 gleichzeitig?, USB4?) sonst nehmen sich die nicht viel. Ende September sollen aber auch die neuen x800 Boards kommen, sollen aber nur besseres OC/UV mitbringen.

[Geldmann3]

4xM.2 klingt sinnvoll, denn momentan habe ich einige SSDs via USB außen am Gehäuse dranhängen, wahrscheinlich würde ich selbst da nicht alle reinkriegen. Man möchte schließlich auch ungern Lanes von der GPU abzwicken.

[Geldmann3]

Wo wir schon beim Thema sind, könntet ihr mir denn eventuell auch ein Board dafür empfehlen? Meine bisherigen Boards hatten alle kein Wifi, das würde ich gerne ändern, denn wenn mal das Internet ausfiel musste ich einen WLAN-Stick anstecken, ich vermute, mit WIFI auf dem Board wäre es einfacher und verlässlicher, falls das mal passiert.

Mein Preislimit würde dafür bei so 350€ liegen, dürfte aber auch gern weniger sein. Wenn es für knapp über 350€ aber was geiles, mit Mehrwert gibt, würde ich durchaus auch darauf schielen.^^

Ziel wäre es später vielleicht wirklich mal mit verrückten 192GB Ram zu betreiben.
Habe gehört, einige Boards mögen so viel Ram gar nicht. Ob ich das je mache? Wahrscheinlich nicht... Aber die Option wäre nice.

[The_Invisible]

Da kann ich dir eigentlich guten Gewissens mein Board empfehlen:
ASUS ROG Strix X670E-F Gaming WIFI https://geizhals.de/asus-rog-strix-x670e-f-gaming-wifi-90mb1ba0-m0eay0-a2800645.html

Liegt mit ~380EUR zwar etwas über dein Budget aber hat alles was du willst. Die 2x m.2 4.0 gehen zwar übern Chipsatzlink aber ist überall so, zumindest wird nix abgeschaltet. Man könnte im letzten PCIe Slot sogar noch eine 5. SSD reinballern. :D

[Geldmann3]

Uhh, die werben sogar mit 192GB.

[Simon Moon]

Ich glaub grosse LLM mit 100b+ machen vom Arbeitsspeicher aus nicht wirklich Spass. Da ziehen dann schnellst selbst 4 - 6 Cores soviel Bandbreite, dass mehr Threads sich gar nicht mehr rentieren. Also kannst dir denken, wie schnell da dann alle Matrizen fuer den Token berechnet werden. Der X3D Cache kann da etwas abfangen, aber ob du dann 1Token/s oder 1,3Token/s hast ... toll wirds sicher nicht.

Ich wuerd eher schauen, dass das Board moeglichst viele PCIe 16x/8x Anschluesse hat. Die kannst du dann nach und nach mit Grakas fuellen. Muessen nicht mal dasselbe Modell sein. Und wenn du dann alles in deren VRAM kriegst, sollte es trotzdem ziemlich fott laufen, die PCIe Anbindung macht dann offenbar nicht mal so einen Unterschied - vermute mal die Baeueme der Modelle trennen sich schon recht frueh und da hat dann jede Karte seinen Ast den es berechnen kann. Aber genau versteh ich das auch noch nicht.

Was benutzt du denn zum infererieren? Tranfsormers oder llama.cpp?

[Geldmann3]

Habe beides schon getan, finde bei großen LLMs aber um ehrlich zu sein keins von beiden wirklich produktiv. Manchmal denke ich an ein Post-Internet-Zeitalter, da wäre das natürlich Hammer, doch mit 100x schnelleren APIs im Netz, ist das Zeitverschwendung.

Wobei, bei sowas wie Llama 8B oder Gemma kommt es auf den Use-Case an.

Denke darüber nach kleine LLMs und Bildgeneratoren lokal laufen zu lassen und dann als API ins Netz zu stellen. Das wäre 10 - 100x günstiger als eine API zu verwenden oder einen Pod zu mieten und ich könnte passende GPUs dazustecken.

Arbeite gerade an einem interessanten Projekt in diese Richtung, eventuell stelle ich es mal hier ins Forum.

[Simon Moon]

Habe beides schon getan, finde bei großen LLMs aber um ehrlich zu sein keins von beiden wirklich produktiv. Manchmal denke ich an ein Post-Internet-Zeitalter, da wäre das natürlich Hammer, doch mit 100x schnelleren APIs im Netz, ist das Zeitverschwendung.

Wobei, bei sowas wie Llama 8B oder Gemma kommt es auf den Use-Case an.

Denke darüber nach kleine LLMs und Bildgeneratoren lokal laufen zu lassen und dann als API ins Netz zu stellen. Das wäre 10 - 100x günstiger als eine API zu verwenden oder einen Pod zu mieten und ich könnte passende GPUs dazustecken.

Arbeite gerade an einem interessanten Projekt in diese Richtung, eventuell stelle ich es mal hier ins Forum.


Seh ich ziemlich aehnlich. Die kleinen Modelle find ich sowieso "interessanter". Imo sind die eher so eine Art "Sensor" oder "Digital Analog Converter" Elemente wenn man so will. Ausserdem haben sie das Potential Feeds unabhaengig vom Datenhunger von Facebook, YT & co. zu personalisieren und damit OSS Alternativen attraktiver zu machen.

Momentan fehlt mir da aber einfach noch dramatisch die uebersicht. Nach langem suchen bin ich jetzt auf ollama gestossen, damit kann ich die Modelle wenigstens wie docker container nutzen. Dafuer bin ich auf das kleinere ollama repository und dort sind die Modelle meist mit 4b quantisiert, dabei koennte ich doch die gguf modelle genauso gut von HF pullen... Ramalama (https://github.com/containers/ramalama) scheint mir noch ein interessantes Projekt zu sein, ist zwar erst ein paar Tage alt, aber von derselben Organisation wie Podman.

Laengerfristig denke ich das wird sich wie Docker entwickeln. Du pullst da das base image und die verschiedenen Trainings / Loras werden dann wie bei Docker einfach darueber gelegt. I.e. ich muss nicht mehr fuer jede kleine Modifikation ein ganze GGUF pullen, kann einfach ein Base Modell im VRAM halten und je nachdem sogar mehrere Loras oder wenigstens nur die nachladen nach bedarf.

Aber momentan ist da imo irgendwie noch alles chaotisch und ich hab keine Ahnung ob ich da irgendwas total ueberseh.

[Geldmann3]

Was haltet ihr von dem X670E-AORUS-MASTER (https://www.gigabyte.com/de/Motherboard/X670E-AORUS-MASTER-rev-1x#kf)?

Sehe den Nachteil, dass ich wohl nur 2 PCIe SSDs einbauen kann, ohne Lanes von der GPU abzuzwicken?

Sehe ich das richtig? Und die teilen sich die Bandbreite auch noch? Also 0xPCIe 5.0 SSD?
https://i.ibb.co/TbVWbWy/image.png

Du pullst da das base image und die verschiedenen Trainings / Loras werden dann wie bei Docker einfach darueber gelegt. I.e. ich muss nicht mehr fuer jede kleine Modifikation ein ganze GGUF pullen, kann einfach ein Base Modell im VRAM halten und je nachdem sogar mehrere Loras oder wenigstens nur die nachladen nach bedarf.

Spannend, dann bin ich nicht der Erste mit dieser Idee. Bei Stable Diffusion läuft es mit Loras ja immerhin genauso.

Edit: Meint ihr dieser Ram wäre für den 7950 X3D passend? 96GB-G-Skill-Ripjaws-S5-DDR5-6400-DIMM-CL32-Dual-Kit (https://www.mindfactory.de/product_info.php/96GB-G-Skill-Ripjaws-S5-DDR5-6400-DIMM-CL32-Dual-Kit_1499555.html)

Leider steht da nur Intel XMP, kein AMD Expo. Jedoch finde ich keine 96Gb DDR5-6400 Kits mit CL32 oder besser... Braucht es das heute?

[Geldmann3]

Bevor ich jetzt morgen an dem Board rumschraube, möchte ich doch nochmal mit meiner Frage zu meinem letzten Bild nachpushen, ob das jemand besser versteht als ich.

Darf ich nun einen der beiden PCIe 5.0 M.2 SSD-Slots verwenden oder dropt meine Grafikkarte dann auf 8x?

Note: "The PCIEX16 slot can only support a graphics card or an NVMe SSD. If only one
graphics card is to be installed, be sure to install it in the PCIEX16 slot."

Völlig unverständlich für mich, klar kann der Slot nur eine SSD oder eine GPU, passen doch nicht beide gleichzeitig rein?! ^^

Wenn ich keinen der beiden PCIe 5.0 Slots verwenden darf, mit einer X16 GPU, dann hat das Board ja am Ende effektiv gar kein PCIe 5.0 NVMe Support...

Doch die CPU sollte 24 Lanes haben, ich sehe nicht deutlich, wo die abgehen?

Wollte Gigabyte dazu befragen, aber deren Support... Allein die ganzen unnötigen Fragen die man vorher beantworten soll, welchen Ram ich verwende und so, völlig unnötig! Ich will nur wissen wo die Lanes hingehen...

Da mach' ich lieber Try & Error statt denen eine Supportanfrage zu stellen und genau das ist es doch, was die wollen- :mad:

Edit: Tomshardware schreibt dazu: "The bottom two sockets (M2C_SB and M2D_SB) also support up to 110 mm drives but run at PCIe 4.0 x4 (64 Gbps) speeds. Due to the number of available PCIe lanes from the CPU and chipset (those dual PROM21 chips), you can run all four M.2 sockets and all six SATA ports concurrently. Both the SATA-based storage and NVMe drives support RAID0/1/10 modes.

Das wage ich aber stark zu bezweifeln. Denn die GPU braucht 16 Lanes, die Chipsets 4x (sind gechained) und 4x dann noch eine SSD. Es sei denn 2 SSDs teilen sich wenn nötig 4 Lanes, dazu finde ich aber nix.

ODER das mit 24 von 28 usable ist so gemeint, dass 4 für das Chipset abgehen. Doch dann sind die anderen 4 über das Chaining ja durchaus wieder usable, aber via PCIe 4.0.
Entsprechend könnte ich dann 4 PCIe SSDs einbauen, ohne der Grafikkarte Lanes abzuzwicken.

Dann verstehe ich die Note im Handbuch aber nicht mehr.

[Tesseract]

AM5 hat 28 lanes insg., sollte also alles gleichzeitig laufen können. der ram wird aber ziemlich sicher nicht mit dem profil laufen. soweit ich weiß ist 6400 schon lotterie und dann sind das noch fette dual rank module in einem board mit 4 slots. mit 96GB eher 6000 und mit 192GB eher <=5400 wenn das ganze auch stabil sein soll.

[The_Invisible]

Hab ich doch schon mal oben geschrieben, von den 28Lanes gehen 4 für den Chipsatz drauf und dann hat man noch 16x für GPU und 2x m.2 Slot. Die restlichen 2 m.2s gehen über den Chipsatz Link und teilen sich natürlich auf wenn beide gleichzeitig genutzt werden.

[=Floi=]

Sehe den Nachteil, dass ich wohl nur 2 PCIe SSDs einbauen kann, ohne Lanes von der GPU abzuzwicken?

Ich habe mir pcie x1 adapter gekauft. Darüber läift 1gb und für mich reicht das überall aus.

[Fliwatut]

...und mit 192GB eher <=5400 wenn das ganze auch stabil sein soll.
5400 und 4800 sollen schon sehr schwierig zu erreichen sein, garantiert werden seitens AMD bei Vollbestückung nur 3600 MT/s. Bei Intel sieht es auch nicht besser aus.

[Fliwatut]

Darf ich nun einen der beiden PCIe 5.0 M.2 SSD-Slots verwenden oder dropt meine Grafikkarte dann auf 8x?
Bei meinem X670E MB läuft die Grafikkarte mit x16, ich habe beide SSD-Slots, die von der CPU kommen, mit SSDs bestückt.

Du guckst am besten mal ins Handbuch des von dir ausgesuchten MB, dort steht drin, ob Lanes geteilt werden, das sollte bei X670E aber eher nicht der Fall sein. Sollte dort nichts stehen, wird auch nichts geteilt.

[Geldmann3]

Ich habe mir pcie x1 adapter gekauft. Darüber läift 1gb und für mich reicht das überall aus.

Wäre für mich durchaus eine Option, wenn mir die Lanes ausgehen^^

Habe jetzt übrigens einen der beiden Slots besetzt und die GPU läuft immernoch mit 16 Lanes. Den zweiten hebe ich mir für eine schnelle PCIe 5.0 SSD auf. Insgesamt habe ich nun also 3 M2 SSDs verbaut.

[Geldmann3]

Zur Info, habe die 96GB DDR5 6400 CL32er Ramriegel jetzt bei 6000MT/s laufen. War mein erster XMP try und dabei belasse ich es auch. Scheint sehr stabil zu laufen. Ich habe zu viel gelesen, dass Leute bei mehr bereits Stabilitätsprobleme mit dem 7950X3D haben und für mich ist Stabilität gerade das wichtigste im Alltag.

[Lawmachine79]

Von einem "Geldmann" hätte ich so eine Frage wie im Topic nicht erwartet.

[Geldmann3]

;D Genau solch eine Antwort habe ich erwartet.