DDR, GDDR, Memory Cubes, HBM und WideIO - NextGen-Speichertechnologien

[dildo4u]

Hynix will dieses Jahr mit DDR5 4800 Produktion beginnen,die Spezifikation geht bis 8400.


https://www.techpowerup.com/265356/sk-hynix-unveils-ddr5-memory-details-production-to-start-this-year

[HOT]

Das wird schon gereicht haben, da man ja die billigen langsamen HBMs von SKHynix in erster Linie verschleudert hat.

Micron wird definitiv geringere Preise bedeuten, weil dann zum ersten Mal das Angebot die Nachfrage decken wird. In dem Moment wird HBM voll konkurrenzfähig ggü. GDDR. Allerdings muss man immer noch den Interposer mit einrechnen. Langfristig wird HBM GDDR ab High-End sicherlich komplett ablösen und im Mobile auch.

[][immy]

Hynix will dieses Jahr mit DDR5 4800 Produktion beginnen,die Spezifikation geht bis 8400.


https://www.techpowerup.com/265356/sk-hynix-unveils-ddr5-memory-details-production-to-start-this-year
Oh, DDR5 hat ECC mit an Bord?

8400 ist natürlich mal eine etwas deutlichere Verbesserung, wenn das hin kommt.
Allerdings ist DDR4 ja auch nicht nur auf 3200 beschränkt, auch wenn alles darüber eher aus übertakteten Chips besteht.

[basix]

8400er wäre ja für Server und nicht für Consumer ;)

Für uns würde das so ca. 1000er+ bedeuten. Nicht zu Beginn aber langfristig.

[Nightspider]

Wo bleiben eigentlich die neuen (A-Dies) von Samsung die schneller werden sollten (oder nicht??) als die guten B-Dies?

Hatte bisschen gehofft das wir noch schnellere Module für Zen 3 und die neue X670 Plattform bekommen. :)

[Unicous]

Iirc geht es da nicht um "Geschwindigkeit" sondern lediglich um Kapazität. Ich meine auch gelesen zu haben, dass es eher nicht so gut um die OC-Fähigkeit bestellt sein soll, aber ich kann mich auch irren.

[Nightspider]

Kapazität brachten ja schon die M-Dies wenn ich mich nicht irre.

Kann natürlich sein das die M-Dies deutlich langsamer sind als die B-Dies und die M-Dies nur ein bisschen.

[Felixxz2]

Der neue schnellste Top500 Fugaku aus Japan nutzt 32GB HBM2 pro CPU. Ergibt völlig verrückte 4,85 PB an HBM2 Memory :freak:

https://www.r-ccs.riken.jp/en/fugaku/project/outline

[BoMbY]

Ja. Und bei Frontier und El Capitan wird wohl eine Mischung aus HBM2 (oder 2e, oder 3) und DDR5 verwendet werden, vermutlich im Faktor von wenigstens 2:1 (eher deutlich größer).

Wenn tatsächlich ein EHP verbaut wird, könnten bis zu 256 Nodes in ein Shasta-Cabinet passen (ähnlich wie beim C7815 COMPUTE BLADE mit 4 Nodes per Blade und bis zu 1024 GB DDR4 per Node).

Das könnten dann problemlos auch 3 PB HBM2 (4x 32GB pro Node mit 4 GPUs und einem EPYC) und dazu 25 PB DDR5 (1024GB pro Node) werden für Frontier mit > 100 Cabinets werden.

[basix]

Der neue schnellste Top500 Fugaku aus Japan nutzt 32GB HBM2 pro CPU. Ergibt völlig verrückte 4,85 PB an HBM2 Memory :freak:

https://www.r-ccs.riken.jp/en/fugaku/project/outline

Am besten finde ich ja, dass der verwendete Chip "A64FX" heisst :freak:

[Felixxz2]

Ja. Und bei Frontier und El Capitan wird wohl eine Mischung aus HBM2 (oder 2e, oder 3) und DDR5 verwendet werden, vermutlich im Faktor von wenigstens 2:1 (eher deutlich größer).

Wenn tatsächlich ein EHP verbaut wird, könnten bis zu 256 Nodes in ein Shasta-Cabinet passen (ähnlich wie beim C7815 COMPUTE BLADE mit 4 Nodes per Blade und bis zu 1024 GB DDR4 per Node).

Das könnten dann problemlos auch 3 PB HBM2 (4x 32GB pro Node mit 4 GPUs und einem EPYC) und dazu 25 PB DDR5 (1024GB pro Node) werden für Frontier mit > 100 Cabinets werden.

Aber da ist der HBM2 ja nur für die GPUs oder?
Fands eben in einem General Purpose Rechner extrem spannend. Das Teil zersägt ja auch alle bandbreitenlastigen Benches im Halbschlaf.

Am besten finde ich ja, dass der verwendete Chip "A64FX" heisst :freak:

Das ist allerdings echt geil :freak:

[unl34shed]

Sk Hynix startet Massenproduktion von 3.6GT/s HBM2e https://videocardz.com/press-release/sk-hynix-announces-mass-production-of-hbm2e-high-speed-dram

[HOT]

Passend zu GloFos 12LP+-Prozess und 12LP+-Interposer-Launch ;).

https://www.techpowerup.com/269309/globalfoundries-announces-12lp-enhanced-12nm-silicon-fabrication-node

Aber er zeigt sich, dass die Zeit von GDDR unweigerlich abläuft. Die Geschwindigkeiten und Speichermengen, die man mit HBM hinbekommt sind einfach enorm.

[Cyberfries]

Rambus lässt von sich hören - und vermeldet HBM2 mit 4Gpbs in Zusammenarbeit mit SK Hynix:

https://www.rambus.com/rambus-advances-hbm2e-performance-to-4-0-gbps-for-ai-ml-training-applications/

[unl34shed]

Bin da über etwas interessantes gestolpert. Ist von Dezember 2019, ich konnte den Link aber hier nicht finden.
https://semiengineering.com/whats-next-for-high-bandwidth-memory/


HBM2 Kosten 120$/16GB + packaging
ASE kann HBM direkt auf das Substrat packen ohne Interposer
HBM2E wurde mit >3GT/s 2019 gesampled und soll Mitte diesen Jahres aufschlagen
HBM3 wurde da noch für 2H 2020 erwartet, das scheint sich ja verschoben zu haben (oder nur bei SK Hynix?)

[Rampage 2]

Was ist denn jetzt aus Samsung's mysteriösen "18Gbps" GDDR6-Chips geworden - laut Samsung seit Anfang 2018 in Massenproduktion, aber man hört und sieht absolut nix davon und auf Samsung's offizieller GDDR6-Produktseite sind nur 16Gbps-Module zu finden! Und selbst diese gibt es derzeit nur in 8Gbit (1GB) Speicherdichte - die 16Gbit/2GB-Chips mit 16Gbps Geschwindigkeit sind lt. Produktseite noch in der Sampling-Phase. Derzeit sind 16Gbit-Chips nur mit höchstens 14Gbps Geschwindigkeit verfügbar:

https://www.samsung.com/semiconductor/dram/gddr6/

Oder hat Samsung die Leute einfach verarscht? :freak:

R2

[basix]

Ich will lieber 12/24 Gbit GDDR6. Dann bekommen wir auch wieder sinnvollere Speichermengen (z.B. 12 GByte an 256bit)

[Rampage 2]

Ich will lieber 12/24 Gbit GDDR6. Dann bekommen wir auch wieder sinnvollere Speichermengen (z.B. 12 GByte an 256bit)

Darum geht es ja in diesem Fall nicht: Samsung hat offiziell behauptet, dass GDDR6-Module mit einer Geschwindigkeit von 18Gbps und gleichzeitig (!) einer Density von 16Gbit schon seit Anfang 2018 in Massenproduktion sein sollen - aber seitdem hat man nichts mehr davon gehört und die Angaben auf Samsung's GDDR6-Produktseite stehen in krassem Widerspruch zu dieser Behauptung!

zu den 12Gbit/1.5GB-Chips: Ja, ich denke auch, dass Nvidia es jetzt bereut, keinen genaueren Blick drauf geworfen zu haben;D

R2

[dildo4u]

SK hynix Launches World’s First DDR5 DRAM

https://news.skhynix.com/sk-hynix-launches-worlds-first-ddr5-dram/

[Dr. Lars Sahmströhm]

Wenn der Speicher immer schneller wird, wird dann nicht irgendwann ein Punkt erreicht, an dem die Speichergröße nur noch eine untergeordnete Rolle spielt, weil der Speicher derart schnell mit Daten be- und entladen wird, dass man keine riesen Speicherkapazitäten mehr braucht, weil die entstehende Latenz zu vernachlässigen ist?

[RavenTS]

Wenn der Speicher immer schneller wird, wird dann nicht irgendwann ein Punkt erreicht, an dem die Speichergröße nur noch eine untergeordnete Rolle spielt, weil der Speicher derart schnell mit Daten be- und entladen wird, dass man keine riesen Speicherkapazitäten mehr braucht, weil die entstehende Latenz zu vernachlässigen ist?

Die Speicher wird zwar prinzipiell vom Durchsatz immer schneller, aber die absolute Latenz für Zugriffe ändert sich nur marginal - zumindest wenn du dich auf "RAM" beziehst.

Siehe z.B.
https://de.wikipedia.org/wiki/Arbeitsspeicher#Leistung_von_Speichermodulen
=> auch mit DDR4-Speicher hat sich das prinzipiell nur minimal verbessert.

[Skysnake]

Genau bei den Latenzen tut sich seit DDR quasi nichts mehr und wird auch auch nicht mehr so lange wir bei den DRAM Zellen bleiben und nicht irgendwas anderes nehmen, wobei da nicht so viel schneller ist. SRAM halt

[dildo4u]

Teamgroup nennt Q3 2021 für erste DDR5 4800 Module.


https://videocardz.com/press-release/teamgroup-plans-to-release-16gb-4800mhz-ddr5-memory-in-early-q3-2021

[Zossel]

Teamgroup nennt Q3 2021 für erste DDR5 4800 Module.


https://videocardz.com/press-release/teamgroup-plans-to-release-16gb-4800mhz-ddr5-memory-in-early-q3-2021

Who the fuck is Teamgroup?

[Platos]

Teamgroup nennt Q3 2021 für erste DDR5 4800 Module.


https://videocardz.com/press-release/teamgroup-plans-to-release-16gb-4800mhz-ddr5-memory-in-early-q3-2021

Also Q3 2022 bis bezahlbar

[Lehdro]

Who the fuck is Teamgroup?
Stellt seit über 20 Jahren Speichermodule u.ä. her. Sollte man zumindest schon einmal gehört haben.

[Zossel]

Stellt seit über 20 Jahren Speichermodule u.ä. her. Sollte man zumindest schon einmal gehört haben.

Mit Herstellern die Module in bunt und mit Kühlkörpern verkaufen habe ich schlechte Erfahrungen gesammelt weswegen solche Hersteller für mich nicht existieren.
Ich kaufe nach Möglichkeit nur bei Herstellern die ausschließlich grüne Module verkaufen.

Funfact am Rande: Der grüne Lack ist auch der beste weil die Pigmente an kleinsten sind und damit die Lötstoppmaske am besten abgebildet wird. Optisches QS geht vor grünen Hintergrund auch besser.

[dildo4u]

Samsung GDDR6W: Doppelte Bandbreite und Kapazität dank Stacking für GPUs

https://www.computerbase.de/2022-11/samsung-gddr6w-doppelte-bandbreite-und-kapazitaet-dank-stacking-fuer-gpus/

[davidzo]

Samsung schlägt anscheinend die Rückkehr zu 512bit Speicherinterfaces vor.
Anders kann ich mir das nicht vorstellen wenn das 1:1 an bisherige GDDR6 SIs passen soll (dort natürlich ohne verdoppelte bandbreite, nur verinfachtes PCB). Wie kann ich die Bandbreite erhöhen wenn die Transmissionsrate gleich bleibt (22gt/s)?

Der Trick dabei um das Leitungslängenproblem zu umgehen und dass die PCB-kosten nicht explodieren ist ein Organischer RDL im DRAM Package, der die Verdrahtung so vereinfacht dass zwei GDDR6 Module einem einzelnen GDDR6W Modul entsprechen.

Daswäre in der Tat interessant, denn mit 8 Modulen konnte man bisher ganz bequem arbeiten und angesichts von Chiplet GPUs wäre ein 512bit SI auf dem Chip nichtmal besonders teuer.

[Relic]

Samsung schlägt anscheinend die Rückkehr zu 512bit Speicherinterfaces vor.
Anders kann ich mir das nicht vorstellen wenn das 1:1 an bisherige GDDR6 SIs passen soll (dort natürlich ohne verdoppelte bandbreite, nur verinfachtes PCB). Wie kann ich die Bandbreite erhöhen wenn die Transmissionsrate gleich bleibt (22gt/s)?

Der Trick dabei um das Leitungslängenproblem zu umgehen und dass die PCB-kosten nicht explodieren ist ein Organischer RDL im DRAM Package, der die Verdrahtung so vereinfacht dass zwei GDDR6 Module einem einzelnen GDDR6W Modul entsprechen.

Daswäre in der Tat interessant, denn mit 8 Modulen konnte man bisher ganz bequem arbeiten und angesichts von Chiplet GPUs wäre ein 512bit SI auf dem Chip nichtmal besonders teuer.

Naja entweder müssen mehr Leitungen zu den Modulen oder die Taktrate muss sich erhöhen. Hier scheint man den Weg der mehr Leitungen zu gehen, was aber nicht nur den Chip teurer macht sondern auch das PCB.

[][immy]

Naja entweder müssen mehr Leitungen zu den Modulen oder die Taktrate muss sich erhöhen. Hier scheint man den Weg der mehr Leitungen zu gehen, was aber nicht nur den Chip teurer macht sondern auch das PCB.
Oder der Cache wird einfach massiv hoch geschraubt wie AMD es ja schon macht. Ggfs. ginge auch noch nen HBM Speicher davor schalten (quasi als weitere Cache-Stufe) und damit den "externen" Speicher weiter zu degradieren.
Denn das es wirklich mehr Leitungen werden, dagegen spricht eigentlich das die Chips quasi immer kleiner werden müssen. Wird halt irgendwann schwer mit den "externen" Leitungen.

Und die Frequenzen wird man auch nicht unendlich erhöhen können. Hier stößt man halt auf immer größere Problembereiche, was ebenfalls eher für andere Konzepte spricht.

[davidzo]

Da ist nix Cache, da ist nichtmal ein IC davor und innendrin sind auch nur normale GDDR6 DRAM Chips.

Erst dachte ich man hat den prefetch erhöht, also dass einfach doppelt soviele Daten pro Anfrage geschickt werden, aber das hieße doch zwingend Änderungen im DRAM und Speichercontroller.
Wie das nun geschehen soll dass sich die Datenraten verdoppeln, aber alles kompatibel zu GDDR6 sein soll kann ich mir nicht erklären.

Wohl logisch klingt es aber, dass der Routingaufwand eines doppelt breiten SIs in einem organic interposer wohl deutlich einfacher gelöst ist und elektrisch hochwertiger als in einem PCB welches schon für 384bit ominöse Technologien wie backside drilling und bald buried vias bräuchte. So ganz erklärt sich mir aber noch nicht wieso so ein doppelter chip denn extern nunmehr nur die Hälfte seiner I/O Interconnects benötigt.

[amdfanuwe]

Hat doch doppelte Anzahl an I/O.
64 I/O statt 32 bei GDDR6.
81635

[Complicated]

Erst dachte ich man hat den prefetch erhöht, also dass einfach doppelt soviele Daten pro Anfrage geschickt werden, aber das hieße doch zwingend Änderungen im DRAM und Speichercontroller.
Wie das nun geschehen soll dass sich die Datenraten verdoppeln, aber alles kompatibel zu GDDR6 sein soll kann ich mir nicht erklären.

Das ist doch wie bei HBM, das auch lediglich gestackter DDR ist. Das ist auch kompatibel mit den Speichercontrollern.

[Relic]

Da ist nix Cache, da ist nichtmal ein IC davor und innendrin sind auch nur normale GDDR6 DRAM Chips.

Erst dachte ich man hat den prefetch erhöht, also dass einfach doppelt soviele Daten pro Anfrage geschickt werden, aber das hieße doch zwingend Änderungen im DRAM und Speichercontroller.
Wie das nun geschehen soll dass sich die Datenraten verdoppeln, aber alles kompatibel zu GDDR6 sein soll kann ich mir nicht erklären.

Wohl logisch klingt es aber, dass der Routingaufwand eines doppelt breiten SIs in einem organic interposer wohl deutlich einfacher gelöst ist und elektrisch hochwertiger als in einem PCB welches schon für 384bit ominöse Technologien wie backside drilling und bald buried vias bräuchte. So ganz erklärt sich mir aber noch nicht wieso so ein doppelter chip denn extern nunmehr nur die Hälfte seiner I/O Interconnects benötigt.

Da vereinfacht sich gar nichts auf dem PCB die Anzahl der Leitungen sind die gleichen wie bei 2 getrennten GDDR6 Chips man braucht nur weniger Platz.

[Lehdro]

-EhDlXx3okU
Hat Linus hier die 3 GBit Chips bekommen, über die schon so viel spekuliert wurde, oder einfach nur teildeaktiviertes Zeug?

8 Chips single sided aber 24 GiB Speicher...

[Skysnake]

ja, das sollten wohl die nicht binären Chips sein.

[basix]

Hat doch doppelte Anzahl an I/O.
64 I/O statt 32 bei GDDR6.
81635

Navi 33 mit 2 Packages? :D

[Neurosphere]

https://fuse.wikichip.org/wp-content/uploads/2022/12/sram-density-tsmc-n3b-n3e.png

IEDM 2022: Did We Just Witness The Death Of SRAM? (https://fuse.wikichip.org/news/7343/iedm-2022-did-we-just-witness-the-death-of-sram/)

Keine skalierung beim SRam durch kleineren Fertigungsprozess mehr.

[Skysnake]

Überrascht mich jetzt, wobei 5nm ja verdammt gut aussieht.

Mal schauen was in den nächsten Jahren passiert. Mit den starken p und n Moss und backside Power delivery muss ja noch was gehen.

[Neurosphere]

Wenn es jedoch so weitergeht, wäre ein monolitischer Aufbau gerade bei GPUs dann doch schnell passe.

Die Caches werden ja derzeit immer größer bei den GPUs und werden demnach einen hohen Platzbedarf einfordern:

https://fuse.wikichip.org/wp-content/uploads/2022/12/n16-n5-n3-scaling-chip.png

Dazu kommt das Reticle limit von 429 mm² mit zukünftigen High-NA EUV Prozessen.

Selbst die kleineren Zwischencaches werden da irgendwann zum Problem.

[Zossel]

Wenn es jedoch so weitergeht, wäre ein monolitischer Aufbau gerade bei GPUs dann doch schnell passe.

Hast du was anderes erwartet?

Das SRAM nicht mehr großartig mit der Fertigung skaliert wurde doch schon vor längerer Zeit kommuniziert.

[Neurosphere]

Hast du was anderes erwartet?

Das SRAM nicht mehr großartig mit der Fertigung skaliert wurde doch schon vor längerer Zeit kommuniziert.

Zumindest hab ich mich gewundert das laut Gerüchteküche Blackwell noch monolithisch sein soll.

[HOT]

NV ist offenbar spät dran mit Chiplets. Das erfordert jahrelange Entwicklung.

Wie ist das denn mit neuen Transistoren bei GAAFET? Gibts da wieder ne Schrumpfung von SRAM?

[Zossel]

NV ist offenbar spät dran mit Chiplets. Das erfordert jahrelange Entwicklung.

Wie ist das denn mit neuen Transistoren bei GAAFET? Gibts da wieder ne Schrumpfung von SRAM?

Was aus dem Heise-Forum dazu:
Re: SRAM und DRAM verwechselt?

Ich vermute, der Autor hat hier einfach verkürzt dargestellt, um nicht erklären zu müssen wie ein SRAM funktioniert.

Hier der Grund anders erklärt:
Der heute eingesetzte SRAM ist nicht vergleichbar einem Flip-Flip, wie man es aus Gattern gelernt hat. Sondern die Besonderheit:
- 2 zueinander invertierte, aber kombinierte Lese-/Schreibleitungen

Um zu lesen, müssen beide Leseleitungen auf 1/2 VDD vorgespannt werden.
Um zu Schreiben, müssen dieselben Leitungen auf VDD bzw. GND gelegt werden (Invertiert zueinander, nicht beide gleich wie beim Lesen).
Selektiert wird die Zelle immer über die selbe WL (Word Line).
Ein Signal "Lesen" oder "Schreiben" gibt es nicht.

1/0 ist Schreiben 0
0/1 ist Schreiben 1
0,5 / 0,5 ist Lesen

Die Zelle funktioniert also nur, wenn darin nicht nur die nötigen 6 Transistoren vorhanden sind, sondern diese auch unterschiedliche Ströme (Leistung) aufweisen. Die Leistung muss so dimensioniert sein, dass bei zur hälfte vorgespannter Bitleitung der Transistor in der Zelle "gewinnt" - und daher Gelesen wird. Und bei voll anliegender VDD/GND "gewinnt" die Bitline und es wird geschrieben durch Kippen des Zustandes.

Und genau hier kommt jetzt die Fläche ins Spiel:
Die enthaltenen Inverter können nicht deutlich kleiner gebaut werden. Entsprechend müssen die beiden Steuertransistoren der Bitleitung so groß bleiben und können nicht schrumpfen - sonst machen die nicht ausreichend Strom fürs Lesen.

Leider kann man hier kein Bild Posten, einfach mal nach dem "SRAM Die SHOT" suchen, dann wird das klar was ich meine. Das sind ja nicht 6 Transistoren diskret nebeneinander mit Kabeln, sondern das ist eine höchst optimierte Einheit mit nur 2 Metalllagen. Da sehen übrigens die von Intel komplett anders aus, als die von TSMC, da jeder ein anderes Patent nutzt, welches er jeweils nicht Lizensiert, weil sein eigenes ja "so viel besser" ist.

Normale Logik:
Kleinere Transistoren machen weniger Leistung, benötigen aber geringere Leistung zum Schalten. SRAM hingegen muss höhere Leistung können, daher sind dort die Bitline Transistoren entkoppelt vom Schrumpfen der Logiktransistoren.

https://www.heise.de/forum/heise-online/Kommentare/Neue-Chip-Fertigungstechnik-Houston-wir-haben-ein-Problem/Re-SRAM-und-DRAM-verwechselt/posting-42026648/show/

[Zossel]

Micron will nach hohen Verlusten 4.800 Stellen streichen

https://www.derstandard.at/story/2000142030158/micron-will-nach-hohen-verlusten-4-800-stellen-streichen

[dildo4u]

SO-DIMM soll mit dem CAMM Standard ersetzen werden.


https://wccftech.com/jedec-plans-to-ditch-so-dimm-embrace-camm-as-the-next-memory-standard-for-laptops/

[Pirx]

Samsung arbeitet mit AMD an HBM-PIM Processing in Memory. Ob das sinnvoll ist und mal in der Praxis ankommt? https://semiconductor.samsung.com/us/news-events/tech-blog/hbm-pim-cutting-edge-memory-technology-to-accelerate-next-generation-ai/

[Skysnake]

Das ist für ne ganze Menge an Anwendungen sinnvoll.

[Exxtreme]

SO-DIMM soll mit dem CAMM Standard ersetzen werden.


https://wccftech.com/jedec-plans-to-ditch-so-dimm-embrace-camm-as-the-next-memory-standard-for-laptops/

Das Ding ist viel besser was elektrische Eigenschaften angeht. Man kann da viel schnelleren RAM verbauen. Nachteil ist, dass man den RAM nicht mehr erweitern kann. Wenn man mehr will dann muss man es komplett ersetzen. Und ja, das wird die RAM-Hersteller freuen.

[dildo4u]

Micron hat sich zur DDR4 Produktion geäußert es geht dem Ende zu.


https://www.computerbase.de/news/arbeitsspeicher/verknappung-beginnt-ddr4-speicherpreise-innerhalb-von-acht-wochen-fast-verdreifacht.93266

[bbott]

Das Ding ist viel besser was elektrische Eigenschaften angeht. Man kann da viel schnelleren RAM verbauen. Nachteil ist, dass man den RAM nicht mehr erweitern kann. Wenn man mehr will dann muss man es komplett ersetzen. Und ja, das wird die RAM-Hersteller freuen.
Noch gibt es Hoffnung:
📌 Der aktuelle Stand (Stand 2025): 🔧 CAMM1 (z. B. Dell Precision 7000er-Serie 2023–2024):

➤ Nur ein Modul pro Slot.

➤ Kein Stapeln, kein Multi-Modul-Betrieb möglich.

🆕 CAMM2 (JEDEC-Standardisierung ab 2023/2024):

➤ Unterstützt Dual-Channel-Betrieb über ein einziges Modul.

➤ Es gibt erste Designs, die zwei CAMM2-Module übereinander stapeln könnten, aber:

Noch nicht im Markt erhältlich.

Nur theoretisch vorgesehen im Standard.

Kein Laptop am Markt nutzt das bisher.

💡 Wichtig zu wissen:

CAMM2 ist elektrisch und mechanisch darauf ausgelegt, theoretisch mehrere Module auf engem Raum zu ermöglichen.

Die Industrie arbeitet daran, das langfristig umzusetzen – besonders für Upgrades im Enterprise- oder Workstation-Bereich.

Aber aktuell (2025) gilt:
🔹 Pro Gerät – ein CAMM-Modul
🔹 Aufrüsten = Austausch gegen ein größeres Modul

[Badesalz]

Gab es noch irgendwas zu HBM-PIM seit Anfang 2023? :|

[Neurosphere]

Das letzte was ich dazu finden konnte:

https://www.techpowerup.com/328510/samsung-hopes-pim-memory-technology-can-replace-hbm-in-next-gen-ai-applications

[Badesalz]

Das ist exakt der gleiche Wein ;)

[Neurosphere]

Aber in neuen Schläuchen...:D

Immerhin steht es noch irgendwo bei Samsung auf der Agenda und würde zumindest nicht fallen gelassen

[Badesalz]

Das wird kommen. Der Ertrag ist viel zu massiv (!) als daß man es aufgibt.
Die Frage ist nur, ob Samsung das hinbekommt.

Samsung führt zwar hybrid-bonding ein (05.2025, auf die Roadmap? :usweet:), aber 06.2025 bemustert Micron HBM4, Monate (?) nach SK Hynix, und weiterhin VOR Samsung...

[basix]

Das Ding ist viel besser was elektrische Eigenschaften angeht. Man kann da viel schnelleren RAM verbauen. Nachteil ist, dass man den RAM nicht mehr erweitern kann. Wenn man mehr will dann muss man es komplett ersetzen. Und ja, das wird die RAM-Hersteller freuen.

Wie viele Notebooks mit 4x SODIMM Slots gibt es heute? Nicht mehr so viele. Wirkliche Erweiterbarkeit ist Mangelware.

Für mich sehr positiv ist, dass es CAMM-Module nur in Dual-Channel Konfiguration gibt. Elendige Single-SODIMM Notebooks mit verhungernder iGPU sollten damit vorbei sein.

Als CAMM Unterstandard finde ich SOCAMM am interessantesten. Das ist am kompaktesten. Und hier 2x Steckplätze zu verbauen (als 4x SODIMM Slot Ersatz), falls man erweitern will, wäre auch kein Problem. Ein SOCAMM Modul benötigt eine geringere Fläche als ein SODIMM Modul (90 x 14mm gegenüber 70 x 30mm). Also selbst mit 2x SOCAMM Modulen (was auch für Quad-Channel reichen würde), benötigt man weniger Platz als mit 2x SODIMM Modulen. Momentan ist anscheinend 32 GByte die Mindestkonfiguration für SOCAMM, wäre für 99% der User also auch genug :)
https://www.hardwareluxx.de/index.php/news/hardware/arbeitsspeicher/65781-socamm-weiterer-modulstandard-f%C3%BCr-arbeitsspeicher-vorgestellt.html

[AffenJack]

Das wird kommen. Der Ertrag ist viel zu massiv (!) als daß man es aufgibt.
Die Frage ist nur, ob Samsung das hinbekommt.


Unwahrscheinlich, das Zeug ist nen totes Pferd und interessiert niemanden. Man sieht nicht umsonst auf diversen Roadmaps nur neue Ausbaustufen von HBM.

Evtl kommt es in den 2030er Jahren in einer etwas anderen Weise als Konzept zurück, aber in der ursprünglichen Form scheint es keine Vorteile zu bieten, auch wenn Samsung anderes behauptet. Aber so still wie es drum geworden ist, sagt das schon alles.

[][immy]

Micron hat sich zur DDR4 Produktion geäußert es geht dem Ende zu.


https://www.computerbase.de/news/arbeitsspeicher/verknappung-beginnt-ddr4-speicherpreise-innerhalb-von-acht-wochen-fast-verdreifacht.93266
Wundert mich, das es überhaupt noch so lange in Massen Produziert wurde. Außer dem AM4 Plattform gibt es ja nichts mehr am Markt mit DDR4 und diese wird nur von AMD ein wenig am leben erhalten durch die 5700x3d und 5600x3d CPUs.

Ich hab eigentlich vor DDR5 komplett zu überspringen. Noch ist der 5800x3d ausreichend für so ziemlich alles und von Jährlichen Zyklen wo es 50%+ gibt, sind wir ja schon mehr als ein Jahrzehnt entfernt. Mal schauen ob das klappt.

[Badesalz]

@AffenJack
AMD selbst war zeimlich angetan von den Prototypen. Es scheint wohl nur steiniger zu sein als angenommen.

2030 ist in 4,5 Jahren :|

[Sardaukar.nsn]

[immy;13777692']...
Ich hab eigentlich vor DDR5 komplett zu überspringen. Noch ist der 5800x3d ausreichend für so ziemlich alles und von Jährlichen Zyklen wo es 50%+ gibt, sind wir ja schon mehr als ein Jahrzehnt entfernt. Mal schauen ob das klappt.

Könnte mir ähnlich passieren. Ich denke zwar der 5800X3D wird kein zweiter Sandy Bridge i7-2600k, aber zusammen mit 4K Auflösung und den ganzen KI-Zaubertricks könnte der noch recht lange halten. Bin da mal gespannt.

[Skysnake]

Unwahrscheinlich, das Zeug ist nen totes Pferd und interessiert niemanden. Man sieht nicht umsonst auf diversen Roadmaps nur neue Ausbaustufen von HBM.

Evtl kommt es in den 2030er Jahren in einer etwas anderen Weise als Konzept zurück, aber in der ursprünglichen Form scheint es keine Vorteile zu bieten, auch wenn Samsung anderes behauptet. Aber so still wie es drum geworden ist, sagt das schon alles.

Das Zeug ist schon geil und an sich will das jeder. Die Frage ist half wie man es überhaupt realisiert und dann nicht wie man es nutzbar macht.

[basix]

Ein Problem bei PIM ist, dass die Speicherdichte etwas sinkt. Aber vielleicht ist das gar nicht so tragisch, wenn man 2x Bandbreite einsparen kann.

Bei HBM4 wird das Base Die gegen einen Logik-Prozess ausgetauscht. Bei Micron oder Hynix ist das TSMC N3! Ich könnte mir gut vorstellen, dass "PIM" hier ins Base Die wandert. Das ist nicht ganz so effektiv wie PIM direkt auf den Speicher-Die, aber hilft bereits.

Und noch als Input: Auch Hynix hat schon PiM / AiM gezeigt
https://www.hardwareluxx.de/index.php/news/hardware/arbeitsspeicher/61756-hotchips-2023-sk-hynix-und-samsung-eigen-in-memory-ai.html

[Badesalz]

AMD hat sich diesbezüglich Samsung angenähert, was wohl im Rahmen von RDNA 3.5 passierte.

IBM verträgt sich auch recht gut mit Samsung und auch die sind nicht ganz uninteressiert. Die Energie für die Bewegung von Daten ist bei denen noch ein größeres Top-Thema als beim Rest (weswegen sie für Telum 2 wie auch Spyre kein HBM nehmen konnten). Die interessieren sich aber wieder stark für LPDDR-PIM.

Für Samsung wäre es wirklich von einer großen Bedeutung das alles mal hinzubekommen :rolleyes: Vom Gefühl her sagt mir aber irgendwas, es dreht sich dabei in den Labs nicht nur um die schnöde Technik, sondern sehr viel um system security. Das könnte alles bisschen verlangsamen da auf endgültig gute Ideen zu kommen.

[AffenJack]

@AffenJack
AMD selbst war zeimlich angetan von den Prototypen. Es scheint wohl nur steiniger zu sein als angenommen.

2030 ist in 4,5 Jahren :|

Die 2030er gehen aber auch 10 Jahr, bis 2030 ist der Weg eigentlich klar beschrieben ohne PIM. Später in irgendeiner Form weiß man nie.

Das Zeug ist schon geil und an sich will das jeder. Die Frage ist half wie man es überhaupt realisiert und dann nicht wie man es nutzbar macht.

Naja, die Frage ist, ob es nicht zuviele Nachteile, so dass es keinerlei Sinn macht. Es kann sich theorethisch toll anhören, aber am Ende ist einem vielleicht die Speicherdichte und anderes wichtiger. Samsung kann nicht mal nen kleines AI Startup als Kunden präsentieren und in Sachen AI wird alles gekauft, solange es der Performance hilft.

[Skysnake]

Klar geht es etwas auf sie Speicherdichte. Wenn du aber damit sehr sehr viel höhere Bandbreiten hinbekommst ist das schon sehr geil.

Das Problem sehe ich jetzt eher im fehlenden Standard. Wer will denn in die Software so investieren die das auch nutzt????

[Badesalz]

Naja, die Frage ist, ob es nicht zuviele Nachteile, so dass es keinerlei Sinn macht. Es kann sich theorethisch toll anhören, aber am Ende ist einem vielleicht die Speicherdichte und anderes wichtiger. Wie, theoretisch? AMD/Samsung haben im Lab schon mit einer komplett umgebauten custom MI100 (PCIe) damit rumgespielt und es war VIELversprechend.

@Skysnake
Wette IBM wird für sich selbst LPDDR-PIM machen für die Mainframes. Herstellergebundene Riegel wird bedeuten, daß die Chips (die Konstruktioin) generell nur in Telium-Ökosystem laufen wird.

Ich meine, wahrscheinlich werden die Module sogar allgemein jeweils CPU-Architektur gebunden sein :usweet:

[Skysnake]

Ja, in so einem Bereich könnte das deutlich leichter sein mit der Einführung.

[basix]

Das Problem sehe ich jetzt eher im fehlenden Standard. Wer will denn in die Software so investieren die das auch nutzt????
Ich meine, wahrscheinlich werden die Module sogar allgemein jeweils CPU-Architektur gebunden sein :usweet:

In einer ihrer PIM Präsentationen erwähnt Samsung normale DDR5 Kompatibilität. Das würde sich also ohne "PIM" Instruktionen wie normaler DDR5 verhalten. Und auch anderweitig reden sie von Standardisierung der PIM Instruktionen.

Aussderdem ist im KI-HPC Sektor momentan so viel Geld vorhanden, dass zumindest ein Push bei HBM-PIM nicht unwahrscheinlich ist. Das Problem ist, dass sich hier wohl Interessen kreuzen könnten. Samsung möchte vielleicht vorwärts machen (weil sie evtl. Leader im Bereich sind) aber die anderen (Micron, Hynix) verzögern das ganze, bis sie selbst bereit für PIM sind. Ist halt gerade sehr viel Geld im Spiel bei HBM.

Was aus meiner Sicht irgendwie am sinnvollsten wäre, wäre wie gesagt ein Base-Die mit entsprecheneden MAC-Units. Hier könnte man sich zudem differenzieren, falls ein Markt oder ein Produkt andere Funktionen im Base-Die verwenden will. Die MAC-Units im z.B. TSMC N3 Die sind deutlich kompakter und effizienter als in den DRAM Die, man muss jedoch Daten vom DRAM zum Base-Die transportieren. Unter dem Strich wird das dennoch viel effizienter sein, als dies an den Host-Prozessor zu senden und man verliert keine DRAM-Speicherdichte.

[Badesalz]

In einer ihrer PIM Präsentationen erwähnt Samsung normale DDR5 Kompatibilität. Das würde sich also ohne "PIM" Instruktionen wie normaler DDR5 verhalten. Und auch anderweitig reden sie von Standardisierung der PIM Instruktionen.Wäre natürlich zu begrüßen. Aber... ...ich weiß nicht ob das jemals etwas für Consumer sein wird.

Das ist schon SEHR spezifisch. Für HPC/KI aber tatsächlich ein riesen Ding.

[AffenJack]

Wie, theoretisch? AMD/Samsung haben im Lab schon mit einer komplett umgebauten custom MI100 (PCIe) damit rumgespielt und es war VIELversprechend.


Ja und seitdem hört man nix mehr trotz zig neuen Gens. Es gibt keinen Indikator, dass es praktisch sinnvoll zu verwenden ist.
Keine Firma sagt bei sowas: Ohh, war scheiße und Geldverschwendung. Man sucht sich immer die Vorteile raus und präsentiert die.

Aber offensichtlich hat man die Nachteile weniger kommuniziert und diese überwiegen, sonst hätte AMD das auch genutzt. Meinst du AMD testet das, findet das super, aber hat trotzdem keine Lust das zu nutzen? Es ist nicht mal mehr auf Roadmaps zu sehen, obwohl soviel Zeit vergangen ist.

Das man von LPDDR6-PIM mittlerweile mehr hört deutet auch darauf hin, dass HBM-PIM sich erledigt hat. Irgendwelche technischen Nachteile wird es geben, die es für HBM unattraktiv machen und man bleibt lieber bei der einfachen Bandbreitenerhöhung.

[basix]

Wäre natürlich zu begrüßen. Aber... ...ich weiß nicht ob das jemals etwas für Consumer sein wird.

Das ist schon SEHR spezifisch. Für HPC/KI aber tatsächlich ein riesen Ding.

Dazu drei Gedanken:
- Man verbaut bereits NPUs in Consumer Chips (PC wie Smartphones)
- (LP)DDR5(X) wird auch in HPC/KI/Datacenter Systemen verwendet
- Energieeffizienz und Speicherbandbreite limitiert KI-Anwendungen generell (HPC wie Mobile)

So spezifisch wie du denkst ist das also gar nicht mehr. Natürlich werden Consumer primär die "Abfälle" aus den HPC/Datacenter Entwicklungen bekommen. Aber die Skalierbarkeit sowie Marktgrösse von PIM-Speicher hat sich seit 2023 massiv vergrössert.

[Badesalz]

Ja und seitdem hört man nix mehr Hatten wir schon alles eruiert...
trotz zig neuen Gens. Zig nur? Ja dann.

[basix]

Das man von LPDDR6-PIM mittlerweile mehr hört deutet auch darauf hin, dass HBM-PIM sich erledigt hat. Irgendwelche technischen Nachteile wird es geben, die es für HBM unattraktiv machen und man bleibt lieber bei der einfachen Bandbreitenerhöhung.

(LP)DDR6-PIM ist der deutlich grössere Markt, wenn man PC, Smartphone und HPC/Server da reinrechnet. Siehe auch meinen Kommentar 2 Posts vorher. Bei HBM-PIM vermute ich zum einen Teil Kostengründe (etwas absurd, ich weiss) und zum anderen dass HBM4 vor der Tür steht. Die Kapazitätsreduktion tut hier ausserdem auch weh, da mehr Speicher bei KI-Modellen mehr Performance bedeutet. Je nachdem könnte das die Performancevorteile durch PIM weider auffressen. Deswegen würde PIM via HBM Base-Die mMn am meisten Sinn ergeben. Und gerade HBM4 wechselt auf Base-Die in Logikprozessen. Ich kann mir gut vorstellen, dass wir bei HBM4 zum ersten Mal PIM in Aktion sehen werden.

[Badesalz]

Natürlich werden Consumer primär die "Abfälle" aus den HPC/Datacenter Entwicklungen bekommen.Außer bei Ethernet. Da haben sie uns einfach EWIG komplett ignoriert und max. nur die abgewrackten Kadaver mit 6W Link bei 10Gbit hier und da liegen gelassen :mad:
Aber die Skalierbarkeit sowie Marktgrösse von PIM-Speicher hat sich seit 2023 massiv vergrössert.Du meinst das Potenzial? Ja. Das ist klar vorhanden. Ich schätze erstmal wird noch HBM4(e) totgeritten bevor wir wieder etwas davon hören. 2028/2029...

IBM (+Samsung) für ihre Insel trau ich das eher zu. Die ziehen da jedenfalls klar mit am Band. Selbst wenn mit Samsung nur für sich selbst, aber sie haben nun auch Spyre und mit LPDDR-PIM hätten sie ein TOP Feature dabei
https://people.inf.ethz.ch/omutlu/pub/processing-in-memory_workload-driven-perspective_IBMjrd19.pdf

Wobei gleich mit der Tür ins Haus fallen scheint schon schwierig. Neben PIM gibts also auch noch den PNM Ansatz. N steht für, wenigstens ;), "near"
https://fast.ece.illinois.edu/projects/5_project/

PS:
Ich kann mir gut vorstellen, dass wir bei HBM4 zum ersten Mal PIM in Aktion sehen werden.Oder PNM :tongue:

[basix]

OK, von mir aus PNM ;)

PNM wie bisher gezeigt ist aber eher ein externer DRAM-Host und man PNM dort ausführt. Also nicht im DRAM Package integriert. HBM mit Base-Die-Compute ist da noch etwas "näher" ;) Vom Konzept her ist es aber wohl schon PNM.

Grundsätzlich zeigt die Diskussion hier ja, dass es viele Lösungsvorschläge und Umsetzungsvarianten gibt. Ist wohl nur noch eine Frage der Zeit, bis sowas am Markt aufschlagen wird.

[AffenJack]

Hatten wir schon alles eruiert...
Zig nur? Ja dann.

Gut, dann stimmst du mir ja zu, dass im Moment keiner HBM-PIM haben will aus Gründen die wir nicht kennen oder es technisch nicht funktioniert.
Das ist der Stand die wir haben.

(LP)DDR6-PIM ist der deutlich grössere Markt, wenn man PC, Smartphone und HPC/Server da reinrechnet. Siehe auch meinen Kommentar 2 Posts vorher. Bei HBM-PIM vermute ich zum einen Teil Kostengründe (etwas absurd, ich weiss) und zum anderen dass HBM4 vor der Tür steht. Die Kapazitätsreduktion tut hier ausserdem auch weh, da mehr Speicher bei KI-Modellen mehr Performance bedeutet. Je nachdem könnte das die Performancevorteile durch PIM weider auffressen. Deswegen würde PIM via HBM Base-Die mMn am meisten Sinn ergeben. Und gerade HBM4 wechselt auf Base-Die in Logikprozessen. Ich kann mir gut vorstellen, dass wir bei HBM4 zum ersten Mal PIM in Aktion sehen werden.

Wenn du GDDR, LPDDR, DRAM usw alles als eins siehst ja, aber das hat ja nichts mit der Realität zu tun. Das sind alle unterschiedliche Produkte. HBM ist mittlerweile durch den AI-Boom bei Hynix Umsatzbringer Nr.1 und bei Micron ist es zumindest auch ein wichtiger Umsatzbringer. Einzig für Samsung spielt HBM eine untergeordnete Roll aufgrund derer generellen Unfähigkeit es zum laufen zu bringen.

Preis ist bei KI nur ein Argument, wenn dieser extrem steigt. Dann ist HBM-PIM aber auch technisch (in der Kombination mit Ökonomischen Gesichtspunkten) schlicht unterlegen und man geht deshalb den HBM4 Weg. Die Wahl für PIM wäre ja als Alternative möglich gewesen, aber man setzt stattdessen auf normale HBM Ausbaustufen.

[basix]

Ich hatte nur DDR6 und dessen Geschwister im Kopf (DDR6, LPDDR6, LPDDR6X):
- Apple SoCs
- Notebooks
- Smartphones
- Desktop
- Server
- HPC/AI CPUs

Eigentlich alles ausser dGPUs und Accelerators werden zukünftig auf DDR6 oder eine Unterform davon wechseln. Und selbst ein paar Accelerators für ML/AI werden wohl auf LPDDR6 setzen, da kostengünstiger. Bei einer der PIM Studien hat man LPDDR6 GDDR6 mit ~HBM mässiger interner Bandbreite gezeigt (ca. 6x Nettobandbreitengewinn bei GEMV). Je nach Anwendung ist das gut genug und günstige oder viel günstige Kapazität ist wichtiger. Vermutlich viele Inferencing Workloads sind da Kandidaten und Inferencing wird verglichen mit Training immer wichtiger werden (aka der grössere Markt).

Hier ein Auszug von Cadence:
https://community.cadence.com/cadence_blogs_8/b/ip/posts/gddr7-the-ideal-memory-solution-in-ai-inference#:~:text=Inference%20engines%20typically%20need%20between,%2D3TB%2Fs%20 for%20training.
The computational power and memory bandwidth required for inference are significantly lower than those needed for training. Inference engines typically need between 300-700GB/s of memory bandwidth, compared to 1-3TB/s for training. Additionally, the cost of inference needs to be lower, as these systems will be widely deployed not only in data centers but also at the network's edge (e.g., 5G) and in end-user equipment like security cameras, cell phones, and automobiles.

Sie geben da zwar GDDR7 als "idealen Speicher" für Inferencing an. Das Problem von GDDR7 ist allerdings Kapazität. Das Problem hat DDR6 nicht. Und kann man die "virtuelle/effektive Bandbreite" von DDR6 auf GDDR7 Niveau oder darüber pimpen (mittles PIM, PNM), wird man das an viele Orten wohl machen.

Edit:
Noch ein weiterer Grund kann sein, dass DDR6 erst noch kommen wird, eine relativ lange Lebensdauer haben wird und entsprechend die Produktentwicklung für PIM/PNM zeitlich relativ günstig liegt. ML/AI ist auf dem Vormarsch.

[Badesalz]

Gut, dann stimmst du mir ja zu, dass im Moment keiner HBM-PIM haben will aus Gründen die wir nicht kennen oder es technisch nicht funktioniert.Du kommst weiterhin durcheinander. HABEN, will es jeder der Akteuere.
Preis ist bei KI nur ein Argument, wenn dieser extrem steigt. Dann ist HBM-PIM aber auch technisch (in der Kombination mit Ökonomischen Gesichtspunkten) schlicht unterlegenLiest du jeden Thread so schlecht und klickst du auch keine Links an?
Die Wahl für PIM wäre ja als Alternative möglich gewesen Woher weißt du wie weit sie schon damit sind? Wie, möglich gewesen?

[AffenJack]

Ich hatte nur DDR6 und dessen Geschwister im Kopf (DDR6, LPDDR6, LPDDR6X):
- Apple SoCs
- Notebooks
- Smartphones
- Desktop
- Server
- HPC/AI CPUs

Eigentlich alles ausser dGPUs und Accelerators werden zukünftig auf DDR6 oder eine Unterform davon wechseln. Und selbst ein paar Accelerators für ML/AI werden wohl auf LPDDR6 setzen, da kostengünstiger. Bei einer der PIM Studien hat man LPDDR6 GDDR6 mit ~HBM mässiger interner Bandbreite gezeigt (ca. 6x Nettobandbreitengewinn bei GEMV). Je nach Anwendung ist das gut genug und günstige oder viel günstige Kapazität ist wichtiger. Vermutlich viele Inferencing Workloads sind da Kandidaten und Inferencing wird verglichen mit Training immer wichtiger werden (aka der grössere Markt).

Hier ein Auszug von Cadence:
https://community.cadence.com/cadence_blogs_8/b/ip/posts/gddr7-the-ideal-memory-solution-in-ai-inference#:~:text=Inference%20engines%20typically%20need%20between,%2D3TB%2Fs%20 for%20training.


Sie geben da zwar GDDR7 als "idealen Speicher" für Inferencing an. Das Problem von GDDR7 ist allerdings Kapazität. Das Problem hat DDR6 nicht. Und kann man die "virtuelle/effektive Bandbreite" von DDR6 auf GDDR7 Niveau oder darüber pimpen (mittles PIM, PNM), wird man das an viele Orten wohl machen.

Edit:
Noch ein weiterer Grund kann sein, dass DDR6 erst noch kommen wird, eine relativ lange Lebensdauer haben wird und entsprechend die Produktentwicklung für PIM/PNM zeitlich relativ günstig liegt. ML/AI ist auf dem Vormarsch.

DDR an sich zusammen genommen ist natürlich größer, aber DDR ist auch sehr viel Commodity. Am Ende gehts da viel mehr um die Kosten als bei HBM und HBM ist heutzutage viel umsatzstärker als man sich hätte 2021 träumen lassen, wo Samsung HBM2-PIM gezeigt hat. Das kann den Trend weg von HBM-PIM zu DDR-PIM nicht wirklich erklären.

HBM3-PIM mit massiv mehr Bandbreite würde ein AMD oder Nvidia Samsung aus den Fingern reißen, WENN es nicht andere Nachteile hat. Dein Ansatz, dass man HBM-PIM wegen der Kapazitätsverluste nicht haben will klingt mir da am Realistischten. Es kann durchaus sein, dass man mit HBM-PIM energieeffizienter wäre, aber in der aktuellen Entwicklung ist die Peak Performance und Peak Kapazität einfach der wichtigere Faktor für HBM bei den riesigen Wattzahlen der GPU-Packages im AI Markt und der weiteren angedachten Entwicklung.

Im Notebook dagegen könnte PIM dann deutlich mehr Chancen haben, weil man auf Stromverbrauch optimiert.


Du kommst weiterhin durcheinander. HABEN, will es jeder der Akteuere.

Hör auf Dinge zu behaupten, die nicht der Realität entsprechen. AMD hat es getestet und HBM-PIM fallen lassen. Das ist die Realität. Wie wäre es mit Aufhören zu schwurbeln und zu überlegen, wieso AMD HBM-PIM nicht gewählt hat? Im Gegensatz zu dir versucht basix das zu ergründen.

Liest du jeden Thread so schlecht und klickst du auch keine Links an?

Versuch doch einfach mal Dinge belegen zu können, anstatt nur nur Dinge zu behaupten. Wo sind denn die ganzen HBM-PIM Interessenten? Die ganzen PIm Produkte? Du stellst Behauptungen auf, aber hast 0 Belege. Komm mal runter davon beleidigt zu sein, weil jemand dein geliebtes PIM nicht toll findet und zeig uns die ganzen News von Leuten die es wollen. Wenn es um ein Produkt heimlich still und leise wird, dann in der Regel weil das Zeug nicht erfolgreich ist.


Woher weißt du wie weit sie schon damit sind? Wie, möglich gewesen?

Samsung hat es schon mit HBM2 versucht PIM zu etablieren, deshalb auch die Tests von AMD. Danach ist das Interesse entweder massiv runter gegangen oder Samsung kriegt es technisch mal wieder nicht hin.

Rambus hatte auch tolle Ramtechnologien, trotzdem hat es kommerziell am Ende niemand interessiert. Im Moment ist vor allem HBM-PIM auf dem gleichen Level. Bei DDR-PIm seh ich wie basix schon eher, dass es da mehr News zu gibt, die darauf deuten, dass da was passieren könnte.

[Badesalz]

Hör auf Dinge zu behaupten, die nicht der Realität entsprechen. AMD hat es getestet und HBM-PIM fallen lassen. Das ist die Realität.Ja? Man lernt nie aus. Erzähl mal. Einmal ging es um die prinzipielle Untauglichkeit, dann wieder drum wie Samsung es nicht gebacken bekommt. Mal sehen wofür du dich diesmal entscheidest.
Wie wäre es mit Aufhören zu schwurbeln und zu überlegen, wieso AMD HBM-PIM nicht gewählt hat? Im Gegensatz zu dir versucht basix das zu ergründen.Das war jetzt schwierig dahinter zu kommen. Wärest du sofort aufgestanden und hättest beim Erzählen mit dem Fuß gestampft, wüsste ich direkt wie du tickst.
Versuch doch einfach mal Dinge belegen zu könnenDas gefällt mir. Spiel den Ball dem anderen aber erst zu, wenn du ihn einmal vernünftig angenommen hast...
Bei DDR-PIm seh ich wie basix schon eher Jetzt schon zu warm gewesen? ICH hab LPDDR-PIM ebenfalls mit ins Gespräch als erster gebracht. Irgendwie nervst du heute mit diesem Rumhampeln.

aber in der aktuellen Entwicklung ist die Peak Performance und Peak Kapazität einfach der wichtigere Faktor für HBM bei den riesigen Wattzahlen der GPU-Packages im AI Markt und der weiteren angedachten Entwicklung.Durch die aktuelle Entwicklung fangen "die riesigen Wattzahlen" genau ein Problem zu sein :rolleyes: Hast du halt noch nicht mitbekommen.

Was du auch nicht mitbekommen wolltest: ICH hab die Disku über PIM/PNM angeworfen. Völlig OnT. Wenn das für dich auf einem KI-Modul unvorstellbar ist, es dir sonst aber gefällt und vorstellbar ist (Laptop blah), dann hast du keine konträre Meinung.
Du spielst grad für mich kurz MEIN Spiel :wink: Mehr nicht. Mach weiter :up:

[Skysnake]

Naja, der Vorteil an DDR PIM wäre die größere Kapazität von DDR RAM. Da tun ein paar Prozent weniger nicht wirklich weh.

Und da DDR langsamer ist, ist der mögliche Gewinn größer

[basix]

Vielleicht auch deswegen der Mittelweg AXDIMM, zumindest für DIMM und CAMM Formfaktoren. Dort erreicht man die grössten Kapazitäten (und hat nichtmal eine Regression) und kann auf den Speicher-PCBs noch etwas AI-Processing machen um sich den Weg zum Host-Prozessor zu sparen.

Und das selbe, sobald man mit einem separaten Base Die in einem Logik-Prozess aufwartet, was man aufgrund der schnelleren Interfaces immer mehr sehen wird. Sieht man bei DDR und auch Flash ja immer mehr. Hier eine News zu "High Bandwidth Flash" :D https://www.tomshardware.com/pc-components/dram/sandisks-new-hbf-memory-enables-up-to-4tb-of-vram-on-gpus-matches-hbm-bandwidth-at-higher-capacity

[AffenJack]

Ja? Man lernt nie aus. Erzähl mal. Einmal ging es um die prinzipielle Untauglichkeit, dann wieder drum wie Samsung es nicht gebacken bekommt. Mal sehen wofür du dich diesmal entscheidest.

Das ist doch der Kern der Sache, wir wissen nicht woran es liegt. Wir haben 2 Jahre im Vorraus Roadmaps von AMD, Nvidia in denen schonmal klar wird, dass in dieser Zeit kein HBM-PIM kommen wird, da sie die Speichertechnologien schon klar genannt haben und auch keine Indikation, dass es sich danach anders entwickelt.

Das gefällt mir. Spiel den Ball dem anderen aber erst zu, wenn du ihn einmal vernünftig angenommen hast...

Ich erkläre dir mal der Einffachheit halber wie Behauptungen funktionieren.
Wenn du eine Theorie aufstellst: Alle wollen HBM-PIM/ Es gibt Schwerkraft.
Beweis: Es gibt zig Produkte mit HBM-PIM auf dem Markt/ Der Apfel fällt nach unten vom Baum. Leider gibt es hier keinen Beweis bei PIM.

Meine negative Argumentationsweise ist da einfacher, solange ich keine Produkte auf dem Markt mit PIM sehe, glaube ich auch nicht, dass es alle wollen. Über die Gründe darüber kann ich wie oben beschrieben nur spekulieren.

Diese Argumentationskette ist aber natürlich eher aus der Theorie und Praxis im MINT-Bereich.

Vielleicht verstehe ich dich ja falsch und du meinst "Alle wollen PIM haben" philosphisch. Dort können wir viel freier darüber diskutieren, inwieweit das theorethische "wollen" mit dem dem praktischen "wollen" einher gehen muss, damit wir es wirklich als wollen bezeichnen können.

Jetzt schon zu warm gewesen? ICH hab LPDDR-PIM ebenfalls mit ins Gespräch als erster gebracht gebracht. Irgendwie nervst du heute mit diesem Rumhampeln.

Und brauchst du jetzt ne Streicheleinheit dafür? Finde ich ganz toll, dass du das Thema LPDDR-PIM reingebracht hast. Echt super. Bin stolz auf dich. So besser? Du hast es auch nicht verstanden, dass ich von Anfang an nix gegen den Einsatz in LPDDR gesagt habe, sondern es nur in HBM vehement verneint habe, weil es da viel zu still drum geworden ist.


Was du auch nicht mitbekommen wolltest: ICH hab die Disku über PIM/PNM angeworfen. Völlig OnT. Wenn das für dich auf einem KI-Modul unvorstellbar ist, es dir sonst aber gefällt und vorstellbar ist (Laptop blah), dann hast du keine konträre Meinung.
Du spielst grad für mich kurz MEIN Spiel :wink: Mehr nicht. Mach weiter :up:

Siehe oben. Du solltest einfach mal Posts lesen. Ich rede die gesamte Zeit darüber, dass es keine Indikation gibt, dass HBM-PIM irgendwo eingesetzt wird und man es in diesem Bereich nicht will, obwohl es sogar schon Samples gab. LPDDR ist wiederrum ne andere Sache, wo es wenigstens etwas News gibt.

Ich weiß nicht, was dein Problem ist das ganze schlicht differenziert zu betrachten. Nur weil eine Technologie in einem Bereich Vorteile liefert, muss sie nicht die beste Lösung für alle Bereiche sein. Es ist ne Technologie, diese haben Vor- und Nachteile. Am Ende ist der Indikator für eine gute Technologie aber immer der wirtschaftliche Einsatz. Gemäß dem ist PIM im Moment erstmal ne Nullnummer. Es gab schon zig Speichertechnologien und Konzepte die von der Technologie toll klangen, sich am Ende aber einfach nicht durchsetzen konnten.

[Zossel]

Damit der ganze Kram auch wirklich flotter läuft müssen alle Operanden auch in dem selben Package liegen, und dann kommt noch das memory-mapping der MMU und Kohärenz-Themen on Top.
Kann man sicherlich alles lösen, aber ob der Aufwand dafür die Gewinne mindestens kompensiert halte ich für fraglich. Und wahrscheinlich ist das noch ätzender zu programmieren und zu debuggen als segmentierter Speicher.

[Badesalz]

@AffenJAck
Ja. Schon irgendwie süß :usweet: 25 herbeifantasierte Unterstellungen. "So funktionieren Behauptungen" ;) Danke für die Aufklärung.

@Zossel
Wahrscheinlich zu 100% richtig. Und wahrscheinlich deswegen auch der Zwischenweg mit PNM. Bestimmt aber nicht bevor HBM4e anfängt zu altern...

@all
Was mich interessieren würde und was ich schlecht finde: Power(Budgets) der Speicher. Laut KI hier :usweet: sieht das so aus
https://massedcompute.com/faq-answers/?question=What%20is%20the%20typical%20power%20consumption%20of%20HBM%20and%20GDD R%20memory%20in%20data%20center%20GPUs?#:~:text=High%20Bandwidth%20Memory%20(HBM )%20Power%20Consumption&text=Typical%20power%20consumption%20for%20HBM,depending%20on%20configuration%20 and%20workload.

Ich mein aber gesehen zu haben, der LPDDR5X auf NVs kleinsten Superchip (288 GB oder so?) liegt bei max. 16W.

[Zossel]

Gartner über KI-Agenten:

https://www.golem.de/news/kuenstliche-intelligenz-40-prozent-aller-ki-agenten-bis-2027-wieder-abgeschafft-2507-197621.html

[Badesalz]

Das sollte wohl eher nach hierhin ;)
https://www.forum-3dcenter.org/vbulletin/showthread.php?t=576534&page=50

Ist aber soweit klar, daß man erstmal alles auslotet was geht und hinterher nur das übrig bleibt was sich als sinnig erwies. 60% vom jetzigen bleibt wohl.