ARM-Server-CPUs, Neoverse CSS IP (Neoverse V2-V3, ARM v9.2, SVE)

[davidzo]

Arm wird vom reinen IP-Geber zum Chiphersteller und damit zum direkten Konkurrenten von AMD, Intel und Nvidia.

136 oder 128 neoverse V3 Cores
2MB private Cache per Core
ARM 9.2 ISA (kein SME2 sagt CB)
12Ch DDR5 8800 RDIMM
CMN-812 Fabric low latency Mesh Interconnect (innerhalb des Chips)
Unter 100ns Memory Latency (für Server-CPUs sehr gut, Desktop class)
AMBA CHI Kohärenzprotokoll für Inter Socket connections


https://www.servethehome.com/arm-agi-cpu-launched-establishing-arm-as-a-silicon-provider/

https://www.computerbase.de/news/prozessoren/erste-server-cpu-nach-35-jahren-arm-agi-cpu-hat-136-kerne-8-800-mt-s-aber-kein-sme2.96679/


Der Grund ist klar. Man ist es Leid den Lizenznehmern beim scheitern zu zugucken. Die Geschichte von Arm im Rechenzentrum ist ein Friedhof ambitionierter Projekte, die an der Marktrealität oder der Dominanz von x86 gescheitert sind.

Calxeda
AppliedMicro (X-Gene)
Cavium/Marvell (ThunderX)
Qualcomm (Centriq)
Ampere Altra


Bis auf Ampere computing sind die alle gescheitert.
Das Problem: Wenn man Arm-IP lizenziert, Designkosten trägt und dann gegen die massiven Rabattstaffeln von Intel/AMD ankämpfen muss, bleibt am Ende kein Geld übrig.

Und die Hyperscaler CPUs wie Gravitron 1-5, Cobalt 100-200, Google Axion, Yiyian 710 überleben auch nur weil die Hyperscaler keine Marge machen müssen bzw,. das Ganze sogar noch subventionieren.

Arm hat also erkannt dass wenn sie darauf warten bvis ein unabhängiger Chiphersteller (wie früher Marvell) AMD gefährlich wird, dann warten sie ewig. Die AGI CPU ist der Versuch, den „Hyperscaler-Vorteil“ zu demokratisieren:
- Arm baut das Silizium jetzt selbst (wahrscheinlich via SoftBank/Rapidus oder TSMC-Direktleitung).
- Sie umgehen das Risiko, dass ein Partner das Design auf halber Strecke abbricht.
- Sie zielen direkt auf die KI-Fabriken, die keine Lust auf die x86-Steuer haben, aber nicht die Ressourcen für ein eigenes Chip-Design wie Google.
- Sie erreichen nun Kunden (Tier-2 Clouds & Enterprise), die keine eigene Chip-Abteilung haben, aber weg von x86 wollen. Da dürfen sie sich aber mit Nvidia streiten.


Trotzdem wirkt die Neuvorstellung für 2026/27 irgendwie nicht mehr Zeitgemäß.

Bis auf die optimierte Speicherlatenz ehe ich da kein Alleinstellungsmerkmal. Und ohne L3 Cache sollte die Speicherlatenz auch besser phänomenal sein, sonst kacken die Cores ab. SME2 wie in den Consumer CPUs wäre wünschenswert gewesen, gerade für Agentic workloads. Dass es nicht dabei ist wirkt eher so als wenn das Projekt mit Verspätung kommt.

Sicher hat man immerhin mehr Cores als Nvidia mit Vera, aber wen AMD mit Zen6 und 256Cores, Terabytes an Cache, 16channel MRdimm kommt etc, dann nützt es auch wenig wenn man "Density" und "Power efficiency" jammert.

AMD hat dann doppelt so viel Speicherbandbreite mit MRdimm (1,6Tb/s vs 845gb/s). Dazu fast doppelt soviele Cores und viel mehr Cache.

Wenn man also 1:2 Sockel vergleichen muss bezweifle ich dass für ARM noch ein Plus an Density oder Power efficiency übrig bleibt.

Was soll die eigene ARM Server CPU also bringen?

Es gibt auch Nachteile der ganzen Strategie jetzt eigene CPUs herzustellen:
- Arm konkurriert nun direkt mit seinen größten Kunden (AWS, Google, Microsoft), die Milliarden in eigene Arm-Chips (Graviton, Axion, Cobalt) investiert haben.
- Hyperscaler könnten aber langfristig auf RISC-V ausweichen, um nicht von einem direkten Konkurrenten (Arm) bei der Chip-IP abhängig zu sein.
- Eigenes Silizium erfordert immenses zusätzliches R&D / CAPEX Ausgaben.

[Daredevil]

Ich ( und meine Aktien :D ) sind ein großer Fan davon! Mehr Wettbewerb führt zu besseren Produkten, i like! Spannend finde ich die Entwicklung, das wir tatsächlich in naher Zeit ggf. mehr CPU Power benötigen als nur die dicken GPU Racks heute, denn Agents orchestrieren zwar den PC aus der Cloud raus, aber der PC muss ja selber für sich code ausführen. Ein Mensch bedient ein Computer einspurig, fokussiert sich also nur auf eine App, ein AI Agent kann mehrere Dinge gleichzeitig verarbeiten, was natürlich den CPU Bedarf enorm steigern könnte.

Ein wenig Videomaterial:
zkTrk_ymh4g

[reunion]

Es war unvermeidbar, dass das kommt. Ich erwarte das auch nicht nur für Server. ARM hatte zwei Optionen: Sich mit jemanden wie Nvidia ins Bett zu legen oder eigenständig den Intel-Weg zu versuchen. Man hat sich zuerst für Nvidia entschieden, doch als klar war, dass der NV-Deal scheitert, mussten sie selbst etwas bringen. Mal sehen wie erfolgreich man ist. Gerade im Server-Bereich ist x86 eine Bank. Aber man versucht es natürlich zuerst in einem Wachstumsmarkt, macht strategisch absolut Sinn.

Spannend wird vor allem, was das langfristig für die Lizenznehmer bedeutet, sollten sie erfolgreich sein. Wenn sie es ähnlich wie Intel damals machen werden sie irgendwann keine neuen Lizenzen mehr vergeben oder zumindest ihre neu entwickelten Cores zuerst selbst verwenden wollen, bevor man sie lizensiert.

[BavarianRealist]

Reine Überlegung bzw. Schlussfolerung aus dem CC von Micron:
Durch die extrem angestiegenen Speicher-Preise ist der Kostenanteil im Server hierfür extrem angestiegen sodass er heute teils die Anschaffungskosten dominiert. Es gibt damit inzwischen eine neue Argumentation: den teuren Speicher möglichst effizient zu nutzen: kostet die CPU nur einen kleineren Teil des Servers, wird man nur noch die leistungsfähigste CPU kaufen, um möglichst viel Leistung heraus zu holen, d.h. die teuerste X86-CPU war damit noch nie so günstig wie heute.

ARM konnte zu Beginn seiner Entwicklung diese Speicherpreis-Entwicklung kaum vorher sehen, sodass sie heute ein Umfeld haben, das mehr als schwierig sein dürfte. Selbst für AWS,Google etc. könnte es womöglich günstiger werden, den bereits in ARM-Servern verbauten Ram in neu angeschaffte X86-Plattformen zu stecken. Wie gesagt, eine reine Überlegung.

[Limit]

Bis auf Ampere computing sind die alle gescheitert.
Das Problem: Wenn man Arm-IP lizenziert, Designkosten trägt und dann gegen die massiven Rabattstaffeln von Intel/AMD ankämpfen muss, bleibt am Ende kein Geld übrig.

Du meinst Intel/AMD sind führend weil sie billiger sind?

Und die Hyperscaler CPUs wie Gravitron 1-5, Cobalt 100-200, Google Axion, Yiyian 710 überleben auch nur weil die Hyperscaler keine Marge machen müssen bzw,. das Ganze sogar noch subventionieren.
Wieso sollten sie es subventionieren? Eigene Chips machen nur dann Sinn, wenn sie entweder günstiger sind oder sie Features bieten, die man mit Chips von der Stange nicht bekommt. Wenn sie Chips von der Stange bekommen könnten mit vergleichbarer Leistung und Effizienz bei günstigeren Preisen, würden sie das direkt machen.

- Sie zielen direkt auf die KI-Fabriken, die keine Lust auf die x86-Steuer haben, aber nicht die Ressourcen für ein eigenes Chip-Design wie Google.
Ich dachte im Bereich KI spielten GPUs und Spezialbeschleuniger (custom silicon) die Hauptrolle. Die Daten weisen aber eher auf eine klassische CPU für "normale" Server-Aufgaben hin.

- Arm konkurriert nun direkt mit seinen größten Kunden (AWS, Google, Microsoft), die Milliarden in eigene Arm-Chips (Graviton, Axion, Cobalt) investiert haben.
Das wäre korrekt, wenn die genannten Kunden ihre Chips oder deren IP weiterverkaufen würden. Das tun sie aber nicht. Man könnte höchstens argumentieren, dass sie deren Konkurrenz mit Chips ausstatten.

- Hyperscaler könnten aber langfristig auf RISC-V ausweichen, um nicht von einem direkten Konkurrenten (Arm) bei der Chip-IP abhängig zu sein.
- Eigenes Silizium erfordert immenses zusätzliches R&D / CAPEX Ausgaben.
Langfristig wäre das sicherlich eine Möglichkeit, aber gerade wenn es um Entwicklungskosten geht ist man bei ARM deutlich günstiger dran, denn es gibt den fertigen Baukasten aus dem nach Belieben die eigene CPU zusammenstellen kann ohne zu großen Aufwand treiben zu müssen. Vergleichbares gibt es bei RISC-V derzeit nicht. Man müsste also die Kernarchitektur selbst entwickeln und damit würde man dann in direkte Konkurrenz zu Intel, AMD, Arm und Apple treten. Das würde sich nur lohnen, wenn man die Chips nicht nur selbst nutzt, sondern sie auch verkauft/lizensiert.