Post-K-Prototyp auf der International Supercomputing Conference

[Skysnake]

Der Titel sagt eigentlich schon alles. Fujitsu zeigt auf der ISC nächste Woche einen Post-K Prototype.

Wenn jemand da ist, kann er es sich ja mal anschauen. Ich werde selbst da sein, muss aber schauen ob ich genug Zeit dafür finde.

Ansonsten falls es noch was interessantes auf der ISC gibt, gerne hier Posten

Btw hier noch der Link zur Nachricht

https://www.hpcwire.com/off-the-wire/fujitsu-completes-post-k-supercomputer-cpu-prototype-begins-functionality-trials/

[Demogod]

wollt grad sagen: n paar infos kannste ja ruhig noch dazuschmeissen, damit man sich nicht alles selber googlen muss ^^


Major Specifications for Post-K
Category Details
CPU Instruction set architecture Armv8-A SVE (512bit)
Number of cores Computational nodes: 48 cores + 2 assistant cores
I/O and computational nodes: 48 cores + 4 assistant cores
Built-in interconnect Tofu (6D Mesh/Torus)
System structure Nodes 1 CPU/node
Racks 384 nodes/rack
Software OS Linux (RHEL-based) + McKernel (Lightweight Kernel)
System software Successor to the Fujitsu Software Technical Computing Suite
Global file system FEFS (Lustre-based)
Language Successor to the Fujitsu Software Technical Computing Language (Fortran/C/C++, OpenMP, MPI), XcalableMP
Library framework FDPS (Framework for Developing Particle Simulator)

also ein custom v8 arm mit 512bit vector registern??

[Skysnake]

Die Infos habe ich bewusst nicht reingepackt, da Sie meiner Meinung nach noch nicht wirklich stichhaltig sind.

Das es ARM mit nen fetten SIMD Unit wird war klar. Wobei es auch 1024 oder gar 2048 werden könnten. Die ARM ISA ist diesbezüglich ziemlich flexibel.


EDIT:
Vielleicht will ja aber Löschzwerg was dazu schreiben ;)

Btw. aufgrund der Bilder im Artikel wäre ich erstmal vorsichtig, wie der Interconnect aussieht. Für mich sieht die Anschlussleiste hinten nicht unbedingt üppig aus. Könnte mir gut vorstellen, dass Sie was am Interconnect geändert haben, zumal meine HandsOn Experience mit dem Vorgänger jetzt nicht sonderlich berauschend war. Also insbesondere der Interconnect hat mich jetzt nicht wirklich umgeworfen.

[Loeschzwerg]

Beitrag von der Hot Chips 2018:
https://www.anandtech.com/show/13258/hot-chips-2018-fujitsu-afx64-arm-core-live-blog

Das Kind nennt sich A64FX. Edit: HMC raus, HBM2 rein ^^

[Skysnake]

Das kein HMC drin ist war schon vorher klar. HMC ist einfach tot.

HBM2 ist aber schon eine Überraschung auf der ISC hieß es zu mit es wäre kein HBM....

Und 2021 HBM2 mit nur 1 TB/s ist auch ein schlechter Scherz. Tofu sieht jetzt auch nicht so kann alle aus mit den 28Gbps. Damit verdoppelt man zwar die Bandbreite für große Messages aber daran hat es auch Tofu2 schon nicht geangelt. Bei kleinen und die mittleren Messages war das Ding einfach zu langsam. Und von ihrem komischen 6d Ding bin ich irgendwie gar nicht angetan

[Loeschzwerg]

Tja, wirklich mehr Infos habe ich aktuell auch nicht. Bis das Thema in die GS21 Systeme reinschwappt, da vergeht noch einiges an Zeit.

[Skysnake]

Ich muss mir die Slides mal noch ganz genug anschauen aber für klassisches hpc sieht es nicht so berauschend aus. Aber immerhin mal vom HMC weg.

Richtig Leistung scheint es aber nur in AI Depp Learning zu geben. Naja, b in mal gespannt was da noch so kommt.

Aber 48 Cores bei noch immer 32 GB RAM sind jetzt nicht sooo der Knaller.

4 MPI-Prozesse mit je 12 Threads sehen recht vernünftig aus.

Ich hoffe nur die Software Tools zum optimieren werden deutlich besser. Das war ja mit fx100 in meinen Augen wirklich haarsträubend.... tools die auf Windows laufen und von der Funktionalität so 2000er sind... Das war echt abschreckend. Hier erhoffe ich mir echt am meisten von Umstieg auf arm

[Loeschzwerg]

tools die auf Windows laufen und von der Funktionalität so 2000er sind...

Kenne ich, da ist bei den Japanern in vielen Bereichen die Zeit stehen geblieben :D

[Loeschzwerg]

Ein kurze Zusammenfassung von Golem zum A64FX:
https://www.golem.de/news/a64fx-fujitsu-erlaeutert-arm-chip-fuer-japans-supercomputer-1808-136146.html

Thx @ Marc

[Skysnake]

https://www.nextplatform.com/2018/09/14/slicing-into-the-post-k-supercomputers-tofu-d-interconnect/

Geht es nur mir so,oder findet sonst noch jemand die Argumentation des Redakteurs ziemlich verrückt mit der Bisectionsbandbreite?

Ich will doch eine Bisectionsbandbreite die Unterlagen Bereich der injection bandwidth ist da das Mapping der Prozesse auf die nodes kacke egal ist...

Das macht den Job für die Entwickler und auch für den Job sheduler einfacher.

Also Tofu D überzeugt mich jetzt wieder nicht im Vergleich zu Aries.

Interessant wird halt das weitere Material und echte Benchmarks.

Und ja viele Probleme lassen sich auf nearest neighbour Mappen. Aber es gibt auch viele Probleme bei denen man allreduce mit scatter braucht oder halt auch entfernte Knoten braucht zur Kommunikation.

Zudem empfand ich das Job placement auf der fx100 mit tofu2 echt ziemlich sperrig. Da muss man echt aufpassen was man macht.

Und am Ende findet dann drr sheduler schwieriger entsprechende Knoten was den Durchsatz bzw die Auslastung der Maschine reduziert.

[Badesalz]

Interessant. Skysnake hat sich für Fugaku interessiert :up:

(Beam aus einem anderen Thread, ähnliches Thema)
Hast du mal aufs Datum geschaut? Der Post ist schon über ein Jahr alt ;D

Accelrator basierte Systeme verzerren ein bisschen das Bild.Ja. Diesmal sogar Stück älter :wink:
Die Arm-Revolution beschränkt sich weiterhin auf die Eigenentwicklungen der Hyperscaler und die damit ausgestatten NV-Chips (Statistik). Sonst, geht so... Qualcomm zappelt grad bisschen rum. Sei es aber drum.

Ich bin die Tage beim tech Kartoffel über seinen Bericht zum Nachfolger von A64FX gestolpert. Und von Fugaku Von HBM2 auf DDR5... 2027 in 2nm. Ich weiß, daß die Japaner 2027 selbst 2nm machen wollen. Wenigstens für den Eigenbedarf. Die trauen der Sache mit Taiwan nicht (?)
Das Ding heißt Monaka. Eigentlich. Es scheint aber sehr wichtig :rolleyes: daß es auch Fujitsu heißt. Es wird "Fujitsu-Monaka" genannt.

Hier die Folie
https://www.fujitsu.com/global/imagesgig5/FUJITSU-MONAKA.pdf

Was ich nicht auf dem Radar hatte: Sie haben sich festgelegt solche Großrechner mit MI500 zu bauen https://www.fujitsu.com/global/imagesgig5/20241101-01c.pdf

PS:
Von Tofu/UltraEthernet noch kein Wort (?)

[Skysnake]

Ja, hat mich interessiert. Und zwar beruflich. Ich hatte mir die FX100 angeschaut um die Hürden/Risiken bei einer Beschaffung zu evaluieren. In meinen Augen war die FX100 den x86 Systemen wie von Cray deutlich unterlegen was das Gesamtenvironment anbelangt.

Die Umstellung und Lernphase wäre sehr hart geworden und im Dauerbetrieb habe ich auch klare Nachteile bezüglich ease of Use und gezielter Optimierung gesehen. Klar kann man da auch optimieren und einiges rausholen aber das gesamte Toolset war absolut schrecklich....

Am Ende wurde es auch kein derartiges System. Auch wenn ich es nett gefunden hätte so ein Spielzeug in den Fingern gehabt zu haben. Privates Vorlieben muss man im Buisness draußen lassen.

Btw. Wegen dem.Fugaku Nachfolger. Das ist in meinen Augen schon durchaus dadurch getrieben das man sich unabhängiger von den USA im Bereich Enterpriese bzw Web/Cloud machen will. Fugaku ist da einfach nicht das richtige System. Und erst recht nicht für etwas mit AI bzw GPU Support.

Aber schauen wir mal wo das am Ende landet.

[Badesalz]

Völlig unwichtig:
Als jemand der nicht mit solchen oberfetten Teilen zu tun hat triggert mich da (persönlich) der noch zum Teil gebliebene japanische Sinn für Supercomputer-Ästhetik :usweet:
So wie das früher auch überall anders war. Mit Sun E10k, Cray T90/X1, NEC SX bis zu IBM zEnterprise (oder Summit) :cool:

Die Japaner möchten sich das irgendwie erhalten, während da in der restliche Welt ein nahezu nacked Rack in Reihe mit einer bunten Gardine vorn steht.

Technik:
Btw. Wegen dem.Fugaku Nachfolger. Das ist in meinen Augen schon durchaus dadurch getrieben das man sich unabhängiger von den USA im Bereich Enterpriese bzw Web/Cloud machen will. Fugaku ist da einfach nicht das richtige System. Und erst recht nicht für etwas mit AI bzw GPU Support.Jetzt haben sie sich an so einigen Unis das gleiche aus PRIMEHPC FX1000 hingestellt, aber ich weiß nicht wie unabhängiger sie das in Gänze macht...

Sonst installieren sie schlichte 0815 Ware. Über HPC auf GPUs sehe ich hier nichts
https://www.fujitsu.com/global/about/resources/news/press-releases/2024/0221-01.html
https://www.fujitsu.com/de/products/computing/servers/primergy/rack/rx2540m7/

DWD ist da (noch) exclusiver :rolleyes:
https://www.nec.com/en/press/201906/global_20190617_01.html
Deren Turnus ist aber 5-6 Jahre. Wenn sie 2023/2024 aufgerüstet haben, dann läuft das da bestimmt noch bis 2029.

hmm...
https://winfuture.de/news,144829.html

[Skysnake]

Ich verkneife mir mal da einen Kommentar.

Die Japaner sind da aber allgemein wohl ziemlich speziell. Man könnte da wohl so einiges los Fetternwirtschaft bezeichnen wenn ich den Erzählungen Glauben schenken will.

Für mich sind Sie aber alle einfach too little too late...

Auch wenn Fugaku nicht schlecht ist. Das Ding ist ziemlich allein und die Execution ist einfach nicht da.

Wenn ich nur alle 5 Jahre oder so was Neues bringe dann ist das in meinen Augen nicht wirklich konkurrenzfähig.

[Badesalz]

Eigentlich kochen sie so eigene Süppchen und versuchen das so gut es geht mit möglichst wenig externe Zuhilfenahme hinzubekommen.

Die Wirtschaftlichkeit dreht sich eher so nur um die Inseln rum :rolleyes: International gehts mehr um Abzeichen als um Verkaufsgespräche. Jedenfalls schon eine GANZE Weile her. Seltsamerweise war NEC da noch am besten dabei.
VectorEngine ist aber eingestellt, nachdem eine Behörde die Mitunterstützung beendet hat :rolleyes: Es werden nur noch Ersatzkarten gebaut im Rahmen des Supports. Wobei die VE30 zwar (mein ich) 1.6x langsamer als MI300 ist, zieht sich aber auch 2.4x weniger Watt rein (?, kann mich auch vertan haben)

Jetzt haben sie ein Konsortium aus Fab-Betreibern und wollen zum Ende 2026 selbst 2nm machen. Auch da spricht keiner von internationalen Konkurrenzfähigkeit. Das wird wirtschaftlich auch größtenteils innenländisch laufen. Im gleichen Atemzug werden 4nm und 5nm näher an TSMC gebracht (Quali, Yields). Einfach so... mit der Zeit :tongue:

Sie wollen bei einigen Sachen wohl einfach die Fähigkeiten haben es zu tun. Internationale Vergleiche sind in den Fällen zweitrangig.

edit:
Haben die japanischen Konstruktionen aber nicht fast schon traditionell sehr attraktive HPCG-Werte? Von welchem Jack Dongara schon ewig behauptet, die wären eigentlich viel näher an der Praxis?

[Skysnake]

Ja Sie sind bei HPCG nicht schlecht. Es gibt vom HLRS aber ein gutes Paper das zeigt das HPCG am Ende einfach ein Stream Benchmark auf komplex ist wenn du ein paar Tricks machst.

Die Hersteller müssen das einfach wie Fujitsu machen und dann wars das am Ende.

Aber keine Ahnung ob NEC Vektor offiziell beerdigt hat. Hast du dazu ein Announcements?

Pläne hatten die ja viele. Nur aus meiner Sicht too late too little...

Zudem sind Sie in meinen Augen extrem auf die langen Vektoren und die effiziente Umsetzung der Flops geprügelt. Aber was bringt es mir wenn ich 95%+ der Flops auf die Straße bringe in vielen Fällen dann aber am Ende nur 25% der Flops der Konkurrenz habe die 50% Effizienz hat? Die sind dann halt trotzdem immer schneller....

Und während Sie am Anfang viel HBM RAM hatten sind die GPUs recht zügig an ihnen vorbeigezogen. Und es kam einfach nichts mehr.

Und genau das sehe ich auch als Problem. Die Japaner sind konservativ und brauchen einfach lange obwohl Sie die Exoten sind. Warum sollte man Sie dann nutzen????

Btw das Gleiche wohl für die Mainframe Systeme in Japan. Da gibt es halt paar Großbanken mit ihren Legacy Mainframe BROS und deswegen läuft das weiter. Ist wohl ganz viel auf Seilschaften aus dem Unileben zurückzuführen. Wobei ich das nicht beurteilen kann. Aber wie gesagt da klingt schon vieles nach einem Gschmäckle also Vetternwirtschaft

[Badesalz]

Das ist ein Jahr her als ich gelesen habe, daß R&D für VE40 auf "hold" gestellt wurde.
https://www.nextplatform.com/2023/03/23/is-this-the-end-of-the-line-for-nec-vector-supercomputers/
Wenn man überlegt, daß sie die ersten waren die 6 HBM2 Module auf dem Interposer hatten :redface:

Wobei die Frage ist, ob das je jemand anderer als die Wetterleute genutzt hat (?) Und die auch nur, weil sie sich so auf NinJo eingeschossen haben, was damit (NEC SX) wohl goil zu laufen scheint und deswegen ist das eh nur so ein Ding von den hier erwähnten
https://de.wikipedia.org/wiki/NinJo
(und von den Tschechen und Polen :|)

Die Frage ist da wohl auch, ob man schnell genug ist (Rechnen) und was es ausmacht, wenn man langsamer als andere ist.
Für AI haben sie nichts, weil das vom Speed her eben signifikant ist. Daher werden sie (zurück zu Fujitsu) auf MI500 setzen.

Zudem sind Sie in meinen Augen extrem auf die langen Vektoren und die effiziente Umsetzung der Flops geprügeltOhne Frage. Wenn man da übrigens nicht FMA macht, ist das Zeug schnarchlahm... So wirklich, schnarchlahm.

PS:
Irgendwann sind sie mit den Mainboards selbst aber noch wenigstens von Xeon auf Epyc gegangen :rolleyes:

[Badesalz]

Hmm... Optical I/O. Fujitsu und Ayar Labs.

Die ersten (ausgestellten) Prototypen bauten sie noch mit A64FX. Das ist aber eine Zeit wo Fugaku längst fertig ist.
Wenn sie also von der Zusammenarbeit beim nächsten Supercomputer (!) reden, dann wohl diesem der mit Monaka kommen soll.

https://www.youtube.com/watch?v=sZ_tahP36GE

PS:
Ob die schon fest eingeplante MI500 sich da irgendwie mit einfügt? :naughty:

edit:
Btw das Gleiche wohl für die Mainframe Systeme in Japan. Da gibt es halt paar Großbanken mit ihren Legacy Mainframe BROS und deswegen läuft das weiter. Ist wohl ganz viel auf Seilschaften aus dem Unileben zurückzuführen. Wobei ich das nicht beurteilen kann. Aber wie gesagt da klingt schon vieles nach einem Gschmäckle also VetternwirtschaftDazu gibt es irgendwie nie genauere Zahlen. Insider schätzen, IBM hat da 5000-6000 Kunden, Fujitsu 600-800.

[Skysnake]

Ja das ist spannend was die machen. Aber am Ende kommt es darauf an was das kostet und wie zuverlässig das at scale ist.

An sich sollten diese Sachen schon 2011 Mit dem originalen BlueWaters System von IBM kommen wo Sie dann die Reisleine gezogen haben und den Auftrag rückabgewickelt haben weil Sie es nicht hinbekommen haben.

[Badesalz]

Imho müssen sie genug handfestes gezeigt haben, denn der Auftrag ist nun offiziell. Das macht Riken nicht, wenn viel erstmal nur auf dem Papier existiert. D.h. die Sache ist durch.

AMD MI ist schon bestätigt und wenn sie in den paar PR-Memos von "anderen Beschleunigern" sprechen, dann scheint imho auch AMD Pensando durch. Oder was soll das noch sein? Damit wohl auch UltraEthernet.

Für die selbst auf nationaler Ebene wird das funktionieren. Dann skalieren sie das für die restliche Kundschaft wieder runter wie mit FX1000 davor und das wird für die japanische Kundschaft (wie bei JMA 6 Co.) schon funktionieren.

Superkomputer betreiben ist ja auch eine Frage über Service des Herstellers. (kennst du) Ich vermute die gehen da irgendwie Problemen aus dem Weg die sie vermuten, wenn Westen ihr Dienstleister sein sollte.
Klischeehaft kriegt man ggf. eine Vorahnung davon, wenn man weiß wie Gelsinger bei TSMC auftrat...

Was mir übrigens oft auffällt: Während die westliche Welt in der Fach-PR :rolleyes: viel über die dazugehörenden CPUs und GPUs schwadroniert, betonen die Asiaten (Japan, Korea, öftersmal Lenovo) in den SC-Meldungen eher das dazugehörende Netzwerk. Die finden darüber zu sprechen wohl irgendwie goiler :cool:

PS:
Funfact :rolleyes: da wir oben auch von NEC und VE sprachen und vonwegen Seilschaften oder NinJo usw.
Die JMA (Japan Meteorological Agency) fuhr auf die VectorEngine nie ab. Die nahmen nur Hitachi :rolleyes:
2006-2012 hatten sie SR11000 (Hitachi mit Power5+). Ab 2012 dann HITACHI SR16000/M1 mit Power7 und ab 2018 2x Cray XC50, betreut von Hitachi.

2023 fingen sie einen kleinen Fugaku aus FX1000 (Fujitsu halt) in 2 Stufen aufzubauen. Zweite Stufe war 2024. Hitachi ist nach 50 Jahren (?) also raus.
Die nenneswerte Kundschaft für NECs VectorEngine war Canada, Korea und Europa. Nicht Japan. Als MEXT dann ansagte, sie unterstützen die Entwicklungen der NEC SX Plattformen nicht mehr finanziell - wohl weil man in Japan selbst nicht so viel davon hatte - hat NEC die Entwicklung von VE40 eingefroren.

So drehte man wohl auch Hitachi ab. Im SR8000 hatten sie noch den eigenen RISC. Seitdem sie Power nahmen schrumpften auch die Förderungen. Cray kann dann halt jeder betreuen =) Dann wars das auch.

[Badesalz]

Um das Abenteuer hier abzuschließen :freak:

Schlug sich (SPEChpc 21) 3 Jahre nach A100 recht gut muss man auch sagen. Mit 50W weniger. Grad in dem 128x Aufbau
Wobei er da (Link) den SPA-EXA lieber gleich ganz weggelassen hat :tongue:

Hier auf Seite 4 die Auflistung was der jeweilige Test zu adressieren versucht
https://par.nsf.gov/servlets/purl/10366117

Hier die Benches und Vergleiche auf Seite 25
https://nug-society.com/wp-8ca96-content/uploads/2023/06/NUG-Society-Meeting-2023-7-20230620-nug-Takizawa.pdf

Auch A64FX gegen IceLake-SP :rolleyes: