HyperTransport wird durch PCIe ersetzt?

[Skysnake]

Sagt das SOG zu den gestrichenen 5Modul Teilen.

Es gibt aber so spekulationen, das AMD eben HT fallen lässt, bzw. daran arbeitet, chips per PCI-E an zu binden, und auch den onChip interconnect auf PCI-E um zu stellen von HT. Damit würde man sich halt ziemlich viele Latenzen ersparen beim umsetzen.

Zudem würde man sich halt viel in der NB sparen. Da muss man dann ja nicht mehr die PCI-E links bereit stellen, würde aber einen komplett neuen Sockel und komplett neue Board-layouts erfordern. Zudem müsste man eben das PCI-E derivat entwickeln, damit man das auch onChip nutzen kann. etc. etc.

Also ein zweischneidiges Schwert.

Ich glaub mit ein Grund für diese Spekulation ist, das Cray ja nicht mehr auf HT setzen will, sondern auf PCI-E bei seinen nächsten/übernächsten Maschinen. Damit würde AMD einen großen Partner verlieren für HT, welches sich ja eh etwas schwer tut, einfach weil AMD nicht die Volumina hat. Leider -.-

Das allein kanns aber nicht sein, was die Gerüchte nährt. Ich denke schon, dass da in AMDs Laboren an so etwas gearbeitet wird. Dafür ist das hören sagen einfach zu konkret.

Auch das "Devestator duo" aus den Treibern wurde ja als mögliche Dual-APU Lösung gedeutet, dem ich durchaus etwas abgewinnen kann.

Ich glaub nämlich nicht, das man sich das noch sehr lange erlauben kann, bei den APUs PCI-E auf den Chip zu packen und in Richtung SOC zu gehen, und auf der anderen Seite bei den Server/Desktop CPUs diesen Schritt nicht zu gehen. Macht für mich irgendwie alles in allem keinen Sinn, da es wohl zusätzlich einiges an Geld kosten wird.

[S940]

Es gibt aber so spekulationen, das AMD eben HT fallen lässt, bzw. daran arbeitet, chips per PCI-E an zu binden, und auch den onChip interconnect auf PCI-E um zu stellen von HT. Damit würde man sich halt ziemlich viele Latenzen ersparen beim umsetzen. Gut Gerüchte gibts in Internet bekanntlich viele, aber wie Belastbar sind die? Z.B: in welchem Forum hast Du die aufgeschnappt? War das bei pcgames oder CB oder auf aceshardware bzw. realworldtech? Allein das würde schon nen dicken Unterschied machen ;-)
Bin auch eher ein PCIe-Anhänger, aber daraufhin hat mir mal ein Ingenieur o.ä. (auf alle Fälle hatte er Ahnung) geantwortet, dass PCIe deutlich mehr DIE-Fläche frißt als HTr-Logik. Ist mittlerweile aber auch schon 1-2 Jahre her. Möglich, dass es das mit PCIe3.0 langsam wert wäre.

Zudem würde man sich halt viel in der NB sparen. Da muss man dann ja nicht mehr die PCI-E links bereit stellen, würde aber einen komplett neuen Sockel und komplett neue Board-layouts erfordern. Zudem müsste man eben das PCI-E derivat entwickeln, damit man das auch onChip nutzen kann. etc. etc.Sparpotential seh ich jetzt nicht soo groß. Wenn der oben erwähnte Ingenieur mich nicht angeflunkert hat, wirds eher (deutlich) mehr. Neues Board/Sockel wäre kein Problem, da steht ja eh ein Neubau an.

Ich glaub mit ein Grund für diese Spekulation ist, das Cray ja nicht mehr auf HT setzen will, sondern auf PCI-E bei seinen nächsten/übernächsten Maschinen. Damit würde AMD einen großen Partner verlieren für HT, welches sich ja eh etwas schwer tut, einfach weil AMD nicht die Volumina hat. Leider -.-
Ach die Story ... ja das wird oft hergenommen, aber dabei ist das überhaupt kein Argument. Es geht wie besagt um PCIe, nicht um QPI oder ein AMD-PCIe-Derivat mit Speicherkohärenz. Von daher braucht man PCIe und nichts anderes. Die (einfache) PCIe Integration war aber so oder so bei AMD schon vorgesehen. Ob man da nun an einen x16 Anschluss nen Grafikkartenslot anschließt oder eben einen Cray-Chipsatz ist doch egal. Mit der Speicherkohärenz hat das wie besagt nichts zu tun.
Abgesehen davon hat Cray den nagelneuen Interconnect auf HTr rückportiert, nennt sich Gemini. Das Teil flanscht an zwei x16 Links an, ist also quasi ein 32b Link, bzw. wenn man up/down einzeln zählen will, dann hat das Ganze 64bit-Bandbreite. Also das reicht schon noch ne Weile:
http://www.nersc.gov/assets/Documentation/Misc/GeminiSchematic.gif
http://www.nersc.gov/users/computational-systems/hopper/configuration/interconnect/

Das allein kanns aber nicht sein, was die Gerüchte nährt. Ich denke schon, dass da in AMDs Laboren an so etwas gearbeitet wird. Dafür ist das hören sagen einfach zu konkret.
Wie besagt, onboard PCIe halte ich auch für 99% sicher, aber halt nicht als Interconnect-Ersatz. Ob nun PCIe für I/O oder PCIe auch für Interconnect, verwechselt man sicherlich schnell. Insbesondere in nem Cray-Cascde-Verbund wo faktisch dann doch PCIe für den Interconnect hergenommen werden würde.

Auch das "Devestator duo" aus den Treibern wurde ja als mögliche Dual-APU Lösung gedeutet, dem ich durchaus etwas abgewinnen kann. Hmm, ja das komische Teil, aber da gibts noch die glaubwürdigere Variante einer Crossfirekonfig mit nem 7650-Chip oder so.

Ich glaub nämlich nicht, das man sich das noch sehr lange erlauben kann, bei den APUs PCI-E auf den Chip zu packen und in Richtung SOC zu gehen, und auf der anderen Seite bei den Server/Desktop CPUs diesen Schritt nicht zu gehen. Macht für mich irgendwie alles in allem keinen Sinn, da es wohl zusätzlich einiges an Geld kosten wird.Naja, ob es Sinn macht, und ob es sich rechnet, diskutieren die bei AMD sicherlich mit spitzem Bleistift. Erste Entscheidung war nun, dass es für 2012 noch keinen Sinn macht. Mal schauen, was sie dann für 2013/2014 aus dem Hut zaubern.

P.S: "PCIe3 I/O" war auch offiziell für die jetzt gestrichenen Serverchips Terramar/Sepang angegeben:
“Sepang”
Market: Server
What is it: Server CPU with up to 10 next-generation “Bulldozer” CPU cores
targeting 2-way highly energy efficient and cost optimized Socket C2012 platforms.
Complete with three-channel DDR3 memory and integrated PCIe Gen3 I/O.
Planned for introduction: 2012

“Terramar”
Market: Server
What is it? Server CPU with up to 20 next-generation “Bulldozer” CPU cores
targeting the 2- and 4-way performance-per-watt and expandable Socket G2012
platforms. Complete with quad-channel DDR3 memory and integrated PCIe Gen3
I/O.
Planned for introduction: 2012
http://www.planet3dnow.de/vbulletin/attachment.php?attachmentid=20971&d=1289337067

[Skysnake]

Gut Gerüchte gibts in Internet bekanntlich viele, aber wie Belastbar sind die? Z.B: in welchem Forum hast Du die aufgeschnappt? War das bei pcgames oder CB oder auf aceshardware bzw. realworldtech? Allein das würde schon nen dicken Unterschied machen ;-)

Wenn ich ne Internetquelle mein, dann schreib ich auch Internet dazu, und nicht "hören sagen/die Vögel pfeifen XY vom Dach etc" ;)

Man hat halt hier und da seine Ohren :cool:


Bin auch eher ein PCIe-Anhänger, aber daraufhin hat mir mal ein Ingenieur o.ä. (auf alle Fälle hatte er Ahnung) geantwortet, dass PCIe deutlich mehr DIE-Fläche frißt als HTr-Logik. Ist mittlerweile aber auch schon 1-2 Jahre her. Möglich, dass es das mit PCIe3.0 langsam wert wäre.

Naja, du musst ja erst mal HT auf PCI-E umsetzen. Zudem brauchst du für PCI-E stärkere Treiber, da du weitere Distanzen zurücklegen musst auf dem Board. Das beeinflusst alles den Platzbedarf. HT führst du ja mehr oder weniger einfach nur nach außen. Da haste nur nen Sequenzer und halt CRC dabei, das wars dann im großen und ganzen schon meines Wissens nach.

Wegen der Signalintegrität und den starken Treibern die man da brauchen würde, wird PCI-E 4.0 ja wahrscheinlich auch entweder nur noch kürzere Leitungen zulassen, oder aktive Responder benötigen. Das war ja schon bei 3.0 in der Planung drin, konnte dann aber gestrichen werden.


Sparpotential seh ich jetzt nicht soo groß. Wenn der oben erwähnte Ingenieur mich nicht angeflunkert hat, wirds eher (deutlich) mehr. Neues Board/Sockel wäre kein Problem, da steht ja eh ein Neubau an.

Naja, wenn AMD das macht, werden Sie wohl intern auch auf PCI-E umstellen und gar kein HT mehr verwenden. Damit würde man recht viel wieder einsparen.


Ach die Story ... ja das wird oft hergenommen, aber dabei ist das überhaupt kein Argument. Es geht wie besagt um PCIe, nicht um QPI oder ein AMD-PCIe-Derivat mit Speicherkohärenz. Von daher braucht man PCIe und nichts anderes. Die (einfache) PCIe Integration war aber so oder so bei AMD schon vorgesehen. Ob man da nun an einen x16 Anschluss nen Grafikkartenslot anschließt oder eben einen Cray-Chipsatz ist doch egal. Mit der Speicherkohärenz hat das wie besagt nichts zu tun.

Äh... Nein?

Schau dir mal die Latenzen von HT an, und die von PCI-E. Da liegen WELTEN dazwischen. Deswegen ist ja der Cray interconnect mit so gut. Er hängt halt direkt an nem low latency Interconnect direkt an der CPU. Das macht einen deutlichen Unterschied.


Abgesehen davon hat Cray den nagelneuen Interconnect auf HTr rückportiert, nennt sich Gemini. Das Teil flanscht an zwei x16 Links an, ist also quasi ein 32b Link, bzw. wenn man up/down einzeln zählen will, dann hat das Ganze 64bit-Bandbreite. Also das reicht schon noch ne Weile:
http://www.nersc.gov/assets/Documentation/Misc/GeminiSchematic.gif
http://www.nersc.gov/users/computational-systems/hopper/configuration/interconnect/

Gemini ist "alt". Ich rede vom Gemini Nachfolger, der eben nicht mehr auf HT setzen wird. Das hat Cray meines Wissens schon mehrfach öffentlich bekannt gegeben, das man auf PCI-E setzen wird beim Nachfolger von Gemini, um sich nicht mehr an AMD zu binden. Dadurch verliert man aber den Latenzvorteil von HT, welcher einem aber auch nichts/nicht viel bringt, wenn AMD nicht in die Pötte kommt mit den CPUs.

Gibt aber auch noch Extoll z.B., welches auch auf HT setzen wird. Dadurch erhält man halt niedrigere Latencen als mit PCI-E.


Wie besagt, onboard PCIe halte ich auch für 99% sicher, aber halt nicht als Interconnect-Ersatz. Ob nun PCIe für I/O oder PCIe auch für Interconnect, verwechselt man sicherlich schnell. Insbesondere in nem Cray-Cascde-Verbund wo faktisch dann doch PCIe für den Interconnect hergenommen werden würde.

Kommt Zeit, kommt rat. Ich glaub ja, dass die bei AMD es selbst nicht so genau gewusst haben, und der neue CEO erst mal so einiges wieder in geordnete Bahnen lenken musste. Dazu zähle ich auch die Sache mit den 5 Modulern und dem Tripple-Channel. Das seh ich als absoluten Fail an. Das würde die MBs noch weiter aufblähen und ein komplett neues Ecosystem erfordern. Wenn man das jetzt macht, dann doch bitte gleich richtig, und DDRx gleich ganz über Bord werfen. DA könnte man dann Intel auch wirklich richtig unter Druck setzen.


P.S: "PCIe3 I/O" war auch offiziell für die jetzt gestrichenen Serverchips Terramar/Sepang angegeben:

http://www.planet3dnow.de/vbulletin/attachment.php?attachmentid=20971&d=1289337067
Dann schaumer doch mal, was da noch so kommt. PCI-E 3.0 sollte wirklich in absehbarer Zeit kommen, sonst sehen Sie im Servermarkt bald wieder kein Land....

[S940]

Wenn ich ne Internetquelle mein, dann schreib ich auch Internet dazu, und nicht "hören sagen/die Vögel pfeifen XY vom Dach etc" ;)

Man hat halt hier und da seine Ohren :cool:
Ah ok, dann ist ja gut, solche direkten Quellen sind halt selten :)
Ist man gar nicht mehr gewohnt ^^


Naja, wenn AMD das macht, werden Sie wohl intern auch auf PCI-E umstellen und gar kein HT mehr verwenden. Damit würde man recht viel wieder einsparen.

Äh... Nein?

Schau dir mal die Latenzen von HT an, und die von PCI-E. Da liegen WELTEN dazwischen. Deswegen ist ja der Cray interconnect mit so gut. Er hängt halt direkt an nem low latency Interconnect direkt an der CPU. Das macht einen deutlichen Unterschied.
Äh doch? Wenn PCIe direkt integriert werden würde spart man doch wieder nen Batzen Latenz ein. Hauptsache ondie, dann flutscht es wieder. Möglicherweise nicht gaanz so schnell, je nachdem ob Deine obige Annahme zutrifft, ob sie nun intern ebenfalls auf PCIe umsetzen, oder nicht. Wie schauts da eigentlich bei Llano aus? Da müßte es doch schon Latenzmessungen mit externen GPUs geben, das sollte deutlich besser als bei AM3+ Chips ausfallen.

Gemini ist "alt". Ich rede vom Gemini Nachfolger, der eben nicht mehr auf HT setzen wird. Das hat Cray meines Wissens schon mehrfach öffentlich bekannt gegeben, das man auf PCI-E setzen wird beim Nachfolger von Gemini, um sich nicht mehr an AMD zu binden. Dadurch verliert man aber den Latenzvorteil von HT, welcher einem aber auch nichts/nicht viel bringt, wenn AMD nicht in die Pötte kommt mit den CPUs.
Gemini ist "neu", denn das ist ein Rückport von Aries, das was Du den Nachfolger nennst ;-)
So it took the high radix router that is being developed for DARPA under the Cascades contract and back-ported an early version of it to support HT3 links and the Opteron 6100 processors, thus creating the interconnect called Gemini. And so, Gemini is not getting its name from being two goosed SeaStar interconnects working side-by-side, as many have been speculating, including myself. It is a little more complex than that.http://www.theregister.co.uk/2010/05/25/cray_xe6_baker_gemini/page2.html

Aries wird dagegen nicht viel verbessern:
Cray has not said much about Aries, but it will use a combination of electrical and optical signaling and offer about 10 per cent performance improvement over the current Gemini.http://www.theregister.co.uk/2011/11/14/proprietary_interconnects/
Also nur magere 10%. Wwenn dann im Vergleich zur Vorgängergeneration die Latenz schlechter sein sollte, bringts mit AMD Chips am Ende gar nix.


Gibt aber auch noch Extoll z.B., welches auch auf HT setzen wird. Dadurch erhält man halt niedrigere Latencen als mit PCI-E.
Schaus mir gerade an (für alle anderen:
http://ra.ziti.uni-heidelberg.de/index.php?page=projects&id=extoll
)
Könnte eventuell der Notnagel für AMD werden, falls Cray nicht weitermacht ^^
Wobei Cray und ein "Uniprojekt" wohl aber einen "kleinen" Unterschied macht.


Kommt Zeit, kommt rat. Ich glaub ja, dass die bei AMD es selbst nicht so genau gewusst haben, und der neue CEO erst mal so einiges wieder in geordnete Bahnen lenken musste. Dazu zähle ich auch die Sache mit den 5 Modulern und dem Tripple-Channel. Das seh ich als absoluten Fail an. Das würde die MBs noch weiter aufblähen und ein komplett neues Ecosystem erfordern. Wenn man das jetzt macht, dann doch bitte gleich richtig, und DDRx gleich ganz über Bord werfen. DA könnte man dann Intel auch wirklich richtig unter Druck setzen.Fand ich auch etwas komisch. 5 Module, ok, vermutlich ginge der Platz des 6 Moduls für den PCIe Teil drauf, aber wieso die eine Plattform dann 3xDDR3 haben sollte und die andere 4... da können sie sich die 3er gleich sparen, ist dann auch schon wurst. Klar, Intel kann sich das leisten, die leisten sich auch ein extra Quad-Die für den Sockel 2011, aber AMD muss kleinere Brötchen backen.

DDR3 gleich über Bord werfen .. weiss nicht. Der Serverbereich ist traditionell recht langsam / orthodox. Bis da mal was neues verwendet wird, muss es erstmal lange genug im Desktopbereich abgehangen / debuggt worden sein. Von daher sähe ich jetzt selbt ne neue Plattform mit PCIe und DDR3 nicht als sooo schlimm an.

Dann schaumer doch mal, was da noch so kommt. PCI-E 3.0 sollte wirklich in absehbarer Zeit kommen, sonst sehen Sie im Servermarkt bald wieder kein Land....Naja, 2012 gehts erst mit PCie3 los, so den Riesendruck haben sie nicht, und wie oben geschrieben ist Gemini schon ne passable Plattform. Die Rieseneile seh ich deshalb nicht.

[Skysnake]

Ah ok, dann ist ja gut, solche direkten Quellen sind halt selten :)
Ist man gar nicht mehr gewohnt ^^

Ach allein auf der CeBIT konnte ich so manchem was am Stand aus der Nase ziehen :freak: Die werden TOTAL redselig, wenn Sie merken, dass sich da einer wirklich auskennt mit Hardwarearchitekturen :biggrin: Ich sags dir sehr lustig. Ich hätte letztes Jahr da ja auch fast SB-E Systeme gesehen ;D, wenn der Type mit dem ich gequatscht habe, nicht plötzlich auf die Idee gekommen wäre doch mal lieber den Chef zuerst zu fragen, bevor er mir das Zeug einfach zeigt :frown:



Äh doch? Wenn PCIe direkt integriert werden würde spart man doch wieder nen Batzen Latenz ein. Hauptsache ondie, dann flutscht es wieder.

Die Sachen on DIE zu haben spart schon einiges. Du sparst dir halt 1 mal serialisieren und deserialisieren, was doch einiges an Latenz mit sich bringt. Du hast aber dennoch weiterhin die Probleme von PCI-E. Also bei 3.0 die feste 128/130 Bit Codierung, wo du bei HT auch kleine Pakete verwenden kannst, und du kannst bei HT eben auch Steuerungspakete einfach injizieren in den Datenstrom. Also bevorzugt behandeln. Das kann PCI-E nicht. Dazu kann HT noch ein paar Sachen, die PCI-E nicht kann.

Auch der Overhead in PCI-E ist höher als der in HT meines Wissens nach. Also wieviel Header du hast pro Paket etc.

Noch ein Vorteil ist halt, soweit ich das verstanden habe, dass du die Pakete bei HT nur noch mit einer CRC versehen musst und dann in den Serialisierer packen kannst . Bei PCI-E musst du da noch einiges an Umstellungen etc. vornehmen. Das kostet einfach Zeit, was eben für die Latenz schlecht ist. Diese Dinge wirst du auch nicht los, wenn du den PCI-E Link auf den CPU-DIE packst. Das wirste erst los, wenn du intern eben auch mit PCI-E Formaten arbeitest, also deine ganze Logik umstellst.


Möglicherweise nicht gaanz so schnell, je nachdem ob Deine obige Annahme zutrifft, ob sie nun intern ebenfalls auf PCIe umsetzen, oder nicht. Wie schauts da eigentlich bei Llano aus? Da müßte es doch schon Latenzmessungen mit externen GPUs geben, das sollte deutlich besser als bei AM3+ Chips ausfallen.

Gute Frage! Müsste man mal testen. Zeitmessung ist da aber gar nicht soooo trivial. Sind ja wirklich nur kurze Zeitspannen, um die es da geht. Zudem sollte man meiner Meinung nach da nur den Vorteil sehen, das man sich eben 1 mal das Serialisieren/Deserialisieren spart auf dem extra Chip. Ansonsten sollte das alles identisch sein, nur eben onChip. Ich würde also eher keinen/kaum Vorteil sehen


Gemini ist "neu", denn das ist ein Rückport von Aries, das was Du den Nachfolger nennst ;-) http://www.theregister.co.uk/2010/05/25/cray_xe6_baker_gemini/page2.html

Du postest doch direkt danach nen Link zu dem was ich mein Aries eben :ugly: Gemini wird es wohl weiter geben, weil es eben auf AMD Systemen dank HT wohl doch noch schneller sein wird. Aber Cray verabschiedet sich eben von AMD mehr oder weniger, weil die CPUs von Intel wohl doch einfach deutliche Vorteile bieten, die den Wegfall von HT kompensieren. Zumal eben die winzige Chance besteht, das Cray direkt QPI nutzen darf statt PCI-E. Das würde einige der Nachteile wohl reduzieren.

Daher kommen sicherlich auch einige der ausgebauten Spekulationen, das AMD an PCI-E interconnect arbeitet. Denn damit hätte man auch bei Aries (danke für den Namen nochmals ;)) keinen Nachteil gegenüber Intel, oder sogar einen Vorteil, je nachdem. Denn so wie es aktuell ist, wird AMD gegen Intel auf PCI-E Basis nicht bestehen können. Da muss sich dann etwas tun. Und an PCI-E onChip arbeiten Sie definitiv. Gibt ja die APUs, wo das schon real ist ;)

Naja und bringen müssen Sie was. Denn PCI-E 3.0 ist ja nicht :ugly: Da werden Sie ja eh total untergehen bei Aries.


Aries wird dagegen nicht viel verbessern:
http://www.theregister.co.uk/2011/11/14/proprietary_interconnects/
Also nur magere 10%. Wwenn dann im Vergleich zur Vorgängergeneration die Latenz schlechter sein sollte, bringts mit AMD Chips am Ende gar nix.

Von großen Verbesserungen habe ich auch nicht gesprochen, nur das Cray HT nicht mehr verwendet bei seinem nächsten interconnect, und eben auf PCI-E (3.0) setzt. Was ja auch ein deinem Link steht:


For its future Cascade supers, Cray is cooking up a much higher bandwidth interconnect called Aries, which will plug into processors through PCI-Express 3.0 links (this being useful for any processor that supports it) instead of being restricted to Advanced Micro Devices' HyperTransport links.

Cray has not said much about Aries, but it will use a combination of electrical and optical signaling and offer about 10 per cent performance improvement over the current Gemini.

Die Latenzen werden da aktuell wohl bei Intel durch onChip PCI-E besser sein als bei AMD. Dazu kommt noch, das Sie eben PCI-E alias QPI eben auch selbst als (low latency) Interconnect nutzen. Da wird man bei Intel also wohl niedrigere Latenzen haben als mit einer AMD Lösung. AMD muss sich da wirklich ins Zeug legen, und im Bereich PCI-E eine ähnliche Lösung anbieten, ansonsten gehen Sie unter.


Schaus mir gerade an (für alle anderen:
http://ra.ziti.uni-heidelberg.de/index.php?page=projects&id=extoll
)
Könnte eventuell der Notnagel für AMD werden, falls Cray nicht weitermacht ^^
Wobei Cray und ein "Uniprojekt" wohl aber einen "kleinen" Unterschied macht.

Och Myrinet und Infiniband nehmen das scheinbar recht ernst ;D Daher würde ich das nicht unterschätzen, zumal da einige wirklich coole Sachen kommen. Und wenn ich cool sage, dann mein ich wirklich sehr cool ;D

Und nein, du/sonst wer braucht nicht nachfragen. Da gibts kein sterbenswörtchen zu von mir :P


Fand ich auch etwas komisch. 5 Module, ok, vermutlich ginge der Platz des 6 Moduls für den PCIe Teil drauf, aber wieso die eine Plattform dann 3xDDR3 haben sollte und die andere 4... da können sie sich die 3er gleich sparen, ist dann auch schon wurst. Klar, Intel kann sich das leisten, die leisten sich auch ein extra Quad-Die für den Sockel 2011, aber AMD muss kleinere Brötchen backen.

Ja das trippleChannel Interface fand ich schon sehr unschön. Ich finde bei Server-Systemen sollte man es wenn dann gleich richtig machen, und nicht so halbherzige Dinge. Ein Serversockel sollte sich ein paar Jährchen halten.

Aber zu sagst es ja durchaus richtig. AMD hat einfach zu kleine Volulmina. Von den Ingeniueren her etc. haben die ja wirklich gute Leute mit guten Ideen, und Sie haben auch den Mut etwas neues zu bringen, aber wenn man es sich einfach nicht leisten kann, dann ist das halt fürn Arsch.


DDR3 gleich über Bord werfen .. weiss nicht. Der Serverbereich ist traditionell recht langsam / orthodox. Bis da mal was neues verwendet wird, muss es erstmal lange genug im Desktopbereich abgehangen / debuggt worden sein. Von daher sähe ich jetzt selbt ne neue Plattform mit PCIe und DDR3 nicht als sooo schlimm an.

Du musst aber mal auf das Perf/W Geschreie hören. Wenn sich da eine signifikante Einsparung ergibt, dann werfen so manche viele ihrer Bedenken über Bord, einfach weil sich da echte Einsparpotenziale ergeben, die nicht zu unterschätzen sind, und gerade DDR(3) Ram ist schon ein ziemlicher Säufer. Zudem sind die Speichertechniken mehr oder weniger ausgereift. Es müsste halt nur mal jemand (AMD/Intel) damit anfangen, das Zeuch auch ein zusetzen. Ich befürchte ja, das IBM da vorbreschen muss, damit sich da etwas tut -.- Einfach deswegen, weil die anderen dann bei Perf/W abstinken und gezwungen sind zu reagieren. Denn Exascale kannste dir mit DDR(3/4) sonst wo hin schieben. Das wird meiner Meinung nach nicht zu realisieren sein. Ich lass mich aber gern vom Gegenteil überzeugen, auch wenn ich nicht glaube, dass das passieren wird.


Naja, 2012 gehts erst mit PCie3 los, so den Riesendruck haben sie nicht, und wie oben geschrieben ist Gemini schon ne passable Plattform. Die Rieseneile seh ich deshalb nicht.
Solche Sachen brauchen aber immer einiges an Vorlaufzeit, und binnen eines Jahres kann sich verdammt! viel tun. Das weißt du doch selbst. Von daher sollte man sich da schon sputen, sonst kommt man noch unter die Räder, und wenn man da erst mal ist, dann wird es sehr schwer da wieder raus zu kommen.

[S940]

Ah den Post hier ganz vergessen
Die Sachen on DIE zu haben spart schon einiges. Du sparst dir halt 1 mal serialisieren und deserialisieren, was doch einiges an Latenz mit sich bringt. Du hast aber dennoch weiterhin die Probleme von PCI-E. Also bei 3.0 die feste 128/130 Bit Codierung, wo du bei HT auch kleine Pakete verwenden kannst, und du kannst bei HT eben auch Steuerungspakete einfach injizieren in den Datenstrom. Also bevorzugt behandeln. Das kann PCI-E nicht. Dazu kann HT noch ein paar Sachen, die PCI-E nicht kann.

Auch der Overhead in PCI-E ist höher als der in HT meines Wissens nach. Also wieviel Header du hast pro Paket etc.

Noch ein Vorteil ist halt, soweit ich das verstanden habe, dass du die Pakete bei HT nur noch mit einer CRC versehen musst und dann in den Serialisierer packen kannst . Bei PCI-E musst du da noch einiges an Umstellungen etc. vornehmen. Das kostet einfach Zeit, was eben für die Latenz schlecht ist.
Ok, also generell scheint HTr dann besser als PCIe? Abgesehen von der Bandbreite?

Diese Dinge wirst du auch nicht los, wenn du den PCI-E Link auf den CPU-DIE packst. Das wirste erst los, wenn du intern eben auch mit PCI-E Formaten arbeitest, also deine ganze Logik umstellst.
Das versteh ich nun nicht. Wie sollte man das "los werden"? Irgendwo muss man immer 128/130b codieren, ob das nun direkt in nem Kern passiert oder nem Uncore-Bereich ist doch eigentlich egal, oder nicht?
HTr scheint in jedem Fall unkomplizierter zu sein, d.h. das intere Umsetzen direkt im Kern wäre mit HTr auch schneller. Oder wo hab ich da jetzt nen Denkfehler?

Du postest doch direkt danach nen Link zu dem was ich mein Aries eben :ugly: Gemini wird es wohl weiter geben, weil es eben auf AMD Systemen dank HT wohl doch noch schneller sein wird. Aber Cray verabschiedet sich eben von AMD mehr oder weniger, weil die CPUs von Intel wohl doch einfach deutliche Vorteile bieten, die den Wegfall von HT kompensieren. Zumal eben die winzige Chance besteht, das Cray direkt QPI nutzen darf statt PCI-E. Das würde einige der Nachteile wohl reduzieren.
Das mit QPI haben sie dezidiert verneint, hab ich irgendwo mal in nem Interview gelesen. Sie wollen nicht vom Regen in die Traufen, d.h. die fixe Bindung mit einer Firma mit ner fixen Bindung an ne andere ersetzen, sondern offen und flexibel für alle sein. Ob sie sich deshalb ganz/komplett verabschieden ist die große Frage. JF-AMD hat letztens noch gemeint, dass 4P Systeme gern gesehen sind, da sie auch niedrige Latenzen versprechen. Die kosten bei AMD nicht mehr mehr, während bei Intel da noch ein deftiger Aufpreis fällig wird. In der Tat sind bei dem Gemini-Schema auch 4Opterons zu sehen, also ist ein Clusterknoten ein 4P Sys. Gibts da schon Infos zu Aries und der Intel-Config? Mal googeln.

Daher kommen sicherlich auch einige der ausgebauten Spekulationen, das AMD an PCI-E interconnect arbeitet. Denn damit hätte man auch bei Aries (danke für den Namen nochmals ;)) keinen Nachteil gegenüber Intel, oder sogar einen Vorteil, je nachdem. Denn so wie es aktuell ist, wird AMD gegen Intel auf PCI-E Basis nicht bestehen können. Da muss sich dann etwas tun. Und an PCI-E onChip arbeiten Sie definitiv. Gibt ja die APUs, wo das schon real ist ;) Im Moment bin ich mir da nachwievor nicht sicher, inwiefern Aries gegenüber Gemini jetzt den Riesenvorteil bildet. Klar, man kann ne bessere Intel-CPU anstecken, aber wenn das dann nur 2P Sys sind ...

Naja und bringen müssen Sie was. Denn PCI-E 3.0 ist ja nicht :ugly: Da werden Sie ja eh total untergehen bei Aries.
Naja 10% untergehen, wenn überhaupt :)

Von großen Verbesserungen habe ich auch nicht gesprochen, nur das Cray HT nicht mehr verwendet bei seinem nächsten interconnect, und eben auf PCI-E (3.0) setzt. Was ja auch ein deinem Link steht:
Jo gesprochen nicht, aber sowas schwint immer mit, wenn was neues kommt. Gegenüber dem alten Seastar-Internconect ist es ja auch ein Riesensprung. Ohne Gemini sähe ich auch schwarz, aber mit Gemini lehn ich mich erstmal zurück ^^

Die Latenzen werden da aktuell wohl bei Intel durch onChip PCI-E besser sein als bei AMD. Dazu kommt noch, das Sie eben PCI-E alias QPI eben auch selbst als (low latency) Interconnect nutzen. Da wird man bei Intel also wohl niedrigere Latenzen haben als mit einer AMD Lösung. AMD muss sich da wirklich ins Zeug legen, und im Bereich PCI-E eine ähnliche Lösung anbieten, ansonsten gehen Sie unter. Hmm, da gibts doch sicher auch irgendwo Messungen, oder? Mal googlen ... nach Deinen Ausführungen oben hab ich wie besagt das Gefühl, das PCIe generell eher schlecht wäre, zumindest im Bezug auf Latenzen.


Och Myrinet und Infiniband nehmen das scheinbar recht ernst ;D Daher würde ich das nicht unterschätzen, zumal da einige wirklich coole Sachen kommen. Und wenn ich cool sage, dann mein ich wirklich sehr cool ;D
Hehe, glaub ich Dir natürlich gerne, ich finde das Teil ja auch cool, basiert ja auf HTr ^^
Aber das ist doch dann eben auch wieder der Pferdefuß: Nur HTr ... also wieder nur was für AMD CPUs, keine Intels, oder gar GPUs .. :(
Bisher steht da auch nur was von HTr 1.0, nicht 3.0 das wär ja auch noch relativ lahm. Oder ist Bandbreite generell eh nicht so das Problem, sondern Latenz? Dann wär das auch wieder ein Punkt gegen PCIe3.0 bzw. halt kein Vorteil.
Und nein, du/sonst wer braucht nicht nachfragen. Da gibts kein sterbenswörtchen zu von mir :P
Lol, na wie wärs wenigstens mit nem Zeitraum? Das man weiß, wenn man die Webseite beobachten muss? Noch 2012 oder erst 2013++ ? :)

Ja das trippleChannel Interface fand ich schon sehr unschön. Ich finde bei Server-Systemen sollte man es wenn dann gleich richtig machen, und nicht so halbherzige Dinge. Ein Serversockel sollte sich ein paar Jährchen halten.
Hatten sie sich wohl bei Intel abgeschaut, aber wie schon besagt, ein Channel mehr oder weniger ist doch egal, da können sie generell gleich auf 4 gehen und fertig.
Aber zu sagst es ja durchaus richtig. AMD hat einfach zu kleine Volulmina. Von den Ingeniueren her etc. haben die ja wirklich gute Leute mit guten Ideen, und Sie haben auch den Mut etwas neues zu bringen, aber wenn man es sich einfach nicht leisten kann, dann ist das halt fürn Arsch.
Jupp, ein Porsche ist immer nett, aber wenn der Geldbeutel dafür zu klein ist, ist es "unschön" ^^

Du musst aber mal auf das Perf/W Geschreie hören. Wenn sich da eine signifikante Einsparung ergibt, dann werfen so manche viele ihrer Bedenken über Bord, einfach weil sich da echte Einsparpotenziale ergeben, die nicht zu unterschätzen sind, und gerade DDR(3) Ram ist schon ein ziemlicher Säufer. Zudem sind die Speichertechniken mehr oder weniger ausgereift. Es müsste halt nur mal jemand (AMD/Intel) damit anfangen, das Zeuch auch ein zusetzen. Ich befürchte ja, das IBM da vorbreschen muss, damit sich da etwas tut -.- Einfach deswegen, weil die anderen dann bei Perf/W abstinken und gezwungen sind zu reagieren. Denn Exascale kannste dir mit DDR(3/4) sonst wo hin schieben. Das wird meiner Meinung nach nicht zu realisieren sein. Ich lass mich aber gern vom Gegenteil überzeugen, auch wenn ich nicht glaube, dass das passieren wird.
HMmm "schreien" tun doch meistens nur die Marketing-Leute. Die Systeme kommen von den Technikern .. und die schreien weniger ^^
Außerdem gibts doch DDR3L und DDR3U Standards mit 1,35 und 1,25V. Da seh ich keine Vorteil mehr gegenüber DDR4 mit 1,2V + Pufferbaustein. "Säufer" würde ich RAM Module auch so nicht nennen, seit es da die 3X nm Produktion gibt. Klar, wenn man 1000e GB RAM hat, dann rechnet sich das auch auf, aber mit DDR4 wird das eben kaum besser werden. Da kann erst die 2X nm Produktion helfen.


Also alles halb so wild meiner Meinung nach.

Solche Sachen brauchen aber immer einiges an Vorlaufzeit, und binnen eines Jahres kann sich verdammt! viel tun. Das weißt du doch selbst. Von daher sollte man sich da schon sputen, sonst kommt man noch unter die Räder, und wenn man da erst mal ist, dann wird es sehr schwer da wieder raus zu kommen.Ja wie heißts so schön .. Eile mit Weile. Ja man sollte sich sputen, aber halt auch nicht in chaotischem Tatendrang verfallen. Insofern gefällt mir die aktuelle Situation schon, die alte C32/G34 Plattformen weiter nutzen und mal in Ruhe überlegen was man als nächstes macht. 1 Jahr "Denkpause" ist da schon ok.

[Skysnake]

Ok, also generell scheint HTr dann besser als PCIe? Abgesehen von der Bandbreite?

Naja, du hast einen entscheidenden Nachteil. HTr geht nur mit AMD Zeugs und ist nicht so weit verbreitet -> TEUER!

Je nach dem gibts aber keine andere Alternative. Wenn du auf niedrige Latenzen gebürstet bist wie z.B. Low-Latency-Trading (also Börsenhandel) dann interessieren dich die Mehrkosten nicht, weil du das schnell wieder drin hast. Ansonsten muss man halt schauen, ob sich die Mehrkosten lohnen.


Das versteh ich nun nicht. Wie sollte man das "los werden"? Irgendwo muss man immer 128/130b codieren, ob das nun direkt in nem Kern passiert oder nem Uncore-Bereich ist doch eigentlich egal, oder nicht?

Nein, du missverstehst das. Du musst so lange du nicht intern selbst mit PCI-E arbeitest, die Packete zusammenstellen, umordnen (128/130b Codierung) machen, und dann halt auch noch alles buffern mit FIFOs, usw. usw. usw. Wenn du Intern schon mit den Datenstrukturen arbeitest, dann sparst du dir teilweise einfach hier mal ein umstellen, dort mal ein Packet neu zusammen packen usw. usw. Es sind halt viele Kleinigkeiten, wo man mal hier und dort einen! Takt spart, oder auch mal ein paar. Das summiert sich dann aber.


HTr scheint in jedem Fall unkomplizierter zu sein, d.h. das intere Umsetzen direkt im Kern wäre mit HTr auch schneller. Oder wo hab ich da jetzt nen Denkfehler?

Siehe oben. Der Knackpunkt ist immer, dass du bei einem Formatwechsel immer einen Overhead hast, der NEU! dazu kommt. Das ist tödlich für die Latenz. Daher ist z.B. ja auch TCP/IP so arsch schlecht, was die Latenzen betrifft. Da musste dich durch was warns? 3 oder 4 Schichten durch wurschteln, bis du die Daten hast. Das kostet halt unnötig Zeit und dann auch noch Bandbreite, weil jede Schicht wieder ihren Header etc. hat...

Ich hab btw. noch was gefunden dazu.

bischen allgemeines Zeug (http://ra.ziti.uni-heidelberg.de/coeht/index.php?page=events&id=20110208)
und hier noch was zu Extoll (http://ra.ziti.uni-heidelberg.de/coeht/pages/events/20110208/presentations/EXTOLL.pdf).
Da kannste ja mal nach PCIe suchen ;)


Das mit QPI haben sie dezidiert verneint, hab ich irgendwo mal in nem Interview gelesen. Sie wollen nicht vom Regen in die Traufen, d.h. die fixe Bindung mit einer Firma mit ner fixen Bindung an ne andere ersetzen, sondern offen und flexibel für alle sein. Ob sie sich deshalb ganz/komplett verabschieden ist die große Frage. JF-AMD hat letztens noch gemeint, dass 4P Systeme gern gesehen sind, da sie auch niedrige Latenzen versprechen. Die kosten bei AMD nicht mehr mehr, während bei Intel da noch ein deftiger Aufpreis fällig wird. In der Tat sind bei dem Gemini-Schema auch 4Opterons zu sehen, also ist ein Clusterknoten ein 4P Sys. Gibts da schon Infos zu Aries und der Intel-Config? Mal googeln.
Im Moment bin ich mir da nachwievor nicht sicher, inwiefern Aries gegenüber Gemini jetzt den Riesenvorteil bildet. Klar, man kann ne bessere Intel-CPU anstecken, aber wenn das dann nur 2P Sys sind ...

Ja, aber bei QPI hätte man >90% einfach PCI-E, könnte für einige fancy Sachen aber eventuell Sonderfunktionen nutzen, wo man dann wirklich viel Spart. Der Mehraufwand, dies zu machen lohnt sich im Allgemeinen.


Jo gesprochen nicht, aber sowas schwint immer mit, wenn was neues kommt. Gegenüber dem alten Seastar-Internconect ist es ja auch ein Riesensprung. Ohne Gemini sähe ich auch schwarz, aber mit Gemini lehn ich mich erstmal zurück ^^
Hmm, da gibts doch sicher auch irgendwo Messungen, oder? Mal googlen ... nach Deinen Ausführungen oben hab ich wie besagt das Gefühl, das PCIe generell eher schlecht wäre, zumindest im Bezug auf Latenzen.

Naja, für Cray ist es scheinbar wichtig, sich nicht mehr an AMD zu binden. Das geht vor so manchem anderen. Man sollte da MIC auch immer im Hinterkopf behalten!

Was PCI-E angeht, so muss da die Latenz wohl wirklich schlecht sein, wenn ich das richtig mitbekommen habe. Selbst PCI-X, was ja davor eingesetzt wurde, soll wohl eine bessere Latenz gehabt haben. Aber bitte nicht drauf fest Nageln, hab mich damit im Einzelnen nie genau beschäftigt.


Hehe, glaub ich Dir natürlich gerne, ich finde das Teil ja auch cool, basiert ja auf HTr ^^
Aber das ist doch dann eben auch wieder der Pferdefuß: Nur HTr ... also wieder nur was für AMD CPUs, keine Intels, oder gar GPUs .. :(
Bisher steht da auch nur was von HTr 1.0, nicht 3.0 das wär ja auch noch relativ lahm. Oder ist Bandbreite generell eh nicht so das Problem, sondern Latenz? Dann wär das auch wieder ein Punkt gegen PCIe3.0 bzw. halt kein Vorteil.

Guckst du oben ;)


Lol, na wie wärs wenigstens mit nem Zeitraum? Das man weiß, wenn man die Webseite beobachten muss? Noch 2012 oder erst 2013++ ? :)

When its done.
Mehr kann man dazu nicht sagen. Aber ich denke ich werd dazu sicherlich mal was schreiben, wenns was interessantes gibt, wobei ich denke, dass das auch so zu lesen sein wird. Die HPC Szene ist ja überschaubar, da kennt man sich.


HMmm "schreien" tun doch meistens nur die Marketing-Leute. Die Systeme kommen von den Technikern .. und die schreien weniger ^^

Nein, ich mein jetzt schon wirklich die Entwickler solcher Systeme. Die Marketingfutzies verstehen das wahrscheinlich gar nicht, warum PErf/W so wichtig ist wegen der Skalierbarkeit für Exascale.


Außerdem gibts doch DDR3L und DDR3U Standards mit 1,35 und 1,25V. Da seh ich keine Vorteil mehr gegenüber DDR4 mit 1,2V + Pufferbaustein. "Säufer" würde ich RAM Module auch so nicht nennen, seit es da die 3X nm Produktion gibt. Klar, wenn man 1000e GB RAM hat, dann rechnet sich das auch auf, aber mit DDR4 wird das eben kaum besser werden. Da kann erst die 2X nm Produktion helfen.

Rechne mal mit PetaByte an RAM :ugly: Ich sag dir, das ist ein ganz schöner Säufer.

Wenn ich es richtig im Kopf hab, wird mit 1TB RAM pro Knoten! für Exascale gerechnet. Genau weiß ich es jetzt nicht, aber ist ein guter Richtwert.


Also alles halb so wild meiner Meinung nach.

Siehe oben. Genau deswegen! alles andere als halb so Wild. Du ballerst da zich Watt pro Knoten durch die Leitungen einfach nur, dafür, dass der Ram da ist, um eventuell genutzt zu werden.