Multi-Core-Workstation für CFD

[Flyinglosi]

Hallo Leute,

ich bin auf der Suche nach einer möglichst perfomanten (und einfach zu handelnden) Workstation um CFD Simulationen mittels openFOAM (http://www.openfoam.com/) durchzuführen. Folgende Anforderungen müsste diese erfüllen:
-Große Anzahl an CPU-Kernen + Ram (im Rahmen des Budgets)
-Hardware muss von openSuse Leap 42.1 unterstützt werden
-Budget ~2000€

Hättet ihr hier einen passenden Tipp für mich parat? Sowohl Eigenassemblierung von Einzelkomponenten als auch ein Fertigerät wären in Ordnung.

Danke im Vorhinein für eure Hilfe.

mfg

Stephan

[konkretor]

Puhh 2000 € als Neuware ist etwas wenig

Mal überlegt sich eine gebrauchte Workstation zu zu legen? Hier kann man die Verkäufer auch oft anschreiben und sagen ich habe folgendes Budget, stopft dieses und jedes rein.
Die Hardware sollte weniger Probleme mit Linux haben


http://www.ebay.de/itm/HP-Z620-Workstation-2x-HexaCore-Xeon-E5-2640-24x-2-5-GHz-64-GB-RAM-256-GB-SSD-/112033396853?hash=item1a15b5f875:g:oJgAAOSwepJXaApd

http://www.ebay.de/itm/Dell-Precision-T7600-Workstation-2x-Xeon-E5-2670-RAM-16GB-SSD-128GB-Quad-NVS300-/262178809290?hash=item3d0b1325ca:g:MN0AAOSw~bFWJfQX

[Zafi]

Die Gebrauchten sind sicher ok, wenn man sich nicht all zu sehr rein knien möchte und auf eine Aufrüstbarkeit verzichtet. Ich würde aber ein neues System nehmen. Du musst zwar basteln, aber es bietet zum gleichen Preis eine vergleichbare Leistung. Nicht zuletzt auch, weil der Broadwell Xeon eine höhere pro-MHz-Leistung besitzt und schnelleren Speicher unterstützt (DDR4-2133 statt nur DDR3-1333). Ebenso ist eine gute Aufrüstbarkeit gegeben, wodurch du später Geld sparen kannst, wenn du die Leistung steigern willst.

Beispiel:
Für ca. 400 Euro gibt es ein Dual-Socket 2011-3 Board. Und für 650 Euro könntest du darin (erstmal nur) einen aktuellen 10-Kern-Xeon (Intel Xeon E5-2618L v4, 10x 3,2 GHz) verbauen. Als Speicher würde ich 128GB DDR4-2400 LRDIMMs nehmen (4x 32GB), der um die 700 Euro kostet. Damit liegst du bei 1750 Euro und dir bleiben 250 Euro für die restlichen Komponenten.

Wenn du dann später in der Praxis feststellst, dass deine openFOAM-Projekte mehr CPU-Leistung brauchen oder mehr RAM benötigen könnten, kannst du deine Aufrüstung gezielt dahin lenken. Zum Beispiel die Rechenleistung verdoppeln, indem du einfach einen weiteren Xeon einbaust (Doppelt soviel Leistung für 650 Euro) und/oder den RAM weiter aufstocken (theoretisch bis zu 2 TB, praktisch bis zu 512 GB), indem du einfach weitere Module einsteckst (175 Euro pro 32 GB).

EDIT: Ausserdem (wie Barney immer sagt): Neu ist immer besser! :smile:

[Relic]

Wenn du etwas Abenteuerlustig bist kannst du diese Idee als Basis nehmen:
http://www.techspot.com/review/1218-affordable-40-thread-xeon-monster-pc/

[Flyinglosi]

Grüss euch,

erstmal Danke für euren Input. Das Budget war erstmal grob geschätzt und kann auch auf 3000€ aufgepumpt werden.

Der Vorschlag von Zafi gefällt mir persöhnlich schonmal sehr gut, vorallem wegen der Erweiterbarkeit.

Muss man unter Linux (bzw. im speziellen openSuse) bei Dual-Socket-Boards etwas spezielles beachten, oder verhält sich ein solches analog zu einem Single-Socket-Board mit doppelter Core-Anzahl?

Danke im Vorhinein für eure Antwort

mfg

Stephan

[konkretor]

Mir wäre jetzt nichts gekannt was sich anders verhalten sollten zwischen single und dual socket, so lange der Chipsatz wo drauf ist, vom Kernel unterstützt wird, sollte es ja egal sein.

Das sollte bei jedem Chipsatz der Fall sein, wenn er nicht gerade brand frisch auf den Markt kommt.

Vorher wirklich nochmal gegenprüfen mit deiner Suse Version

[Fliwatut]

Wird das Gerät privat oder gewerblich genutzt? Falls gewerblich, würde ich empfehlen, einen prof. Anbieter zu wählen, der schnellen Vor-Ort-Service bietet, damit teure Ausfallzeiten minimiert werden können.

[Jasch]

Wird das Gerät privat oder gewerblich genutzt? Falls gewerblich, würde ich empfehlen, einen prof. Anbieter zu wählen, der schnellen Vor-Ort-Service bietet, damit teure Ausfallzeiten minimiert werden können.

Der leider meist so teuer ist, das mann sich dafür die Sachen einfach nochmal hinlegen kann(Stelle ich leider oft fest, wenn ich da Angebote bekomme).

Ansonsten + für Zafi´s Vorschlag

[Flyinglosi]

Wird das Gerät privat oder gewerblich genutzt? Falls gewerblich, würde ich empfehlen, einen prof. Anbieter zu wählen, der schnellen Vor-Ort-Service bietet, damit teure Ausfallzeiten minimiert werden können.

Das Gerät wird gewerblich genutzt, jedoch kann ich mich hier nur Jasch anschließen. Wirklich nützlicher (sprich kurzfristig verfügbar und mit direkten Ersatz) ist für Kleinunternehmen nicht leistbar.

mfg

Stephan

[The_Invisible]

Die alten Xeons hören sich zwar gut an aber bringens im Vergleich zu den neuen einfach nicht.

Wir haben auch genug 5 - 6 Jahre alte Xeon Maschinen herumliegen und so ein Dual 6/8-Core System mit 24 - 32 Threads hört sich gut an, aber können nicht mit neuen Systemen mithalten. Mit neuer Software (unter Linux) hat so ein Dual-Socket System schon fast Probleme mit meinem 6700k mitzuhalten. Von den veralteten Anschlussmöglichkeiten noch nicht zu reden.

Ich würds auch so wie Zafi machen.

[Flyinglosi]

Könnte mir einer noch den Gefallen tun und mir eine Empfehlung bzgl. der exakten Einzelkomponenten für einen solchen Rechner zusammen stellen?

Das hat gerade nichts mit Faulheit zu tun, jedoch muss ich (wie üblich) das Thema nebenbei erledigen und bin bzgl. dem aktuellen Markt null informiert. Und alleine die Auswahl eines Gehäuses wird da für mich zur kleinen Wissenschaft :rolleyes:

Basis wäre der Vorschlag von ZAFI in der ersten Ausbaustufe, und das Budget läge bei ca. 2500€.

Danke im Vorhinein falls sich jemand die Mühe antut. Ansonsten bedanke ich mich auch für die hilfreichen Inputs.

mfg

Stephan

[robbitop]

Wird OpenCL/Cuda nicht von OpenFoam unterstützt? Afaik sind GPUs gerade für CFD sehr gut. In Punkto Rechenleistung pro Euro sollte das deutlich besser sein als CPUs. Nachteil ist, dass es aktuell nur 24 gb pro Grafikkarte gibt. Man kann aber deren Anzahl skalieren. Auch kann die GPU über den PCIe auf den Ram zugreifen (allerdings deutlich langsamer als der Vram).

[Gandharva]

Da sollten 2 Titan X oder ähnliches rein in die Kiste. Multi CPU hat gegen Multi GPU Berechnung in OpenFOAM keine Chance!

Hier ein Vergleich mit 2x GeForce Titan X vs. 2x Intel Xeon E5-2670:
https://www.hpc.ntnu.no/display/hpc/A+benchmark+test+for+OpenFOAM+using+GPU+cards+%3A+Flow+past+a+centrifugal+pump

https://www.hpc.ntnu.no/download/attachments/17465399/figure6updated.png?version=1&modificationDate=1453312938000&api=v2

[Flyinglosi]

Klingt auf jeden Fall was die Leistung angeht toll, jedoch fürchte ich einen erheblichen Mehraufwand bzgl. der Inbetriebnahme.

Linux und neue NVidia-Karten haben mir schon desöfteren Stunden geraubt und inwieweit dann openFOAM problemlos darauf zugreifen kann, kann ich aktuell null bewerten. Aber ich seh mir das auf jeden Fall mal an.

[Zafi]

Soll nur openFOAM auf dem Rechner laufen oder braucht es noch andere Software?

Um auf Nummer sicher zu gehen, könntest du die GPU-Lösung erstmal im kleinen Maßstab ausprobieren. Wenn alles in klein (irgendein PC mit kleiner nVidia-Karte) gut funktioniert, kannst du es dann in groß umsetzen.

[klutob]

Als Alternative würde ich über einen Cloud Ansatz nachdenken. Gerade bei einem kleinem Unternehmen, frisst die ganze Hardwareanschaffung/Support (Skalierung und Abschreibung der Hardware in der Zukunft) und Unterhalt einem doch auf lange Sicht ein größeres Loch in den Geldbeutel.

Beispiellink für AWS EC2 Angebot:
http://cfd.direct/cloud/
https://aws.amazon.com/marketplace/pp/B017AHYO16/

[Flyinglosi]

Grüss euch,

ich habe das Thema jetzt vorerst mal auf die Zeit nach meinem Urlaub verschoben (bin jetzt mal 3 Wochen auf Hochzeitsreise).

Im Endeffekt präferiere ich aber die zu Beginn vorgeschlagene Lösung ohne CUDA. Der Grund dafür ist, dass wir mit einer angepassten Version von openFOAM arbeiten, und die "klassische" Berechnung auf der CPU hier am simpelsten erscheint. Langfristig sollte einem ja nichts daran hindern einen solchen Rechner mit 2 perfomanten GPUs zu erweitern.

Wie darf man sich eigentlich eine Berechnung auf externen Servern (z.B. bei Amazon) vorstellen? Lädt man dabei eine virtuelles Betriebssystem auf den Server (und kann somit einigermassen frei entscheiden, welches OS man verwendet) oder stellt einem dieses der Anbieter zur Verfügung?

mfg

Stephan

[Screemer]

Als Beispiel mal Amazon EC2:

https://aws.amazon.com/de/ec2/faqs/

[klutob]

Grüss euch,

..

Wie darf man sich eigentlich eine Berechnung auf externen Servern (z.B. bei Amazon) vorstellen? Lädt man dabei eine virtuelles Betriebssystem auf den Server (und kann somit einigermassen frei entscheiden, welches OS man verwendet) oder stellt einem dieses der Anbieter zur Verfügung?
..

mfg

Stephan

Du wählst das OS aus welches von AWS angeboten wird, also grundlegend eher Linux vs Windows. Die Distribution ist natürlich vorgegeben da zertifiziert. Ich würde empfehlen erst einmal den Einstieg über den Drittanbieter zu wählen (on Demand) und schauen wie dies in euren Prozess reinpasst und welche (AWS) Plattform das beste Preisleistungsverhältnis für euch bietet vs einem lokalen Server mit minimal 2000€ Abschreibung pro Jahr (3 Jahre Laufzeit mit Strom).
Der grosse Vorteil ist eben die Skalierung nach oben bei Bedarf, die man sich als kleiner Betrieb nie in Hardware hinstellen kann + Ausfallsicherheit und Absicherung gg. Hardwareschäden.

[Flyinglosi]

Kurzes Update:

wir haben uns jetzt für eine Berechnung bei amazon.de entschieden. Mir gefällt die Lösung, da diese von unserem Simulanten alleine betreut werden kann und beliebig skalierbar ist.

Mit freundlichen Grüßen

Stephan