Heimserver auf Ryzen-Basis [Archiv]

Archiv verlassen und diese Seite im Standarddesign anzeigen : Heimserver auf Ryzen-Basis

nonharderware

2024-05-01, 14:39:08

UPDATE:

Ich bin mit eurem Rat hier noch nie schlecht gefahren, also werde ich einmal auf die "kleine" Lösung setzen und folgendes umsetzen:

Ich kaufe mir einen neuen, größeren Tower

Aerocool CIPHER

dazu werde ich die CPU mit einem neuen Kühler ausstatten, da mir die 80 bis 90° laut sensors zu viel sind und ich keine Leistung für die VM verlieren will.

Zum Kühlerthread geht es hier: https://www.forum-3dcenter.org/vbulletin/showthread.php?t=618346

Ich ziehe die PCIe SSDs ab.

SATA:

3x 2TB HDD in RAIDz1 (4TB nutzbar) - alle Disks zuhause, keine Anschaffungen notwending - Daten und Files.
4x 1TB HDD RAIDz2 (2TB nutzbar) - alle Disks zuhause, keine Anschaffungen notwending - wichtige Projektdaten.
2x 1TB SSD mirror für die CTs & VMs - alle Disks zuhause, keine Anschaffungen notwending - wichtige Projektdaten.

Ich powere die HDDs mittels LSI 9300-16i als HBA im IT Mode, die SSDs onboard.

Gebootet wird von 2 kleinen NVMEs im Mirror.

Ich muss also nur Kabeln für den Controller und die Kühlungen kaufen und schaue wie es so läuft - also ohne NVME-Cache.

Ist die Leistung ein shice, dann melde ich mich nochmals bzgl. neuem Board & CPU.

/UPDATE

Hallo,

mein Heimserver

Xeon E3-1280 v6, ASUS P10S-C/4L, 4x 16GB ECC RAM

soll ersetzt werden. Leider früher als gehofft - aber ist nun mal so.

Ergo soll neue Hardware her, aber auch möglichst viel vorhandene Hardware weiterverwendet werden.

Auf dem Server läuft Proxmox in der aktuellen Version mit einer Reihe an CTs und VMs.

Was soll weiterverwendet werden?

HDDs & SSDs - 2x SATA, 4x NVME (davon 2x PCIe und 2x M.2)
LSI 9300-16i als HBA im IT Mode,
550W NT

Was würde mich freuen (Kosten) wenn ich es weiterverwenden könnte?

RAM 4x 16GB ECC, 2400MHz, DDR4

Was noch?

Ich habe hier auch je eine R7 240 und GT 1030, welche ich eventuell für eine VM verwenden könnte. Darüber habe ich mir aber keine Gedanken gemacht.
Außerdem würde ich den Intel Neural Compute Stick 2 an eine VM/einen CT durchschleifen.

Es sollten zumindest 4x PCIe 16x Slots vorhanden sein.

Welche Anforderungen habe ich an die neue Hardware?

Beim neuen Server würde ich auf eine Ryzen-Plattform setzen.
ECC Speicher ist ein Muss, ZFS ist ebenso ein Muss.

Was wird mit dem Server gemacht?

Auf dem Server laufen einige kleinere Container, für den alltäglichen Betrieb:
pihole, UniFi-Management, VPN Server.

Dann die größeren 24/7 Container:
NAS (Samba Share), Nextcloud, Proxmox Mail Gateway, Minecraft-Server der Familie

Und dann eine Reihe von VMs, die ich aktuell nur bei Verwendung starte:

Eine Surf-VM, diverse Windows VMs mit speziell zum Coden und Testen abgestimmten Windows-Installationen.

Dazu kommen halt eine schwankende Anzahl an Klonen - je nachdem wie viel ich gerade Lust am "basteln" habe. Diese sollen halt nicht den laufenden Betreib stören.

Backups werden regelmäßig auf ein extra NAS gemacht und auch noch auf andere Medien - hier muss also nichts extra eingeplant werden.

Und jetzt bitte her mit eure Ideen & Vorschlägen! :biggrin:
Ich würde mal meinen eine 8C/16T CPU ist hierfür das Minimum.

Fliwatut

2024-05-01, 15:09:52

Wie viele PCIe-Lanes brauchen deine Karten, welche genau sind das für die SSD? Die könnte man ja zumindest zum Teil direkt auf dem MB verbauen.

Ich kenne auch kein AM4 MB mit 4x PCIe 16x Slots.

Die RAM Riegel dürfen keine RDIMMs sein, die passen m.W. nicht auf AM4 Mainboards.

nonharderware

2024-05-01, 15:42:24

PatkIllA

2024-05-01, 15:51:47

Hab die SSD-Angaben korrigiert, danke für den Hinweis!Fehlt immer noch wieviele Lanes. Und dein jetziges Board hat doch auch nur 2 PCIe Slots. Wie geht das mit den HBA und 2 PCIe SSDs zusammen

Mit 2 Grakafikkarten, HBA, und 2 PCIe SSDs bist du bei den Desktop Ryzen eigentlich schon raus, wenn das mit voller Bandbreite angebunden werden soll.
Außerdem kannst du dich auf 50W idle einstellen.

Seltsamerweise steht nirgendwo wie das Netzwerkmäßig angebunden werden soll.

Fliwatut

2024-05-01, 17:44:28

Wenn so viele PCIe-Slots und Lanes gebraucht werden, dann geht man besser auf Threadripper TRX50 oder Xeon W790 als Plattform, das wird dann aber deutlich teurer.

Ich habe dieses AM5 MB: https://geizhals.de/asus-rog-strix-x670e-a-gaming-wifi-90mb1bm0-m0eay0-a2800643.html?hloc=at&hloc=de

Da passen 4 NVMe SSD rein, eine Grafikkarte und der HBA gingen auch, mit dem x1 Slot wirst du wohl nix anfangen können. Dafür haben die Ryzen CPUs aber mittlerweile auch eine iGPU, ich weiß nur nicht, ob man die an eine VM durchreichen kann.

Lanesharing oder Abschaltungen von Geräten gibt es lt. Handbuch nicht, du brauchst dann aber wohl DDR5 RAM, das alte RAM passt nicht.

nonharderware

2024-05-01, 20:17:28

Fehlt immer noch wieviele Lanes. Und dein jetziges Board hat doch auch nur 2 PCIe Slots. Wie geht das mit den HBA und 2 PCIe SSDs zusammen
Gar nicht - weshalb ich ja unter anderem einen neuen Server möchte.
Die LSI Karte liegt mittlerweile wieder verpackt mit den acht weiteren HDDs herum.

Mit 2 Grakafikkarten, HBA, und 2 PCIe SSDs bist du bei den Desktop Ryzen eigentlich schon raus, wenn das mit voller Bandbreite angebunden werden soll.
Außerdem kannst du dich auf 50W idle einstellen.

Die zwei GraKas dürfen gerne geopfert werden.

Seltsamerweise steht nirgendwo wie das Netzwerkmäßig angebunden werden soll.

Ich habe alles zumindest auf 1Gbit verkabelt.
Gewisse Strecken sind 2,5GBit bzw. 10GBit verkabelt.

nonharderware

2024-05-01, 20:19:15

PatkIllA

2024-05-01, 20:41:02

Ich habe alles zumindest auf 1Gbit verkabelt.
Gewisse Strecken sind 2,5GBit bzw. 10GBit verkabelt.Und der Server soll auch nur 1GBit bekommen? Taucht nirgends in den Anforderungen auf und ist insbesondere bei den älteren AM4 Boards eher die Regel.

Deswegen dachte ich auch an ein Server-AM4 Board.
Ich habe irgendwie wenig Lust mir ein Gaming-Board im Server zu verbauen... Schau mehr auf die Features als das Marketing.
Sowas wie IPMI oder wirkliche Serverfeatures nennst du ja gar nicht. Die Chipsätze und Komponenten sind auch praktisch die gleichen. AM4/AM5 ist halt auch keine Serverplattform sondern bestensfalls Desktop.

Und sicher, dass es noch AM4 für nen Neukauf werden soll? Nur um den doch sehr langsamen Speicher weiterzuverwenden?
Bei AM4 kriegst du nur bei den APUs eine integrierte GPU. Die sind dann teilweise wieder eingeschränkt was PCIe und ECC angeht.

Also muss ich eventuell doch zu einer Intel-Lösung greifen?
Da gelten wieder andere Einschränkungen. Insbesondere ECC kriegst du bei den "normalen" CPUs und Chipsätzen nicht. Da gibt es ganze 10 Boards ab 430€ (https://geizhals.de/?cat=mbp4_1700&xf=317_W680&sort=p#productlist)
Idle verbrauch wäre wohl geringer. Hängt aber auch wieder vom Board und verwendeten Karten ab. Können die PCIe und der HBA ASPM?

Fliwatut

2024-05-01, 21:12:32

Deswegen dachte ich auch an ein Server-AM4 Board.
Gibt es: https://geizhals.de/asrock-rack-x470d4u2-a2877839.html?v=k&hloc=de Nur halt nicht mit diesen Specs.

Es gibt auch sowas für schlappe 60 EUR sogar mit AST2500:
https://www.gigabyte.com/de/Enterprise/Server-Motherboard/MC12-LE0-rev-1x
https://www.piospartslap.de/Gigabyte-Mainboard-MC12-LE0-Re10-AMD-B550-AM4-Ryzen-5000-4000-3000-Server-Board-NEU-NEW

Ich habe irgendwie wenig Lust mir ein Gaming-Board im Server zu verbauen...
Warum?

Also muss ich eventuell doch zu einer Intel-Lösung greifen?
Da gibt es im Desktopbereich zwar mehr Auswahl, aber ist auch teurer: https://geizhals.de/?cat=mbp4_1700&xf=544_ASRock+Rack~544_Supermicro&asuch=&bpmin=&bpmax=&v=k&hloc=de&plz=&dist=&sort=p&bl1_id=30

Achill

2024-05-02, 09:49:47

Ich denke nonharderware sollte erst einmal klären, was er wirklich will ...

1. Sollen es wirklich 4* PCIe 16x Slots sein oder reichen auch 3 Stück? Recht es, wenn diese mechanische 16x Slots sind oder brauchen diese auch alle 16 PCIe Lanes? Wenn ja, dann braucht deine CPU mehr als 64 PCIe Lanes und das reduziert erheblich deine Auswahl. Consumer CPUs von AMD oder Intel liefern das nicht ...

2. Was ist der akzeptable Stromverbrauch? Was unter Idle (dazu Tests im Netz zu finden wird schwer)?

3. Was ist dein preislicher Rahmen?

Soll es dann Ryzen mit mehr als 64 PCIe Lanes sein, dass hast du eigentlich nur folgende Auswahl ...

Ein Threadripper auf Zen3 Basis (https://geizhals.eu/?cat=cpuamdam4&xf=12114_15+-+Zen+3+(ab+2020)%7E19059_128%7E820_sWRX8%7E821_1+Sockel) mit sWRX8 Socket MB (https://geizhals.eu/?cat=mbtr4&xf=317_WRX80%7E644_sWRX8), startet mit:
- AMD Ryzen Threadripper PRO 5955WX mit 16C/32T ~1080€
- ASRock WRX80 Creator R2.0 ~760€
- +4 weitere Ram Riegel, Kühler, usw ...

Oder ein Epic auf Zen3 Basis (https://geizhals.eu/?cat=cpuamdam4&xf=12099_Server%7E12114_15+-+Zen+3+(ab+2020)%7E19060_128%7E821_1+Sockel) mit entsprechenden MB mit SP3 Socket (https://geizhals.eu/?cat=mbsp3&xf=16549_4%7E644_SP3), kann günstiger im Preis sein, hat aber wahrscheinlich ein höheren Idle Verbrauch, startet mit:
- Epic AMD Epyc 7203P mit 8C/16T (~370€) oder AMD Epyc 7303P 16C/32T (~580€)
- Supermicro H12SSL-* (Startet mit ~670€, kommt auf das Modell und damit Ausstattung an)
- +4 weitere Ram Riegel, Kühler, usw ...

Capone2901

2024-05-02, 09:52:52

Die Notwendigkeit für ein Serverboard sehe ich mit den Anforderungen nicht, da keine Management-Funktionen angesprochen wurden. Auch würde ich im privaten Bereich etwaige höhere Verfügbarkeit weniger wichtig sehen.

Die PCIe-SSDs solltest du evtl. noch mal näher spezifizieren. Wenn es nur PCIe auf NVME Adapter sind, sollten diese wrsl. x4 angebunden sein, oder?
Dann würde ich hier 1x8 und 2x4 Lanes für die Karten zählen.
Dazu zwei mal NVME-SSD mit x4, so dass es insgesamt 24 PCIe-Lanes wären. Das sollte prinzipiell noch mit einem Ryzen 5xxx funktionieren.

Bzgl. Boards gibt es allerdings nicht so viele Optionen mit mind. 3x PCIe x4: https://geizhals.de/?cat=mbam4&xf=16552_3

Jenachdem was für PCIe-SSDs du verwendest: Könnte man zugunsten günstigerer Boards nicht auch einfach eine größere NVME M2 verbauen? Den riesen Datendurchsatz wirst du mit den VM und einer etwaigen 1GBit-Netzwerkanbindung ja ohnehin nicht haben.

Achill

2024-05-02, 09:54:33

Die Notwendigkeit für ein Serverboard sehe ich mit den Anforderungen nicht, da keine Management-Funktionen angesprochen wurden. Auch würde ich im privaten Bereich etwaige höhere Verfügbarkeit weniger wichtig sehen.

Viele Optionen mit mind. 3x PCIe x4 gibt es nicht: https://geizhals.de/?cat=mbam4&xf=16552_3
Dazu dann einen Ryzen 5700G falls du iGPU benötigstm, andernfalls 5700 bis 5800X, je nach dem was gerade im Angebot ist.

Jenachdem was für PCIe-SSDs du verwendest: Könnte man zugunsten günstigerer Boards nicht auch einfach eine größere NVME M2 verbauen? Den riesen Datendurchsatz wirst du mit den VM und einer etwaigen 1GBit-Netzwerkanbindung ja ohnehin nicht haben.

Sehe ich genauso, deswegen habe ich ja nach der Notwendigkeit bzgl. "Es sollten zumindest 4x PCIe 16x Slots vorhanden sein." im ersten Post gefragt und ob diese auch alle jeweils 16 Lanes brauchen.

robbitop

2024-05-02, 11:07:38

Ich habe mir 2017 etwas für eine ähnliche Anwendung gebaut.

Ryzen 1700 (letztes Jahr auf einen 5950x upgegradet)
16 GB DDR4-2400 (letztes Jahr auf 32 GB DDR4-3800 geupgradet)
ASRock AB350
1 TB M2 SSD
6x 6 TB SATA
SAS HBA mit PCIe 4x (LSI irgendwas...)
Geforce GTX 1070 (als HW Encoder für PLEX - dank Treiberhack Script auch unlimited instances für encoding)

Da läuft Unraid drauf (xfs Dateisystem). VMs (1x Win10 und 1x Ubuntu), Docker (Plex, Ubiquiti, Pihole, Cloud Storrage), SMB Freigabe usw. Rennt alles phantastisch und ist super einfach einzurichten. Rennt auch super stabil.
Braucht IMO keine Server Komponenten - rennt bei mir seit 2017 (außer für Updates) stabil jeden Tag 24/7 durch.
HDDs spinnen down um Strom zu sparen. Null Probleme.

Kann ich nur empfehlen. Selbst mit dem 1700er rannte das alles schon gut - aber der 5950x ist natürlich noch besser.

myMind

2024-05-02, 11:29:43

Was ist überhaupt das konkrete Problem mit dem Xeon-System? Das sieht doch eigentlich sehr stimmig aus.

Sowohl das bestehende Xeon-Entry-System sowie alle Desktop-Systeme als auch das angesprochene MC12 haben alle sehr begrenzte I/O. Da muss man genau schauen, wie man die Anforderungen hineinbekommt.

Wie ist denn das genaue Setup und wo klemmt es? Wo ist das System drauf, wo die VMs, wo die Daten-Disks? Soll irgendwas durchgereicht werden?

Wenn du ein neues System bauen würdest, könntest du übrigens das Xeon-System als Proxmox-Backup-Server verwenden. Erste Wahl, wenn es um das Sichern von VMs unter Proxmox geht.

- Supermicro H12SSL-* (Startet mit ~670€, kommt auf das Modell und damit Ausstattung an)

Tolles Board. Typischer Preis sind 500 € - 550 €. Es gibt aber immer wieder Mangelphasen mit Phantasiepreisen. Was vermutlich auch an den fallenden Preisen der Zen2 und Zen3 Epycs liegt.

nonharderware

2024-05-02, 18:08:53

Hallo,

ich möchte vor meinen Antworten einen kleinen Disclaimer raushauen:
Mich hat Corona erwischt und ich schlafe irrsinnig viel neben dem Fiebern.

Ergo dauern die Antworten und sind manchmal unvollständig, da Hirn überhitzt.

Und der Server soll auch nur 1GBit bekommen?

Das aktuelle Board hat 4x 1GBit, es wäre fein, wenn der Server zumindest die bekommt, 2,5GBit wären schön, 10GBit feuchter Traum.

Warum?

(Die Frage war, wieso ich keine Gaming-Hardware in meinem Server will.)

Weil ECC Support einmal ein Muss ist und ich außerdem gern längeren Support als den stiefmütterlichen nach 2 Generationen hätte.
Das Board wird ca. 5 bis 8y im Einsatz sein.

Außerdem habe ich vor, diverse Cloud-Services auf den eigenen Server unter meiner Kontrolle "zu holen". Was in der Praxis heißt, dass ich die Services einfach kündige und es mir auf dem Server selbst aufbaue.

Daher sind mir auch die

Energiekosten zuerst mal egal, da jene auch durch gekündigte Services kompensiert werden.
Mein aktueller Server kostet mich etwa 200 EUR im Jahr

Ich denke nonharderware sollte erst einmal klären, was er wirklich will ...

1. Sollen es wirklich 4* PCIe 16x Slots sein oder reichen auch 3 Stück? Recht es, wenn diese mechanische 16x Slots sind oder brauchen diese auch alle 16 PCIe Lanes? Wenn ja, dann braucht deine CPU mehr als 64 PCIe Lanes und das reduziert erheblich deine Auswahl. Consumer CPUs von AMD oder Intel liefern das nicht ...

2. Was ist der akzeptable Stromverbrauch? Was unter Idle (dazu Tests im Netz zu finden wird schwer)?

3. Was ist dein preislicher Rahmen?

Ad 1.: Habe ja schon geschrieben, dass ich auf die GraKas verzichten kann

Die zwei GraKas dürfen gerne geopfert werden.

Ad 2.: Siehe etwas weiter oben die fette Markierung "Energiekosten"

Ad 3.: Gute Frage:

Um die EUR 1.000,- war mein ursprünglicher Gedanke.
Bei 2.000,- scheiß ich drauf.

Die Notwendigkeit für ein Serverboard sehe ich mit den Anforderungen nicht, da keine Management-Funktionen angesprochen wurden. Auch würde ich im privaten Bereich etwaige höhere Verfügbarkeit weniger wichtig sehen.

Ich habe mich schon dazu hier in diesem Post geäußert: ECC ist MUSS und ich will nicht Support-Ende (keine UEFI-Updates etc.) in 3y.

Die PCIe-SSDs solltest du evtl. noch mal näher spezifizieren. Wenn es nur PCIe auf NVME Adapter sind, sollten diese wrsl. x4 angebunden sein, oder?
Dann würde ich hier 1x8 und 2x4 Lanes für die Karten zählen.
Dazu zwei mal NVME-SSD mit x4, so dass es insgesamt 24 PCIe-Lanes wären. Das sollte prinzipiell noch mit einem Ryzen 5xxx funktionieren.

24 Lanes wären ausreichend.

Bzgl. Boards gibt es allerdings nicht so viele Optionen mit mind. 3x PCIe x4: https://geizhals.de/?cat=mbam4&xf=16552_3

Jenachdem was für PCIe-SSDs du verwendest: Könnte man zugunsten günstigerer Boards nicht auch einfach eine größere NVME M2 verbauen? Den riesen Datendurchsatz wirst du mit den VM und einer etwaigen 1GBit-Netzwerkanbindung ja ohnehin nicht haben.

Die NVME SSDs sind Verbrauchsmaterial: Cache für das ZFS RAID.

Ich habe mir 2017 etwas für eine ähnliche Anwendung gebaut.

Ryzen 1700 (letztes Jahr auf einen 5950x upgegradet)
16 GB DDR4-2400 (letztes Jahr auf 32 GB DDR4-3800 geupgradet)
ASRock AB350
1 TB M2 SSD
6x 6 TB SATA
SAS HBA mit PCIe 4x (LSI irgendwas...)
Geforce GTX 1070 (als HW Encoder für PLEX - dank Treiberhack Script auch unlimited instances für encoding)

Da läuft Unraid drauf (xfs Dateisystem). VMs (1x Win10 und 1x Ubuntu), Docker (Plex, Ubiquiti, Pihole, Cloud Storrage), SMB Freigabe usw. Rennt alles phantastisch und ist super einfach einzurichten. Rennt auch super stabil.
Braucht IMO keine Server Komponenten - rennt bei mir seit 2017 (außer für Updates) stabil jeden Tag 24/7 durch.
HDDs spinnen down um Strom zu sparen. Null Probleme.

Kann ich nur empfehlen. Selbst mit dem 1700er rannte das alles schon gut - aber der 5950x ist natürlich noch besser.

Du hast aber nicht ZFS laufen: Mehr RAM und ECC wären bei ZFS sinnvoll. XFS kommt mir nicht auf den Server.

Was ist überhaupt das konkrete Problem mit dem Xeon-System? Das sieht doch eigentlich sehr stimmig aus.

Sowohl das bestehende Xeon-Entry-System sowie alle Desktop-Systeme als auch das angesprochene MC12 haben alle sehr begrenzte I/O. Da muss man genau schauen, wie man die Anforderungen hineinbekommt.

Wie ist denn das genaue Setup und wo klemmt es? Wo ist das System drauf, wo die VMs, wo die Daten-Disks? Soll irgendwas durchgereicht werden?

Wenn du ein neues System bauen würdest, könntest du übrigens das Xeon-System als Proxmox-Backup-Server verwenden. Erste Wahl, wenn es um das Sichern von VMs unter Proxmox geht.

Tolles Board. Typischer Preis sind 500 € - 550 €. Es gibt aber immer wieder Mangelphasen mit Phantasiepreisen. Was vermutlich auch an den fallenden Preisen der Zen2 und Zen3 Epycs liegt.

Also: Was läuft steht beschrieben im Eingangspost.
Dies läuft auch soweit.

Die Windows Maschinen reagieren sehr gut im Netzwerk auch remote - aber wenn ich mehr als 2 Windows Maschinen habe, wird es heftig und es nimmt auch die Auslastung der CPU am Server.
Wenn ich da jetzt noch mehr VMs reinbuttere, wird es nicht besser werden - und da sind einige CTs in der Pipeline und zumindest noch eine Windows Maschine.

Der Server geht aktuell noch, aber ist am Limit.

robbitop

2024-05-02, 18:17:35

Tja die Frage ist ob man alles so braucht was man so möchte. ;)
Hier rennt alles seit 7 Jahren 24/7 stabil ohne Datenverluste ohne ecc und ohne zfs. Aber jedem Tierchen sein Plässierchen ;)

Fliwatut

2024-05-02, 18:33:54

Weil ECC Support einmal ein Muss ist und ich außerdem gern längeren Support als den stiefmütterlichen nach 2 Generationen hätte.
AM5 will DDR5 und da ist ECC schon eingebaut. Für AM5 wird es vermutlich auch noch 2 neue CPU-Generationen geben.

Die NVME SSDs sind Verbrauchsmaterial: Cache für das ZFS RAID.
Die bringen nicht viel, ZFS liebt RAM. Es gibt einen Read Cache, Arc, im RAM, den kann man mit L2ARC auf SSD legen, da sollte man sich aber vorher die Arc Stats ansehen, ob das überhaupt etwas bringt. Der Write Cache ist vom RAM abhängig, deswegen wäre eine USV wichtig, wenn die Daten sehr wichtig wind. Du kannst ZIL auf ein dediziertes vdev (SLOG) legen, die Empfehlung liegt laut ixsyszems (TrueNAS) bei 16GB, auch hier ist fraglich, ob du das brauchst.
Ich habe das früher auch so gemacht, jetzt habe ich mein RAM auf 128GB erhöht und nutze die SSDs als flottes Ziellaufwerk für die 10Gb NIC.

Mehr RAM und ECC wären bei ZFS sinnvoll.
Mehr RAM auf jeden Fall, ECC kommt halt drauf an, was gespeichert wird. Bei Bildern und Filmen ist ECC imho kein Muss.

nonharderware

2024-05-02, 18:57:52

Tja die Frage ist ob man alles so braucht was man so möchte. ;)
Hier rennt alles seit 7 Jahren 24/7 stabil ohne Datenverluste ohne ecc und ohne zfs. Aber jedem Tierchen sein Plässierchen ;)

Wieso kann ich denn nicht einfach ECC als MUST angeben ohne dass ich mich hierfür rechtfertigen muss?

Ich habe auf dem Teil auch eine aktuelle Veröffentlichung - bzw. den technischen Part dahinter.
Außerdem versuche ich gerade eine neue Variante der Testdatengenerierung in Bezug auf Qualität.

Bin im Softwaretesting als auch IT-Sicherheit tätig, daher habe ich einfach eine gewisse Grundanforderung an meinen Heimserver.

myMind

2024-05-02, 18:59:39

AM5 will DDR5 und da ist ECC schon eingebaut.
Das ist On-Die ECC. Das zählt nicht. Das wird intern verwendet, um die Taktgrenzen bei DDR5 nach oben zu prügeln.

Beim herkömmlichen ECC werden zusätzliche Datenleitungen nach außen bereitgestellt. Auch die Datenübertragung kann abgesichert werden. Die Korrekturrate kann zudem ausgelesen werden. Z.B. zur Erkennung nachlassender Module.

Es gibt auch herkömmliches ECC bei AM5. Aber das ist eine Wissenschaft für sich.

nonharderware

2024-05-02, 19:03:26

AM5 will DDR5 und da ist ECC schon eingebaut. Für AM5 wird es vermutlich auch noch 2 neue CPU-Generationen geben.

Die bringen nicht viel, ZFS liebt RAM. Es gibt einen Read Cache, Arc, im RAM, den kann man mit L2ARC auf SSD legen, da sollte man sich aber vorher die Arc Stats ansehen, ob das überhaupt etwas bringt. Der Write Cache ist vom RAM abhängig, deswegen wäre eine USV wichtig, wenn die Daten sehr wichtig wind. Du kannst ZIL auf ein dediziertes vdev (SLOG) legen, die Empfehlung liegt laut ixsyszems (TrueNAS) bei 16GB, auch hier ist fraglich, ob du das brauchst.
Ich habe das früher auch so gemacht, jetzt habe ich mein RAM auf 128GB erhöht und nutze die SSDs als flottes Ziellaufwerk für die 10Gb NIC.

Mehr RAM auf jeden Fall, ECC kommt halt drauf an, was gespeichert wird. Bei Bildern und Filmen ist ECC imho kein Muss.

DDR5 hat kein ECC wie es ECC-DDR4 ist!
https://www.corsair.com/ww/en/explorer/diy-builder/memory/is-ddr5-ecc-memory/
Es dürfte ein paar Korrekturroutinen in den Chips haben, aber keinen Chip extra für das ganze Modul.

USV ist vorhanden - deren Überwachung übernimmt übrigens auch eine CT, habe ich komplett vergessen..
Und ich habe die die NVME direkt bei der Erstellung als Cache angegeben - siehe Anhang.

nonharderware

2024-05-02, 19:04:17

Das ist On-Die ECC. Das zählt nicht. Das wird intern verwendet, um die Taktgrenzen bei DDR5 nach oben zu prügeln.

Beim herkömmlichen ECC werden zusätzliche Datenleitungen nach außen bereitgestellt. Auch die Datenübertragung kann abgesichert. Die Korrekturrate kann zudem ausgelesen werden. Z.B. zur Erkennung nachlassender Module.

Es gibt auch herkömmliches ECC bei AM5. Aber das ist eine Wissenschaft für sich.

Du warst schneller.
Deswegen will ich auch DDR4 mit ECC haben :freak:

Capone2901

2024-05-02, 19:48:37

Um die EUR 1.000,- war mein ursprünglicher Gedanke.
Bei 2.000,- scheiß ich drauf.

Bei dem Budget sind deine Anforderungen schon eher zu erklären.
Dann würd ich an deiner Stelle wohl mal ein Auge auf das ASRock Rack EPYCD8 in Verbindung mit einer AMD Epyc 7282 werfen.
Lanes wären dann auch für die Grafikkarten ausreichen vorhanden.
Ein 10Gbps NIC sollte dann auch noch im Budget sein.

robbitop

2024-05-02, 19:53:04

Wieso kann ich denn nicht einfach ECC als MUST angeben ohne dass ich mich hierfür rechtfertigen muss?

Ich habe auf dem Teil auch eine aktuelle Veröffentlichung - bzw. den technischen Part dahinter.
Außerdem versuche ich gerade eine neue Variante der Testdatengenerierung in Bezug auf Qualität.

Bin im Softwaretesting als auch IT-Sicherheit tätig, daher habe ich einfach eine gewisse Grundanforderung an meinen Heimserver.
Good for you :up:
Braucht trotzdem kein Mensch privat - aber mach ruhig :)

myMind

2024-05-02, 19:57:35

Die Frage die sich mir gerade stellt, ob du a) bei der IO mit deinem aktuellen System noch so viel besser werden kannst, dass es ausreicht oder b) ob du einfach mehr Kerne brauchst.

Schauen wir nochmal bei a):

Und ich habe die die NVME direkt bei der Erstellung als Cache angegeben - siehe Anhang.
Bei ZFS bin ich auch noch neu. Aber lies dir mal z.B. https://www.45drives.com/community/articles/zfs-caching/ durch.

Deine NVMe ist ein L2ARC. Richtig?

Du hast ja 64 GB RAM. ZFS wird sich davon 32 GB schnappen. Da ist jetzt aus meiner Sicht die Frage ob das nicht völlig ausreichend ist, bei einer Handvoll VMs. Wie Fliwatut schon gesagt hat, erstmal prüfen ob deine Lese-Cache NVMe überhaupt sinnvoll ist. Der L2ARC ist bedeutend langsamer als RAM, belegt wertvolle IO und schreibseitig wirkt der gar nicht, wenn ich das richtig verstehe.

Wie wäre es zwei größere M.2 NVMes im Mirror zu verbauen? Dort alle VM-System-Disks drauf und die VM-Daten-Disks auf die HDDs?
Der gewünschte Effekt wäre, dass du schreibseitig für den Großteil deiner Writes schneller wirst.

Fliwatut

2024-05-02, 20:09:59

Und ich habe die die NVME direkt bei der Erstellung als Cache angegeben - siehe Anhang.
Genauso habe ich es auch gemacht, hat nix gebracht, RAM ist wichtiger.

Wir kommen hier aber nicht wirklich weiter, imho wirst du mit einer Desktopplattform nicht zufrieden sein.

AM4 und So1700 sind EOL, AM5 kommt nicht in Frage, da bleibt halt nichts mehr übrig.

Edit, guck dir die AM5 MBs mal an: https://geizhals.de/?cat=mbam5&xf=4400_%B5ATX%7E597_ASPEED+AST2600%7E597_ASPEED+AST2600+-+Onboard

myMind

2024-05-02, 20:26:26

Bei AM4/AM5 ist es kompliziert. Ich glaube im Igors Lab Forum gibt es einen Thread dazu, wo denn echtes ECC bei Ryzen funktioniert und wo nicht. Die CPU, der Chipsatz und das RAM müssen es unterstützen und zusammenspielen.

Xeon E war/ist sehr desktoppig aber Intel gibt immerhin ECC-garantien bei Chipsatz und CPU mit.

Bei AMD ist das schwammiger. Es gibt die PRO-CPUs bei denen ECC garantiert ist, aber auch viele Non-PROs können das irgendwie usw.

Ich würde das nicht direkt abschreiben. Man muss sich ggf. damit befassen, damit es dann auch wirklich funktioniert.

Birdman

2024-05-02, 20:42:21

DDR5 hat kein ECC wie es ECC-DDR4 ist!
https://www.corsair.com/ww/en/explorer/diy-builder/memory/is-ddr5-ecc-memory/
Es gibt natürlich auch DDR5 UDIMM Module mit "echtem" ECC...
Nur danach suchen ist halt mühsam, weil da auch alle andern/normalen DDR5 Module mit onDie ECC aufgelistet werden.

nonharderware

2024-05-02, 20:43:09

Ein kleiner Break:

Ich habe keine Fixierung auf AMD, es war nur ein Wunsch.

Ich wäre auch für einen ARM Server offen.

Fliwatut

2024-05-02, 20:43:27

Supermicro gibt bei seinem AM5 MB (https://www.supermicro.com/en/products/motherboard/h13sae-mf) dieses RAM an: https://store.supermicro.com/us_en/supermicro-hynix-32gb-288-pin-ddr5-4800-pc5-38400-server-memory-mem-dr532md-eu48.html
Das scheint mir schon "richtiges" ECC zu sein.

PatkIllA

2024-05-02, 20:53:23

Die CPU, der Chipsatz und das RAM müssen es unterstützen und zusammenspielen.Und das Board muss es natürlich noch unterstützen. Die gleiche Kombination reicht nicht.

Xeon E war/ist sehr desktoppig aber Intel gibt immerhin ECC-garantien bei Chipsatz und CPU mit.Mit W680 gibt es buchstäblich zwei Handvoll Boards.

Bei AMD ist das schwammiger. Es gibt die PRO-CPUs bei denen ECC garantiert ist, aber auch viele Non-PROs können das irgendwie usw.Dieses Pro/Non Pro gibt es nur bei den APUs.

Ich packe mir aber auch jedesmal an den Kopf, dass man mit DDR5 durchgehendes ECC nicht zum Standard gemacht hat, wenn doch sogar auf den Modulen immer ECC ist.

Ich wäre auch für einen ARM Server offen.Da gibt es mit frei verfügbaren Komponenten genau null. Da kannst du Komplettserver kaufen und musst dann hoffen, dass deine Erweiterungen da funktionieren, es keine Spezial Linux Distro braucht, die in zwei Jahren keinen Support mehr hat usw. Günstig ist das auch nicht.

ich wollte letztes Jahr auch nen HomeServer mit Platz für ein paar NVMe SSD, SFP+ Ethernet, ECC und niedrigem Idle Verbrauch gesucht.
Habe mir dann einen P360 Ultra gekauft in dem dann aber diverse Netzwerkkarten nicht gingen. Und dann noch mal auf P3Ultra getauscht und dann festgestellt, dass was schnelleres als 1 GBit LAN den Idle Verbrauch verfielfachen. von 10W mit 1GBit auf 20W mit 2,5GBit und mit 10 GB dann knapp 30W.

myMind

2024-05-02, 20:58:36

Der Vollständigkeit halber: Hier ist der Thread zu AM4 X570 ECC bei Igor: X570-Boards mit ECC-Unterstützung (https://www.igorslab.de/community/threads/x570-boards-mit-ecc-unterst%C3%BCtzung.1554/)

myMind

2024-05-02, 21:13:08

Und das Board muss es natürlich noch unterstützen. Die gleiche Kombination reicht nicht.
Jepp. Und das geilste ist, dann gibt es Boards, bei denen erstmal groß "Supports ECC" dran steht. Dann schaust du, ob auch ECC-Speicher in der QVL steht .... und Fehlanzeige. Also gar nicht getestet. :confused:

Mit W680 gibt es buchstäblich zwei Handvoll Boards.
Also ich weiß auch nicht, ob die Auswahl einer HEDT-Plattform an der Stelle wirklich zielführend ist. Der Chipsatz bringt zwar grundsätzlich alles mit, aber ich bezweifle, dass das Thema "Energiesparen" weit oben in der BIOS-Konfigurations-Checkliste steht.

Dieses Pro/Non Pro gibt es nur bei den APUs.

Ah OK. (y)

PatkIllA

2024-05-02, 21:35:20

Jepp. Und das geilste ist, dann gibt es Boards, bei denen erstmal groß "Supports ECC" dran steht. Dann schaust du, ob auch ECC-Speicher in der QVL steht .... und Fehlanzeige. Also gar nicht getestet. :confused:Kann man ja auf einen Versuch ankommen lassen.

Also ich weiß auch nicht, ob die Auswahl einer HEDT-Plattform an der Stelle wirklich zielführend ist. Der Chipsatz bringt zwar grundsätzlich alles mit, aber ich bezweifle, dass das Thema "Energiesparen" weit oben in der BIOS-Konfigurations-Checkliste steht.Der W680 ist genau das gleiche wie die normalen Desktop-Chipsätze. Da werden die Features ja nach Marktsegment eingeschränkt und nicht nach technischer Notwendigkeit.

Bei dem P3 Ultra mit W680 Chipsatz gab es mit 13700K und zwei NVME 2 SSDs und Gigabit LAN 7W Idle.
Hatte allerdings nur 16GB Non ECC DDR5.

Birdman

2024-05-02, 21:59:07

AM5 ist ja ganz lustig für EntryLevel Servers (wir selber nutzen u.A. solche von SuperMicro sowie Gigabyte - z.B. das R133-C11) weil man mit dem 7950x3d doch recht weit kommt was CPU Leitung angeht.
Klar, beim RAM ist man aktuell auf max 128GB mit lausigem Speed (3600Mhz und nur Dual-Channel) limitiert, wenn man ECC will. Es ist aber zumindest absehbar dass in einem Jahr oder so auch ein Upgrade auf 256GB möglich sein wird. (es fehlt ja nur die Verfügbarkeit der DIMMs)

Problematisch ist allerdings der idle Verbrauch von dieser Plattform, den man selbst bei minimalem Ausbau der System und 65W Ryzen Modelle kaum unter 80-90W bekommt.

Wenn man sich hier die Xeon E Plattformen anschaut, wo das ganze bei 20-25W beginnt, ist das halt schon uncool.

Capone2901

2024-05-04, 13:39:14

Ist der Thread noch relevant?
https://www.forum-3dcenter.org/vbulletin/showthread.php?t=618346

nonharderware

2024-05-05, 11:08:50