Skalierbare Netzwerkarchitektur für Budget 20TB+ Home-Medienserver

[Quantar]

Ahoi, ich verliere langsam den Überblick und die Fehler/Probleme häufen sich bei mir im Netzwerk, alles ziemlich unübersichtlich inzwischen. Vielleicht hat einer von euch einen passenden Tipp parat. Ich würde meine NW Expertise als "Basic" bezeichnen. Router oder kleines LAN einrichten ist noch drinnen, viel mehr aber auch nicht. ;(

Aktuelle Hardware

Router: Asus RT N66U (https://www.asus.com/de/Networking/RTN66U/) (Merlin FW)
Internet: 400/25 Mbit/s Vodafone Kabel
Server: Intel NUC (corei5 5300, 8 GB RAM, 120 GB SSD) (https://ark.intel.com/products/84861/Intel-NUC-Kit-NUC5i5MYHE), wired, Ubuntu Server
Vero 4K Media Client, wired, OSMC (KODI/XBMC Fork)

So weit so gut, aber jetzt eben:

Speicher: Diverse (atm 6) 2-4TB 3,5" HDs in diversen externen USB Gehäusen :freak:

Einfach immer mehr 3,5"HDs per USB an einen Intel Nuc zu friemeln skaliert recht schnell recht beschissen, denke das ist klar. Und die auftretenden Probleme werden in so einer Umgebung nicht einfacher zu lokalisieren. Ich habe inzwischen echt Schwierigkeiten das Nadelöhr im Speed zu finden, zumal da auch dauernd was anderes neues ist. :biggrin:

Generelle Nutzung:

NUC 24/7 zum Streaming, Daten-Archiv und Backup-Nutzung.
80% der HDs sind mit F/UHD Material (BR Remuxe) bestückt.
Gibt z.T. große Datenarchive mit denen ich arbeite (+10.000 files, >20GB) die zwischen W7 Notebook und Netzwerk synchron gehalten werden wollen.


Tja, und nun beobachte ich wieder mal den 3 MB/s rsync Transfer zwischen Notebook und Archiv-HD und frage mich ob ich den kommenden random Film ruckelfrei angucken kann, während ich versuche herauszufinden was wo praktisch und theoretisch limitiert... You see the point ;)

So, Überlegungen:

"Richtiges" NAS fällt raus, 4er Array mit 4x8TB Platten ist finanziell so schnell erst mal nicht drinnen.
NUC um weitere Anschlüsse "pimpen", z.B: https://www.gorite.com/intel-nuc-products/intel-nuc-replaceable-lids
Irgendwas mit FreeNAS/OpenMediaVault/OwnCloud etc....
Wieder mal den alten RaspPi rausholen oder was Ähnliches optimiert für ein NAS kaufen
Die beiden USB Ports des Routers mit nutzen?
RAID (5?10?)?


Toll wäre natürlich was möglichst einfaches: iwo neue HD dran, konfigurieren und Space zuteilen (Backup, Archiv, Performance...), und der Gesamtplatz der "Cloud" vergrößert sich entsprechend.. so in der Art stelle ich mir das in meinen Träumen vor :freak:

TL; DR

Wie lässt sich das Setup mit möglichst vorhandenen HDs skalierbar optimieren
Was sind wichtige grundsätzliche Empfehlungen die Software-Architektur betreffend? Fängt schon bei dem Fileformat der HDs oder den Drive Settings an die derzeit ziemlich "divers" sind.


Thanks for hints
quan :)

[Schimi1983]

Dein Problem ist das sich die USB Platten, mit jeder weiteren Platte den Speed teilen müssen...

Ne option wäre vielleicht (falls möglich), nen günstigen PC zu besorgen, mit vielen SATA Anschlüssen und die Platten aus den Externen Gehäusen ausbauen und intern in einem PC mit einer Netzwerkkarte (1GB/s) zu verbauen....

wäre so meine spontane Idee

*edit*
zur not könnte man auch die Ext.HDDs auf die mehr an USB plätzen eines "echten" PC verteilen.... das USB bleibt aber dein "Hauptproblem"

Ich habe selbst einen FileServer gebaut (Vor Jahren) weil ich quasi auf dein problem zusteuerte :-)

[MadCat]

Hi,

ich hab mir auch was selbst gebaut:

http://www.sysprofile.de/id102713

Nutze Win10, aber Ubuntu wäre auch möglich.

RAID kann man via SoftRAID mit Linux machen, da Intel RST nicht wirklich gut unter Linux klappt.

in einem passenden Gehäuse kann man auch gut HDDs unterbringen.
Ich habe mir für den Fall folgendes eingebaut:

https://www.icydock.de/goods.php?id=136

Sowas oder Vergleichbares bietet dann in 3 5.1/4"-Slots Platz für 5 3.5"-HDDs.
Die SSD fürs OS hab ich dann in einen Adapter eingebaut um im o.g. Gehäuse betreiben zu können.
Oder man hat ein Board mit M.2-Schnittstelle für die OS-SSD...

Ich hab mich für das Serverboard entschieden, da man dieses über eine Fernwartungsschnittstelle via LAN steuern kann. (IPMI von SuperMicro)

Wenn das keine Rolle spielt, kann man jedes x-beliebige Motherboard holen und nach der Anzahl der benötigten SATA-Schnittstellen aussuchen.

Wenn man mal grob überschlägt:


Mobo Biostar µATX B360GT3S (https://www.biostar.com.tw/app/en/mb/introduction.php?S_ID=906#specification) ~ 100,-
Speicher DDR4 8GB (2*4) ~70,-
ICY-DOCK-MB975SP-B-R1 (https://www.amazon.de/ICY-DOCK-MB975SP-B-R1-SATA-Wechselrahmen/dp/B06X9P4BYL) ~130,-
CPU (intel gen8 i3) ~140,-
Gehäuse mit Netzteil ~120,-


macht ~560,- für ein 5Slot-Raid-Case mit freier OS-Wahl...

Zum vergleich mal ne Mischung von fertigen NAS:


Synology DS418PLAY 4 Bay Desktop NAS Gehäuse ~460,-
Synology DS416slim 4 Bay Desktop-NAS-Gehäuse ~290,-
QNAP TS-431P Desktop NAS Gehäuse ~260,-


Diese sind halt in ihrer Funktion beschränkt, da man weniger auf OS-Level machen kann.

Gibt auch genug Leitfäden für Selbstbauten im Netz. Auf Anhieb mal den gefunden:

https://noxmiles.de/nas-selbst-bauen-2018-teil-1-die-hardware/

der kommt bei der Hardware preiswerter weg...

[Gandharva]

Lass die Bastelei und kauf ein ordentliches NAS. Wenn es finanziell jetzt nicht drin ist dann spar ne Weile.

Von Eigenbau NAS rate ich mittlerweile ab. Hatte ich früher selber, macht aber nur unnötig Arbeit mit fast keinem Mehrnutzen.

-> Synology oder QNAP (4 Slot + x86 Prozessor)

[Rechner-Tester]

Wenn du eh schon USB-Platten hast, warum hängst du sie dann nicht einfach an den Rechner/Medienspieler an dem du sie gerade brauchst?

Falls du was „Richtiges“ bezüglich Leistung und einfacher Handhabung, willst, wirst du für >20TB ein paar Euro in die Hand nehmen müssen. Alleine schon für die Daten- und Backupplatten. Die sonstigen Hardwarekosten sind dann gar nicht mehr der größte Posten.
Ob Fertig-NAS oder Selbstbau ist Geschmacksfrage. Für Letzteres werfe ich noch mal folgendes nettes Gehäuse in die Runde: http://chenbro.com/en-global/products/TowerServerChassis/Mini_ITX_Server/SR301_PLUS

Grüße und guten Rutsch
Rechner-Tester

[Demolition_Man]

Schau mal bei Ebay Kleinanzeigen nach einem 4 Slot Qnap NAS. Ich habe dort im Frühjahr ein Fijutsu NAS (Baugleich Qnap) incl. vier 2TB Platten von Samsung für 350 Euro erstanden. Nachdem ich das Nas erhalten habe wurde die Firmware sofort per Anleitung im Internet auf die Qnap umgeflasht. Läuft seitdem tadellos. Hier ist z.B. ein ganz gutes Angebot:

https://www.ebay-kleinanzeigen.de/s-anzeige/celvin-nas-q800-fujitsu-oem-qnap-ts-459-4x1-5tb-hdds-6tb/1020814205-225-18605

[myMind]

Speicher: Diverse (atm 6) 2-4TB 3,5" HDs in diversen externen USB Gehäusen :freak:

"Richtiges" NAS fällt raus, 4er Array mit 4x8TB Platten ist finanziell so schnell erst mal nicht drinnen.


Was wäre denn finanziell drin?
Wieviel Speicher benötigst Du jetzt (ohne Backup, ohne Puffer), wieviel perspektivisch?

Ideal wäre ein neues NAS. Die Geräteklasse ist genau für die Art Ansprüche gedacht, die Du hast.

Die Frage wäre, wo man sparen kann. Es wäre z.B. möglich die bestehenden Platten in ein NAS einzubauen. Du solltest sie dann nicht im RAID betreiben, sondern weiter einzeln. Die Ausfallwahrscheinlichkeit ist höher als bei einer echten NAS-Platte. Aber damit lebst Du aktuell ja schon. Das wäre erstmal keine Verschlechterung. Backup ist Pflicht. Nichts konfigurieren was die Ausfallwahrscheinlichkeit erhöht. Also auch kein RAID0 oder JBOD.

Vielleicht reicht es ja für ein gebrauchtes 4 oder 6-Slot NAS und eine neue größere NAS Platte (8 bis 10 TB). Dann kannst Du z.B. 2 vierer Platten einbauen. Macht 16/18 TB aktiver Speicher. Die restlichen externen Platten hängst du für das Backup an das NAS.
Nicht gerade schön, aber vielleicht finanzierbar. Perspektivisch dann Platten nachkaufen. Die gekaufte Platte sollte von 2017 oder 2018 sein und noch lange nachkaufbar. Platten immer leer einbauen und erstmal auf Funktion testen. Dann befüllen.

Wenn mehr Geld vorhanden ist, ab der 3. oder 4. nachgekauften identischen Platte über RAID nachdenken.

Ich würde mir mal eine Marktübersicht bei Qnap und Synology über die NAS der letzen 2 bis 4 Jahre verschaffen. Überlegen welche in Frage kommen. Versuchen bei eBay was entsprechendes zu ersteigern.

Oder halt auf was Neues hinsparen.

[=Floi=]

Würde auf die günstigen LSI raid controller von Ebay und nem extra pcgebrauchten setzen.
Das mit usb ist kompletter mist. Du brauchst auch mehr ram und rechenleistung. kommt von dem nuc oder dem pi weg.
Eventuell mit getrenntem LAN/switch oder Wlan.

Umsonst wird es nicht funktionieren. Ich würde abwer in der ersten ausbaustufe die vorhandenen platten nützen. Das spart einfach richtig geld.

[Watson007]

PC-Gehäuse mit 8x 3,5 Zoll Slots, ggf. Sata-Controller über Steckkarte nachrüsten.

OpenMediaVault mit UnionFS als Speicherpool-Lösung, bin damit ganz zufrieden. Vorteil von UnionFS, jede Festplatte kann weiterhin einzeln angesteuert werden. Du kannst auch UnionFS+SnapRAID zusammen nutzen.

Die USB-Platten kannst du als Backup weiter verwenden

[ilPatrino]

laß das mit den usb-platten sein. die kannst du als backup behalten, aber im laufenden betrieb würde ich die nicht einsetzen.
hab ebenfalls einen server zu hause laufen - centos auf einem standard board mit 6x sata. noch am2+, weigert sich aber mit konstanter boshaftigkeit, altersschwäche zu zeigen :freak:. macht pppoe, wlan, "firewall", ssh/vpn-endpunkt und medienserver. und was sonst noch an basteleien anfällt.

nimm sata-platten, dann stimmt auch die performance - ich kriege mit einer ssd mein gbit-lan ausgelastet. und seit ich die realtek-krabbeltischkarte gegen eine gebrauchte intel-gbit-karte ausgetauscht habe, bleibt die übertragungsrate auch konstant in der nähe der 100mb/s stehen.

wechselplatteneinschub ist auch nett, wenn er funktioniert (bisher insgesamt 3 verbaut. 1x kaputt, 1x mit wackelkontakt an einem sata-anschluß, 1x läuft).

[Haarmann]

Kann Dir nen NetApp anbieten mit 48 TB Brutto ;)

Wenns sein muss hab ich glaubs noch Zugriff auf nen 2es Gehäuse für weitere 12 Platten...