Kopiervorgang Raid5->Gigabit Ethernet->Raid5 - was sollte da gehen ?

[BigKid]

Hallo Allerseits...

aus aktuellen Anlass (2 meiner Platten im Raid5 zicken/werden vom Controler seit ein paar Tagen regelmäßig rausgeschmissen - bisher aber noch immer wieder manuell einbindbar) habe ich beschlossen die Daten auf einen neuen Satz Platten zu kopieren... (Das Problem ist vermutlich das fehlende TLER der WD greens - es ist jetzt halt 2 Jahre gut gegangen aber vermutlich treten nun die ersten defekten Sektoren auf...)

Ich hatte noch einen zweiten Raid-Controler von einer ähnlichen Aktion for ein paar Jahren rummfliegen... Also habe ich den zunächst in den selben Rechner gebaut aber es ums ver*cken nicht hinebkommen, den Rechner dann noch zu booten...

Also... Kurzerhand das Raid in meinem anderen Rechner eingebaut...
Und das kopieren angestossen...

Terracopy pendelte sich jetzt nach einer Weile so bei etwas über 60MB/s ein... Das sollten ja Megabyte pro Sekunde sein - oder ?

Ich frag mich nu ob da was begrenzt oder ob die Leistung so eigentlich ganz ok ist... Dabei macht mir die unschärfe bei Megabyte oder Megabit etwas zu schaffen...

Hardware:
4 WD Green 2,5 TB im Raid 5 an einem Rocket Raid 2310 (Pcie 4x)
3 WD Red 4TB im Raid5 an einem Rocket Raid 2300 (Pcie 1x)
Dazwischen Ethernet - 1GBit - über einen Netgear Gigabit Switch

Folgendes Bild ergibt sich:
Zunächst legt das ganze Ordentlich los und geht auf 98% Netzauslastung und 100MByte/s hoch... Da bleibt es ne ganze Weile... Mehrere Minuten...

Und dann sackt es gerade ab und das Netz ist nur noch zu 50-60% ausgelastet... Und bleibt da...
Terracopy gibt 60-65MB/s an... (Ich vermute mal MByte/s)...
Die CPUs langweilen sich auch mit angezeigter Kernel Zeit...

Was begrenzt da nu ?
CPUs schliesse ich also eher aus...
Das Netz zeigt 50% Auslastung und wenn ich mich richtig erinnere dann sollten per TCP/UPD so 110MByte/s Netto drinn sein...
Der PCIe könnte begrenzen aber ein PCIe 1.0 mit einer Lane sollte immernoch Netto 2Gbps schaffen... (also 256MByte/s) ?
Angeschlossen sind die Platten an die Controller per SATA3GB - auch da sollte also kein Flaschenhals sein...

Die Platten sollen ja einzeln etwa 100MByte/s (lesen oder schreiben ist bei denen ja fast egal) liefern...
Im Raid5 _sollte_ da doch dann mehr drinn sein (falls die CPU mitmacht, was sie anscheinend tut)...
Also eher 300MByte/s bei der Quelle mit den 4 Platten...
Und eher 200MByte/s beim Ziel mit den 3 Platten...

Hab ich eventuell irgendwas beim anlegen des Raids oder der Partition was falsch gemacht ? Oder ist der Wert eigentlich ganz Ok ?

[nn23]

Das werden die RAID Controller sein, die da begrenzen.
Die berechnen ja die Checksummen und schreiben auf die Platten.
Die sind einfach nicht auf permanente High Performance ausgelegt.

60 MB/s (das sind MegaByte pro Sekunde, richtig.) sind jetzt nicht soo schlecht.
Wenn du die 100 MB/s haben möchtest, gehen die RAID Controller schnell in den hohen 3-stelligen, wenn nicht sogar 4-stelligen Bereich.

Günstige NAS Systeme liegen auch gerne mal bei nur 20-40 MB/s (diese 100€ Home Dinger).

Der Boost am Anfang wird auf schnellen Cache zurück zu führen sein, danach pendelt sich das bei einer normalen (konstanten) Datenrate ein.

[BigKid]

Das werden die RAID Controller sein, die da begrenzen.
Die berechnen ja die Checksummen und schreiben auf die Platten.
Die sind einfach nicht auf permanente High Performance ausgelegt.

60 MB/s (das sind MegaByte pro Sekunde, richtig.) sind jetzt nicht soo schlecht.
Wenn du die 100 MB/s haben möchtest, gehen die RAID Controller schnell in den hohen 3-stelligen, wenn nicht sogar 4-stelligen Bereich.

Günstige NAS Systeme liegen auch gerne mal bei nur 20-40 MB/s (diese 100€ Home Dinger).

Der Boost am Anfang wird auf schnellen Cache zurück zu führen sein, danach pendelt sich das bei einer normalen (konstanten) Datenrate ein.
Diese Pseudo Raid Controler lassen die ganze Arbeit eh die CPU mache und die langweilt sich auf beiden Systemen...
Hier mal ein Test des Rocket Raids:
http://hexus.net/tech/reviews/storage/9556-highpoint-rocketraid-2300-ready-take-off/?page=4
200MByte/s lesen 120Mbyte schreiben...
Wenn die CPU mitmacht haben die schon Dampf!

[nn23]

Hast du mal Iometer laufen lassen?
Die Burst Rate ist immer ziemlich hoch, was auch mit deinen Beobachtungen übereinstimmen würde.
Ich weiß nicht genau, wie Iometer testet, bzw. ob/wie viele GBs der durch die Leitung schiebt.

€:

Die habe wohl mit 1MB getestet? Oder verstehe ich das falsch?
Wahrscheinlich mit 1 MB Blöcken, haben aber nicht die gesamte Datenmenge angegeben (nur die Dauer von 30 Sekunden).
Oben schreiben sie etwas von einer 1 GB Test File, die dürftest du auch so schnell durch die Leitung schieben :)


Here is our Iometer test regime:

Option/test Configuration
Outstanding I/Os 10
Individual test run time 30 seconds

Read test access spec 1MB transfers
100% sequential
100% read

Write test access spec 1MB transfers
100% sequential
100% write

General usage access spec 64KB transfers
50% sequential, 50% random
33% write, 67% read


We saw minimal difference between the two and so we will be using our block-level results henceforth, except for the test-rig's internal array, for which we used a 1GB test-file size.

[(del676)]

Klingt alles ziemlich lahm?

Also mit AES verschluesseltem Software Raid6 hab ich noch immer 300MB/s schreibend, und das bei einem DualCore I3. (und das obwohl sie zweimal Paritaet berechnet, aes Verschluesselung ist ja in HW, das zaehl ich garned)

Also sollte definitiv das Gigabit Lan der begrenzende Faktor sein bei zirka 112MB/s.

Allerdings hast du so komische HW-Assisted Raid Controller, da wird der Hund begraben liegen. Da bist du auf die Qualitaet des Treibers angewiesen, und Highpoint ist nicht gerade fuer Speed und Qualitaet bekannt.
Linux SW Raid ist effektiv, Windows SW Raid ist schon nicht mehr so schnell. Und HW Assisted Raid Controller, die die ganze Arbeit ueber miesen Treibercode an die CPU weitergeben sind halt noch ineffizienter als Windows SW Raid. ;)

[BigKid]

Klingt alles ziemlich lahm?

Also mit AES verschluesseltem Software Raid6 hab ich noch immer 300MB/s schreibend, und das bei einem DualCore I3. (und das obwohl sie zweimal Paritaet berechnet, aes Verschluesselung ist ja in HW, das zaehl ich garned)

Also sollte definitiv das Gigabit Lan der begrenzende Faktor sein bei zirka 112MB/s.

Allerdings hast du so komische HW-Assisted Raid Controller, da wird der Hund begraben liegen. Da bist du auf die Qualitaet des Treibers angewiesen, und Highpoint ist nicht gerade fuer Speed und Qualitaet bekannt.
Linux SW Raid ist effektiv, Windows SW Raid ist schon nicht mehr so schnell. Und HW Assisted Raid Controller, die die ganze Arbeit ueber miesen Treibercode an die CPU weitergeben sind halt noch ineffizienter als Windows SW Raid. ;)
Also was die Qualität betrifft kann ich nicht klagen... ich hab die beiden Controller zusammen bzw nacheinander nun schon 7 Jahre im Einsatz und noch nicht eine Datei verloren un null Ärger gehabt...
Auch das Array nachträglich um eine weitere Platte zu erweitern ging klaglos...
Und - selbst für den uralten 2300 von 2006 gibt es immernoch aktuelle Treiber 64 Bit, Windows 8 - kein Thema... da können sich andere Firmen ne Scheibe abschneiden...

[(del676)]

Und ich fahre u.a. seit Jahren Linux SW Raid.
Schneller, Guenstiger und bin nicht an Hardware gebunden (also flexibler). ;)

Wenn du schon unbedingt einen HW Raid Controller willst, dann wuerde ich einen LSI/Intel SAS Raid Controller vorschlagen. Die berechnen die Paritaet wirklich am Controller und benutzen PCI-E 3.0. Fangen immerhin bei nur 150€ an!
Hatte mal einen 8 Port LSI Sas Controller vor Jahren, und mit 8 30GB SSDs drauf hatte ich 2GB/s Read und 1.8GB/s Write. ;)

Highpoint laesst alles die Treiber machen, und das ist schlicht mies. Da ist der Intel Onboard teilweise schneller.

Du kannst ja mal nen anderen PCI-E Slot versuchen. ~166MB/s sollten schreiben theoretisch ja drin sein, laut PCI-E Bandbreite, beim Rocket Raid 2300.

Edit: achja, und versuch mal "Windows write-cache buffer flushing" abzuschalten und im RocketRaid auf Write Back zu stellen

[BigKid]

Und ich fahre u.a. seit Jahren Linux SW Raid.
Schneller, Guenstiger und bin nicht an Hardware gebunden (also flexibler). ;)

Wenn du schon unbedingt einen HW Raid Controller willst, dann wuerde ich einen LSI/Intel SAS Raid Controller vorschlagen. Die berechnen die Paritaet wirhttp://www.forum-3dcenter.org/vbulletin/login.php?do=login?klich am Controller und benutzen PCI-E 3.0. Fangen immerhin bei nur 150€ an!
Hatte mal einen 8 Port LSI Sas Controller vor Jahren, und mit 8 30GB SSDs drauf hatte ich 2GB/s Read und 1.8GB/s Write. ;)

Highpoint laesst alles die Treiber machen, und das ist schlicht mies. Da ist der Intel Onboard teilweise schneller.

Du kannst ja mal nen anderen PCI-E Slot versuchen. ~i166MB/s sollten schreiben theoretisch ja drin sein, laut PCI-E Bandbreite, beim Rocket Raid 2300.

Edit: achja, und versuch mal "Windows write-cache buffer flushing" abzuschalten und im RocketRaid auf Write Back zu stellen
Ich habe mich über die unterschiede Gründlich informiert damals und ich habe mit einem Software RAID unter Windows damals nur Ärger gehabt. Nach jedem Absturz war ein Rebuild fällig. Mag sein dass das unter Linux anders ist...
Das Ding fungiert als Fileserver/Homeserver... Mehr als 1 Gigabit Leistung muss er gar nicht bringen...
Das mit dem Cache Probier ich mal...

Ich hab jetzt im Windows (Systemeinstlg) der Quelle mal auf "Beste Leistung für Hintergrundjobs" gestellt - siehe da 100MByte/s+ durchgehend - Netzlast bei 85% - so stell ich mir das vor :)

Edit: war wohl nix... Transferrate ist nach ner Weile wieder auf 60 runter

[BigKid]

So - jetzt wird es Kurios!
Sobald ich im Datei-Explorer des Quellrechners herumklicke und auch nur ein paarmal das Verzeichnis wechsle steigt im Terracopy die Transferrate für mehrere Minuten wieder auf 100MByte/s bevor sie dann wieder abfällt???!!!!

[BigKid]

Ok... Nur um das ordentlich abzuschliessen...
Nachdem die Daten endlich drüben waren und ich den Umbau meines Homeservers auf die neuen Platten abgeschlossen habe, habe ich das System nochmal vermessen. Ausserdem habe ich den Tipp befolgt und den Raid-Controller mal in einen anderen Slot gepackt...

Resultat: Gute 248MByte/s sequentiell lesend und 247MByte/s schreibend...
Mehr geben die Platten auch nicht her laut diverser Tests... (da ich auf größere Platten umgestiegen bin ist es jetzt ja "nur" noch ein Raid5 mit 3 Platten)

Keine Ahnung was da beim Rüberkopieren übers Netz nun limitiert hat...
Ich müste mal die Daten des Boards studieren - evtl. haben sich da Netzwerkarte und Raid behindert - oder auf meinem Zielrechner hat was gebremst...

[Annator]

Ok... Nur um das ordentlich abzuschliessen...
Nachdem die Daten endlich drüben waren und ich den Umbau meines Homeservers auf die neuen Platten abgeschlossen habe, habe ich das System nochmal vermessen. Ausserdem habe ich den Tipp befolgt und den Raid-Controller mal in einen anderen Slot gepackt...

Resultat: Gute 248MByte/s sequentiell lesend und 247MByte/s schreibend...
Mehr geben die Platten auch nicht her laut diverser Tests... (da ich auf größere Platten umgestiegen bin ist es jetzt ja "nur" noch ein Raid5 mit 3 Platten)

Keine Ahnung was da beim Rüberkopieren übers Netz nun limitiert hat...
Ich müste mal die Daten des Boards studieren - evtl. haben sich da Netzwerkarte und Raid behindert - oder auf meinem Zielrechner hat was gebremst...

Könnte auch einfach was mit dem Slot sein, dass dieser Fehler produziert hat und der Controller alles mehrfach kopieren musste damit alles richtig ankommt.