Ist Kopieren auf mehreren Laufwerken gleichzeitig mit max. Leserate möglich?

[Snoopy69]

Ist es irgendwie möglich Daten von einer Quelle auf mehrere Laufwerke gleichzeitig zu kopieren? Also Laufwerk #1 als Quelle und Laufwerke #2-#10 als Ziel

Also sowas ähnliches, wie RAID1, aber halt kein RAID

[Gast]

Das sollte mit einem modernen Betriebssystem automatisch passieren.
Ungenützter RAM wird schon lange als Cache für Festpspeicherzugriffe verwendet, wenn du von der selben Quelle gleichzeitig eine Kopie auf mehrere Ziele startest ist die Wahrscheinlichkeit sehr hoch, dass die Daten für die 2. Kopie noch im Cache liegen und damit aus dem RAM und nicht von der HDD/SSD gelesen werden.

[BAGZZlash]

Mit Bordmitteln (von Windows(?)) glaube ich nicht. Programmieren könnte man das sehr einfach, aber es wäre dann natürlich insgesamt so schnell wie das langsamste Laufwerk im Verbund.

[Snoopy69]

Wenn die Quelle eine SSD wäre und die Ziellaufwerke HDDs, wäre das egal
Problem ist, dass ich keine Hardware kenne, die den gerade gelesenen Datenstrom ohne Limit an 2, 4 und mehr Laufwerke weitergeben kann. Sollte zudem für ext. Laufwerke sein (USB3.x)

Sowas wie RAID1 geht schon in die Richtung. Man wäre aber auf 2 Laufwerke limitiert

edit:
Hab was gefunden - aber der Preis!!! ;(
https://www.startech.com/de-de/hdd/usbdupe115

https://www.startech.com/de-de/hdd/kopierstationen


Oder ist es mit Boardmitteln und entsprechender Software doch irgendwie möglich, den Quelldatenstrom zu vervielfältigen?

[Gast]

Wenn die Quelle eine SSD wäre und die Ziellaufwerke HDDs, wäre das egal
Problem ist, dass ich keine Hardware kenne, die den gerade gelesenen Datenstrom ohne Limit an 2, 4 und mehr Laufwerke weitergeben kann. Sollte zudem für ext. Laufwerke sein (USB3.x)

Sowas wie RAID1 geht schon in die Richtung. Man wäre aber auf 2 Laufwerke limitiert

edit:
Hab was gefunden - aber der Preis!!! ;(
https://www.startech.com/de-de/hdd/usbdupe115

https://www.startech.com/de-de/hdd/kopierstationen


Oder ist es mit Boardmitteln und entsprechender Software doch irgendwie möglich, den Quelldatenstrom zu vervielfältigen?

Du könntest unter Windows das WSL nutzen und dort via CP mit der Option parallel, die Daten auf multiple Ziele kopieren. Zumindest für zwei Ziele ist das so schnell wie das längste Ziel, wenn ich mich recht erinnere.

Einfach mal testen.

[Madgen]

Soll die komplette SSD oder eine einzelne Datei kopiert werden? Mt Linux bzw. Unix Standardbefehlen sollte das theoretisch leicht umsetzbar sein. Da gibt es den Befehl tee, um die Eingabe zu kopieren.

Ob es in der Praxis gut klappt (Fehlerbehandlung, Buffer nicht optimal, etc.) müsste man testen.

Ein Laufwerk 1:1 zu kopieren sollte ungefähr so funktionieren:

dd if=Quelle | tee Ziel1 Ziel2

oder:

dd if=Quelle | tee Ziel1 | tee Ziel2

[Snoopy69]

Vorrangig komplette Laufwerke. Dateien/Ordner aber auch...
Unter Windows gibt es nichts?

[Dr.Doom]

OT:
Einmal von A nach B kopieren und dann von A nach C und B nach D usw. kopieren ist nicht möglich?

[Snoopy69]

Klar ist das möglich. Aber...
Eine einfache Kopie von 8TB dauert 15h. Mit Verifizierung (mache immer) 30h
Bei vielen Laufwerken mehrere Tage

Eine Kopierstation wäre zwar nett, aber sehr teuer
Wenn es mit Boardmittel auch geht, wäre perfekt

[Gast]

https://www.arnebrachhold.de/projects/tools/multirobo-robocopy-gui/

oder Clonezilla Server Edition sollte das können.

[lurks74]

Bei AliExpress gibts auch HDD Copy Stations, und dort kosten die nicht 1000€.

Oder wie schon erwähnt mit dd auf der Kommandozeile, habe ich aber noch nie gemacht müsste eigentlich klappen, musst du mal selber Testen.

[Gast]

Vorrangig komplette Laufwerke. Dateien/Ordner aber auch...
Unter Windows gibt es nichts?
Wie schon geschrieben wurde mit dem WSL.

Dort findest du zb c: unter /mnt/c/

Mit parallel könnte das dann so aussehen

parallel cp -v /mnt/c ::: /directory1/, /directory2/

[PHuV]

Es gibt auch günstiges wie sowas:
https://www.amazon.de/LC-Power-LC-DOCK-U3-4B-docking-station/dp/B07J6RNS4Q

Darf man fragen, warum Du auf so viele Ziele das gleiche kopieren willst?

[Snoopy69]

Backups

[myMind]

Hier eine Windows-Variante:
workflow copyfiles {
param($files)
foreach -parallel -throttlelimit 3 ($file in $files) {
Copy-Item -Path $file -Destination 'C:\destination\' -Force -verbose
}
}
$files = Get-ChildItem -Path C:\source -Recurse -File
copyfiles $files.FullName
Quelle: https://stackoverflow.com/questions/52137980/copying-multiple-files-in-parallel-through-power-shell-without-using-any-third-p

Ich würde aber nochmal das stressen, was der Gast im 2. Posting gesagt hat. Das funktioniert dann gut, wenn der Betriebssystem-Cache gut wirken kann. Die Parallelisierung passiert auf Prozess/Thread-Ebene. Das klappt dann gut, wenn das 1. angestossene Copy von der Platte liest und das 2. und 3. aus dem Cache.

Anders wäre es z.B. wenn der cp- oder copy-item Befehl selbst dafür sorgen könnte die internen Lesepuffer in mehrere Richtungen zu schreiben.

Dann noch der Hinweis, dass 8 TB in 15 h in etwa 1,1 Gbit/s sind. Solltest Du das ganze über das Netzwerk machen wollen, benötigst du mehr Netzwerkbandbreite als klassisches 1 Gbit/s.

Plattenperformance ist umgerechnet bei 148 MByte/s, was jetzt OK, aber auch nicht gerade berauschend ist.

Was spricht dagegen nur das zu kopieren, was sich geändert hat? Z.B. mit robocopy?

[Lokadamus]

Ist es irgendwie möglich Daten von einer Quelle auf mehrere Laufwerke gleichzeitig zu kopieren? Also Laufwerk #1 als Quelle und Laufwerke #2-#10 als Ziel

Also sowas ähnliches, wie RAID1, aber halt kein RAIDMir fällt dazu nur der alte Start Befehl ein, welcher dank Batch einfach die ganzen Backups/ copy/ robocopys schnell nacheinander aufrufen würde.
Wenn Windows die Daten gut cacht, sollte es ein Geschwindigkeitsvorteil bringen.

Müsste so gehen und sollte 3 Fenster parallel öffnen.
start "Titeldingsbums1" "copy c:\Weißnich\* D:\Zielort1"
start "Titeldingsbums2" "copy c:\Weißnich\* D:\Zielort2"
start "Titeldingsbums3" "copy c:\Weißnich\* D:\Zielort3"

https://learn.microsoft.com/de-de/windows-server/administration/windows-commands/start

[bloodflash]

Bin gerade wegen was anderem hierauf gestossen:
https://git-annex.branchable.com/
Scheint es für jedes OS zu geben und laut Doku ist das auch parallelisierbar, inkl. Parametern für CPU-Cores usw. usf. und scheint auch gut mit grossen Datenbeständen und unterschiedlich schnellen Anbindungen zu funktionieren.

Dazu mögliche Vorteile für Versionierung, Checksum usw.

Ich glaube, das wäre eine sehr gute Grundlage für ein Backupsystem, aber out-of-the-box ein Kopiermonster.