Dateien synchronisieren

[user0815]

Hallo,

Meine Situation ist die folgende:
3 Rechner auf denen ich sequentiell arbeite und alle Rechner sollen immer automatisch die aktuellsten Dateien haben. Insgesamt sind es knapp 500gb in 1.2 Millionen Dateien (sehr sehr viele Kleine dabei).

Bisher habe ich Syncthing und Resilio (ehemals Bittorent) Sync probiert. Syncthing hat eine abartige CPU Last sodass mein Quadcore stets zu 25% ausgelastet ist. Resilio hatte probleme so viele kleine Dateien schnell zu syncen.

Die Rechner befinden sich nicht im selben Netzwerk und muessen ueber das Internet synchronisiert werden.


Jemand eine Idee?

[Winnie]

Nextcloud-Server installieren, dort die Daten hinpacken und via WebDAV einbinden? Wenns besser integriert sein soll, dann via https://www.heise.de/download/product/netdrive-55134 einbinden.

Alternativ: Immer auf einem Rechner arbeiten, also ggf. via RDP/Teamviewer etc...

[Joe]

Teste mal Goodsync. Das ist ziemlich schnell und effizient bei großen Datenmengen.

Über Wan wäre mein Geld eher auf einem Clouddienst.

[lumines]

Syncthing hat eine abartige CPU Last sodass mein Quadcore stets zu 25% ausgelastet ist.

Auch dann, wenn alle Dateien vollständig gehasht sind? Einmal muss es alle hashen, aber danach sollten eigentlich nur Änderungen Last erzeugen. Die Hashes zu vergleichen sollte keine große Last erzeugen.

Nur einmal zum Vergleich die Performance mit meinem G4560:

[3QX3O] 13:55:24 INFO: Single thread SHA256 performance is 322 MB/s using minio/sha256-simd (195 MB/s using crypto/sha256).
[3QX3O] 13:55:24 INFO: Hashing performance with weak hash is 279.25 MB/s
[3QX3O] 13:55:25 INFO: Hashing performance without weak hash is 319.14 MB/s

Werden da zufällig viele kleine Dateien ständig geändert? Wenn ja, dann wird das eventuell mit keiner Sync-Lösung zufriedenstellend schnell sein. Irgendwo müssen da immer Hashes erstellt werden und wenn man nicht gerade auf moderne Hashfunktionen wie BLAKE2 oder so setzt, dann knabbert das eben an der Performance.

[user0815]

Werden da zufällig viele kleine Dateien ständig geändert?

Ich denke daran wird es liegen

[exxo]

Nimm rsync.

Das ist definitiv der Goldstandard wenn man per ssh über das Internet synchroniseren will. Große Datenmengen sind für rsync kein Problem

Linux bringt es von Haus aus mit.

Für Windows gibt es einen installer und ein GUI:

http://www.chip.de/downloads/rSync_33633578.html

[lumines]

Nimm rsync.

Das ist definitiv der Goldstandard wenn man per ssh über das Internet synchroniseren will. Große Datenmengen sind für rsync kein Problem


Ist aber natürlich nicht so automatisch wie die anderen Lösungen über mehrere Rechner hinweg. Im Fall des TEs ist das IMHO aber auch wünschenswert. Wenn man wirklich so viele kleine Dateien andauernd ändert, dann will man wahrscheinlich gar nicht eine ständige Überwachung der Dateien. Wahrscheinlich ist da den Sync manuell anzuwerfen echt das geringste Übel.

[exxo]

Wieso manuell? Wozu gibt es cron oder den Task Scheduler?

[lumines]

Weil rsync nicht mit Konflikten umgehen kann. Syncthing macht Konflikte sichtbar und dann kann man selbst entscheiden, was man machen will. Man kann rsync natürlich automatisieren, aber es wird dir gnadenlos Dinge überschreiben, wenn man nicht aufpasst. Syncthing dagegen bietet auch noch eine kleine Versionierung an.

Wenn man darauf achtet, dass alles sequentiell abläuft, dann hat man damit natürlich keine Probleme.