Datenintegrität prüfen -> ~21k files in ~1000 Ordnern.

[Stanger]

Hallo zusammen,
ich bin wie der Titel sagt auf der Suche nach einem Tool welches mir (möglichst) automatisch von meinen Daten (näheres unten) eine Prüfsumme erstellt und auch die gleichen Daten mit vorhandenen Backups auf Konsistenz prüft.

Um was geht es genau:
-Videomaterial SD und HD 1k
-ca. 21 000 Dateien
-ca. 1000 Ordner (2 Hauptordner der Rest kaskadiert)
-derzeit drei Backups auf unterschiedlichen Filesystemen (NTFS,ext4), eines davon im Hardware-RAID 5/SHR aufm Backup-NAS.

Nun bin ich auf der Suche nach einem brauchbaren Tool, wenns was kostet würde ich dafür natürlich auch was berappen (so um die 100 Euro max. wenn möglich, allerdings geht das Wohlsein der Daten vor also notfalls auch mehr).

Habe derzeit ein paar ausprobiert (alles Freeware) nur sind die (was ich bisher gefunden habe) etwas unkomfortabel.

Ein paar lassen nur einzelne Dateien/Ordner zu, andere machen zwar Hashwerte von allen (Sub-) ordnern was in Summe dann ca. 1000 Hashwerte ergibt. Diese aber manuell zu prüfen steht imho nicht zur Debatte.

Kennt da jemand etwas brauchbares ?

Besten Dank vorab.
mfg
Stanger

[R300]

Gefällt dir rsync nicht?
Damit kann man doch alles machen, was du dir wünschst.
Oder ich verstehe das Problem nicht. :biggrin:

[Immortal]

Der Total Commander kann sowas, eventuell reicht das?

[Laz-Y]

Das klingt auf den ersten Blick nicht so kompliziert, schonmal überlegt dafür ein eigenes Skript zu schreiben?

[Stanger]

Hallo zusammen,

Gefällt dir rsync nicht?
Das hab ich noch nicht getestet da das ja eigentlich für Linux ist. Zwar kann man z.B. hier (http://de.ccm.net/faq/1451-rsync-unter-windows) auch eine Lösung für Win finden jedoch hab ich mich noch nicht damit befasst.

Derzeit ist mein Linux-Rechner noch im Zulauf und ich würde gerne (noch) auf Windows (10) Vorbereitungen treffen bevor ich dann mit den wichtigen Daten darauf umziehe. Mein NAS läuft auf ext4 deswegen die Angabe im Startposting. Der Umzug wird erst der Fall sein wenn ich mich mit Linux wieder soweit eingearbeitet habe daß ich an dem Datensatz nix durch DAU-Verhalten zerstöre :freak:

Der Total Commander kann sowas, eventuell reicht das?
Ok, Danke den schau ich mir mal an.

Das klingt auf den ersten Blick nicht so kompliziert, schonmal überlegt dafür ein eigenes Skript zu schreiben?

Meine Powershell/batch-Skripting Kenntnisse sind bestenfalls rudimentär :rolleyes:

Habe mal mit robocopy/fciv-Batch-Script rumgespielt aber so richtig zufriedengestellt hat mich das Ergebnis nicht.

Danke Euch vielmals !
mfg
Stanger

[PatkIllA]

Ich benutze die HashCheck Shell Extension (http://code.kliu.org/hashcheck/) zum Überprüfen. Erstellen macht mein selbstgeschriebenes Backuptool kann das Tool aber auch.

[myMind]

Powershell Get-FileHash (https://technet.microsoft.com/en-us/library/dn520872.aspx)

Vielleicht passt ja Yintersync (http://yintersync.net/)für dich. Läuft unter Windows, ist rsync basiert und hat zur Konfiguration eine GUI. Das habe ich zeitweise mal verwendet und war ganz zufrieden.

Oder das Problem direkt an der Wurzel behandeln und eine Backupsoftware verwenden, die intern mit Hashes arbeitet. Die können dann auch meistens Datendeduplikation, was ohnehin wünschenswert ist. Wenn du ein NAS hast, schau doch mal was der Hersteller in der Richtung in petto hat. Gerade im Hinblick auf Locky und Co sollte man sich überlegen, ob rein copy-basierte Backups so eine gute Wahl sind.

[Stanger]

Hi zusammen,
sorry daß ich erst jetzt wieder schreibe. Ich werde das ganze morgen mal angucken bin heute platt :biggrin: -> Danke für die Vorschläge.

mfg
Stanger

[Rechner-Tester]

find <DATADIR> -type f -print0|sort -z|xargs -0 sha1sum > <DATEINAME>
Einmal für die Quelle, einmal fürs Ziel. Auf <DATEINAME> kann man dann diffen. Auf die Pfadangaben achten um den Diff nicht unnötig zu verkomplizieren. Am besten vorher mit nem kleinen Datenbestand testen.

Gruß
Rechner-Tester

[NemesisTN]

Jap, Total Commander ist auf Anhieb das einfachste.
Cursor auf den Hauptordner -> Dateien -> Erzeuge Quersummen -> gewünschte Funktion auswählen -> Ok.
Neue Datei mit Prüfsummen aller Dateien in Unterordnern bewundern. =)

[Stanger]

Hallo zusammen,
sorry daß ich erst jetzt wieder hier schreibe aber es gab einige Umstrukturierungen meiner Backups und anderes.

Ich habe jetzt den vorgeschlagenen Total Commander ausprobiert und habe zwei Verzeichnisse mit SH 512 Prüfsumme überprüft.

Jetzt habe ich die zwei Prüfsummen Dateien, wie kann ich diese miteinander vergleichen ?

mfg
Stanger

[PatkIllA]

Eigentlich ist die Idee die Prüfsummendatei zu kopieren und dann auf dem anderen Laufwerk die Daten zu überprüfen.
Wenn die Reihenfolge in den Prüfsummendateien gleich ist kann man die fc file1 file2 an der Kommandozeile überprüfen.