Viele Dateien in einem Rutsch hashen - wie?

[Snoopy69]

Kennt jmd ein Programm, dass viele Dateien auf einmal hashen kann?

[looking glass]

In einem Ordner oder wie meinen, versuch es doch mal mit:

http://www.md5summer.org/

Kann aber nur MD5 und SHA1.

[Gast]

http://www.md5summer.org/

[HeldImZelt]

Total Commander

[Gast]

Ah. 6 Sekunden zu langsam.

[Snoopy69]

Gleich so viele Antworten, danke :wink:

Bei TC geht nur *.sfv oder?

[Gast]

http://md5deep.sourceforge.net/ (kennt nicht nur MD5, auch SHA1, SHA256, Tiger, Whirlpool, usw.)
Verarbeitet Unterordner, kann berechnete Hashes mit Hashes aus einer Datei abgleichen, und, und, und...

[Snoopy69]

Schön, danke :)

Im Prinzip ist es ja egal ob MD5, SHA1, SFV etc. oder?

[Snoopy69]

Am angenehmsten ist wohl TC. Hab mit grad das Plugin für SHA1 und MD5 gezogen.

btw:

Wer arbeitet denn intensiv mit TC?
Weiss jmd warum das Löschen vieler, kleiner Dateien mit TC solange dauert?
Unter Windows Explorer geht das sehr fix.

[HeldImZelt]

SFV (http://de.wikipedia.org/wiki/Simple_File_Verification) ist nur ein Container.

Was willst du denn machen? I.d.R. bekommt man Prüfsummen.

[Gast]

Weiss jmd warum das Löschen vieler, kleiner Dateien mit TC solange dauert?

Hab ich auch schon festgestellt, als ich mal 12.000 files / 60mb gelöscht hab. Hat im explorer bei mir aber auch einige Zeit lang gedauert.
Gute Frage woran das liegt, muss wohl irgendwo im Programm sein.

[Gast]

unter konfiguration->kopieren/löschen kann man schnelles löschen einstellen ist mir gerade aufgefallen. habs aber nicht ausprobiert

[Snoopy69]

SFV (http://de.wikipedia.org/wiki/Simple_File_Verification) ist nur ein Container.

Was willst du denn machen? I.d.R. bekommt man Prüfsummen.
Soll zum Checken von MLC-SSDs dienen


@ Gast

Super :up:
Da hätte ich auch drauf kommen müssen.
Jetzt dauert das Löschen vieler tausend Dateien nur noch wenige Sekunden - statt Minuten :rolleyes:

Man sollte allerdings genau gucken was man löscht, denn nach "ok" geht das löschen völlig kommantarlos.

[Gast]

Im Prinzip ist es ja egal ob MD5, SHA1, SFV etc. oder?

Kommt halt drauf an wieviel Wert du auf Sicherheit legst.
MD5 und auch SHA1 sind inzwischen nicht mehr ganz so sicher wie man es ursprünglich dachte.

[looking glass]

Mhhh, md5deep und seine Hashableger wären interessant, wen es eine GUI dafür gäbe - ich tue mich immer schwerer mit der Kommandozeile, benutze es halt immer seltener.

[HeldImZelt]

Soll zum Checken von MLC-SSDs dienen

Und das geht wie genau?

[looking glass]

Voll schreiben und schauen ob eine Datei im Hash versagt, nehme ich mal an.

[Snoopy69]

SSD mit Daten voll machen (oder mit OS), damit arbeiten und irgendwann checken, ob Datenkorruptionen aufgetreten sind.

Die Hersteller geben zb nicht an was alles für Veränderungen an den Firmwares gemacht wurden.
Hin- und wieder wird die SSD einfach übertaktet (höhere Datenraten oder weniger Einbrüche). Dafür kann sie evtl. instabiler laufen (Datenkorruption oder Totalverlust aller Daten). Eben wie ein übertakteter PC.
Datenkorruptionen sind manchmal auch heimtückisch. Die Datei ist noch da (gleiche Grösse) erhält aber teilweise oder nur noch Nullen.

[HeldImZelt]

Was die Hersteller genau machen ist vollkommen irrelevant, solange die Integrität der Daten hinter der LBA Schicht gewahrt wird.

Dein Vorgehen ist sinnlos, weil bei einem Datendefekt die HDD sowieso einen Fehler an das OS senden und abbrechen würde, klassischer CRC Fehler. Eine manuelle Hashüberprüfung wäre also gar nicht mehr möglich.

[Snoopy69]

Ich hatte auf MLCs schon korrupte Daten gesehen BEVOR das OS sie erkannte. Von daher nicht sinnlos :wink:

[HeldImZelt]

Dann ist dein System instabil, die Firmware fehlerhaft oder die Reservesektoren sind aufgebraucht. Die Geräte haben viel komplexere Paritätsprüfungen als die Spielerei, die du veranstaltest. Der Controller weiß immer, ob die Daten in Ordnung sind oder nicht. Ansonsten läuft das System nicht fehlerfrei, aus welchen Gründen auch immer.

Eine simple Leseüberprüfung (z.B. Kopieren) reicht vollkommen aus, um die Integrität der Daten zu bestätigen.

[Snoopy69]

Mein System (nicht das in der Sig.) ist definitiv nicht unstabil.
Reservesektoren sind auch nicht aufgebraucht. Was auch sehr verwunderlich wäre bei einer nagelneuen SSD.
Ich betreibe auch keine Spielereien!!! Ich nehme SSDs nur gerne hart ran, um herauszufinden, welche für was geeignet sind etc.

Fakt ist, dass die Qualität der FW starken Einfluss auf die Stabilität der SSD ausübt.
Was man zb gerade bei Super Talent (siehe Thread HWluxx) sehen kann.

Siehe auch hier (Solidata)...

http://winkom.eu/18.html




Eine simple Leseüberprüfung (z.B. Kopieren) reicht vollkommen aus, um die Integrität der Daten zu bestätigen.
Tut es leider nicht. Korrupte Daten sind ohne Probleme lesbar, aber bei Synchronisation mit dem Orginal teilweise fehlerhaft.
Vergleich das bitte nicht mit def. Sektoren einer SSD. Die korrupten Daten entstanden bei einer Schreibaktion. Die Zellen der SSD sind 100% ok.

[HeldImZelt]

Ich nehme SSDs nur gerne hart ran, um herauszufinden, welche für was geeignet sind etc.
Was heißt denn "hart rannehmen"? Datenträger müssen unter allen Umständen zuverlässig sein. Datenverlust ist unter keinen Umständen passabel. HDDs, die "ab und zu" mal Daten verlieren darf es nicht geben. Dann sind sie defekt oder fehlerhaft. Sowas wird sofort umgetauscht.

Ich will den Fall von dir geschilderten Fall nicht ausschließen, aber welchen Sinn macht ein unzuverlässiger Datenträger mit garantiertem Datenverlust? Wenn das Gerät die Datenintegrität nicht sicherstellen kann (egal unter welchen Bedingungen), gehört es in die Produktpalette von Mattel.

[Snoopy69]

Du hast nicht viel Erfahrung mit SSDs, oder? (nicht böse gemeint :wink:)
Die Qalität aller SSDs ist nicht gleich. Mom. gilt noch "you get what you pay".
Ich stehe gerade im Kontakt mit einem Hersteller. Er bestätigte mir, dass die SSD (Marke will ich noch nicht nennen) für starke Belastung (etwa im Server) ungeeignet sind. (Controller zickt herum = Datenkorruption).

Mit hart rannehmen meine ich zb 64 Outstanding IOs (und höher)

[HeldImZelt]

Ist auch egal... Viel Glück trotzdem.