PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : AllDup-Dateien nach Suche effizienter auswählen


Platos
2023-01-20, 01:50:57
Ich nutze gerade AllDup um die Festplatte eines bekannten nach Duplikaten zu durchsuchen. Es sind ca. 1,5TB und besteht aus ca. 200k Dateien (Hauptsächlich Video und Bilder)

Ich suche dann mittels Dateiinhalt und SHA-1. Damit findet es leider auch viele Bilder, die nur relativ ähnlich aussehen, es aber nicht sind.

Kennt sich jemand aus? Welche Suchmethode ist am besten? Ich nehme an, byte für byte, aber wie ist es mit den anderen? MD5, SHA-1,2 (256/384/512 Bit) ?

Aber zu meiner wichtigeren Frage: Ich habe Probleme, nach der Suche die jeweiligen Duplikate zu finden (alle zusammen). Ich kann schlecht 50 Tausend Duplikate manuell anwählen. Gibt es da keine Methode, wie ich diese schnell über irgendwelche Aktionen anwählen kann? Oder Sortieren?

Bisher habe ich die Pfade im Explorer manuell geöffnet. Dann die beiden Ordner in FreeFileSync verglichen und mir die doppelten Dateien dort nach z.B Dateiinhalt oder Dateigrösse anzeigen lassen und die Duplikate dann so gelöscht (weil dann kann man mit ctrl+A alle anwählen und delete drücken). Gleichzeitig kann man es im Explorer vergleichen (Der ganze Ordner). FreeFileSync ist gut, wenn ich nur 2 Ordner vergleiche, in denen nur Dateien sind (keine weitere Unterordner).

Mit AllDup lässt sich zwar besser duplikate finden, aber ich verstehe nicht, wie man die Duplikate dann effizient auswählen und löschen kann.

Das Problem ist: Ich habe ne externe Festplatte und muss über ca. 10 Stammverzeichnisse Duplikate finden. Ich kann nicht einfach 2 Ordner vergleichen. ich muss ja schliesslich alle 10 gleichzeitig vergleichen. Und wenn ich dann die komplette Platte verglichen habe, kriege ich 50k Duplikate. Jetzt zeigt mir AllDup aber einzelne Dateien an. Ich hätte aber gerne, dass es mir schnell und gut erichtlich alle Duplikate aus einem gemeinsamen Ordner irgendwie anzeigt, markiert oder ähnliches.

Wie Markiert bzw. Löscht man bei AllDup schnell die Duplikate (ich muss sie ja alle noch selbst verifizieren, da wie gesagt bei weitem nicht wirklich alles Duplikate sind).

Edit: Und ach ja: Ich kann nicht einfach sagen: "Lösche alle Duplikate". Weil ich muss auch noch schauen, in welchem der beiden Ordner ich dann die Duplikate lösche, das ist wichtig wegen der Ordnung. Und dazu kommt noch, dass es natürlich nicht nur jeweils ein Duplikat hat. Manchmal sinds auch 2 oder 3 :D

Ps. Am Anfang waren es 2 TB, 450GB habe ich schon an Duplikaten gelöscht. Das waren sozusagen "die einfachen". Also sowas, wo einfach riesige Ordner doppelt vorkamen (mit anderem Namen irgendwo verteckt). Das geht auch schnell zu verifizieren, da man in 2 Explorerfenster sehen kann, dass alles komplett identisch ist. Jetzt gehts langsam aber an die "schwierigeren".

Aber kurz gesagt: AllDup sucht gut, aber ich brauche bessere Funktionen, um die Duplikate dann zu markieren bzw. bessere Funktionen, um schnell und zuverlässig die Duplikate zu löschen. Weil diese Funktionen bei AllDup... da blick ich nicht durch. Mir scheinen die alle komplett unnützlich.

Hacki_P3D
2023-01-20, 13:04:43
Zu AllDup kann ich nicht viel beitragen, aber vielleicht spricht Dich Anti Twin mehr an?

https://www.aidex.de/software/antitwin/

Platos
2023-01-21, 15:32:08
Danke, habe ich mal ausprobiert, aber bisher nur mit 2 Ordnern (also eine sehr einfache Aufgabe).

Was mir gefällt ist, dass wenn man nach Bildern vergleicht, dass man mit Klick auf das Resultat gleich eine Bildvorschau kriegt und mit den Tastaturpfeilen schnell durch alle durchklicken kann. So muss man nicht immer den Explorer öffnen und die (markierte) Datei suchen.

Ich habe jetzt die Bilder Vergleichen Methode genommen, also nicht Byte für Byte, weil da werden nur 3 Bilder als Duplikate eingestuft. Das Problem bei dieser Bilder-Vergleich-Methode ist, dass es im Grunde etwa gleich lange geht, wie wenn ich es manuell im Explorer ansehe. Hilfreich wäre das also nur, wenn ich es über Nacht laufen lasse, aber dann müssen die Ordner so gross sein, so dass es sich Lohnt (also mehrere Stunden läuft).

Naja, mal schauen, wie es sich beim Analysieren von ganzen Festplatten schlägt. Muss ich noch schauen.

Gebrechlichkeit
2023-01-21, 15:57:47
http://www.puransoftware.com/Duplicate-File-Finder.html
https://www.nirsoft.net/articles/find_duplicate_files.html
https://dupeguru.voltaicideas.net/


Alternativen

Platos
2023-01-21, 16:56:17
Danke! Werde ich mir alle ansehen.

Dann sehe ich mal, was die besten sind.

Aufgrund dessen, das man bei manchen nicht gleichzeitig mehrere Instanzen öffnen kann, sind aber manchmal auch 2-3 verschiedene Programme gleichzeitig nützlich.

Rooter
2023-01-22, 18:19:01
Wenn die alle gleichzeitig auf einer HDD rummachen, bremst das aber enorm aus!

MfG
Rooter

Platos
2023-01-22, 19:23:07
Nene, das natürlich nicht. Ich lese/schreibe niemals gleichzeitig mehrere Male von der selben HDD. 2x gleichzeitig lesen/schreiben ist weniger wie doppelt so langsam.

Ich meinte mehr, weil ich momentan gerade 3 Festplatten von mir habe und 5 von nem Bekannten. Also zum Untersuchen.

Aber auch sonst: Ich untersuche eine Festplatte auf Duplikate und sehe dann bei AllDup z.B ein Ordner. Dann nehme ich den ganzen Ordner und untersuche ihn (oder vlt. auch einen Ordner darüber) mit einem anderen Tool. In dem Moment ist ja die Festplatte nichts mehr am tun.

Weil wie gesagt bei AllDup ist zwar die Suche gut, aber das Markieren der Dateien ein Mist und natürlich ist die Übersucht einfach besser, wenn ich dann einzelne, gefundene Ordner nochmals separat mit dem 2. Tool analysiere. Dann habe ich dort einen viel kleineren Blick.

Die ersten 3 HDDs sind nun fertig vom Bekannten. D.H es gibt vermutlich immer noch ein paar Duplikate, aber das macht nur noch wenig in der Dateigrösse aus (vermutlich 5GB). Gelöscht habe ich aber jetzt 470GB an Duplikaten von 2TB :D Da war fast ein viertel Duplikate drauf (mit Papierkorbdateien).

Rooter
2023-01-22, 22:26:54
Gelöscht habe ich aber jetzt 470GB an Duplikaten von 2TB :D Da war fast ein viertel Duplikate draufWie schaft man sowas denn? X-D

MfG
Rooter

Hacki_P3D
2023-01-23, 07:19:48
Ist relativ einfach: Ein Backup vom Backup vom Backup...etc... :D

Platos
2023-01-23, 12:48:05
Ja, oft so ganze Ordner einfach doppelt. Manchmal nur leicht abgeänderter Namen.

Und ja, viele kleine "Backups" wie "Laptop Sicherung", USB-Stick, Temporär etc. Da kommt dann oft immer wieder das Selbe vor :D

Teilweise aber auch einfach in einem Ordner selbst doppelte (oder dreifache und sogar vierfache) Dateien mit gleichem Namen und einer (1), (2) etc. dahinter. :D