265000 Dateien kopieren, was ist schneller?

[RaumKraehe]

Ich muss 265000 Dateien von einem Rechner auf nen anderen verfrachten. Begonnen hatte ich heute das ganze über nen FTP-Account da ich irgend wie im Hinterkopf hatte das die Performance von FTP gegenüber SMB doch deutlich höher liegt.

Nur habe ich mich da irgend wie angeschmiert. Da der FTP-Client für jede einzelne Datei ja sozusagen die ganze pallette der Kommandos abarbeiten muss. Die Netzwerkauslastung lag gerade mal bei 600 kb/s. Das mag an der Dateigröße liegen. ca. 140 kbyte. Nach 3 Stunden hatte der Rechner gerade mal ca. 10K der Dateien kopiert. :| Da an dem Server kein Monitor hing und der VNC-Server von mir plötzlich nen Key wollte konnte ich keine Freigaben machen um es per SMB zu testen. Das passiert erst morgen.

Aber was meint ihr? Was ist schneller FTP oder SMB? Es sind ca. 265000 Dateien von der jede ca. 130-140 kbyte groß ist.

[Lokadamus]

mmm...

Wenn der FTP- Client mehrere Downloads parallel anstossen darf, der FTP- Client (ca. 10 - 15 parallel dürften doch einen gewissen Boost bringen, wobei ich nicht weiss, ob das machbar ist) ;) ... ansonsten dürfte SMB etwas schneller sein ...

[aCiD]

Schätze das wird sich wenig geben, ich würde ftp bevorzugen. Gibt sich daher wenig, weil die Festplatte eh dauernd neu suchen muss, weil es so viele kleine dateien sind. Schlauer wäre es vorher zu defragmentieren wenns schnell gehen soll*g*

Greetz
aCiD

[The Cell]

Der limitierende Faktor bei vielen kleinen Dateien ist nicht das Protokoll, vielmehr das Dateisystem.

MfG,
Q.

[RaumKraehe]

Fragmentiert ist. Die Festplatte auf der die Dateien sind hat ne extra formatiere Partition bekommen. Dort wurde eine Woche lang alle 5 Sek nen Bild abgelegt. Also das dürfte nicht das Problem sein. Und ich dachte heutige moderne Systeme haben da schon sowas wie intelligente vorhersage Algorithmen. Wenn ich die Dateinen von einer Platte auf eine andere innerhalb des gleichen Systems kopiere geht es ja auch viel schneller?!? Also an den Zugriffszeiten sollte es nicht liegen.

Ich habe es auch schon probiert 3 paralell laufenden FTP-Clienten probiert. Brachte aber nicht wirklich ne Besserung :(

Ach ja, Fesplatte aus dem Server einfach ausbauen geht leider zur Zeit nicht. Naja, ich werde es morgen mal per SMB testen und dann berichten.

[HisN]

Tar oder Zip das ganze Zeug halt fix (ohne Komprimierung) und dann rüber und wieder entpacken...

[RaumKraehe]

Wenn auf der Platte von der die Daten runter sollen noch so viel Platz wäre ist das bis her die beste Idee. :(

Aber theoretisch müsste doch auch eine Kompression ins "Ziellaufwerk" Performance bringen? Dann über SMB.

[Lokadamus]

Ich habe es auch schon probiert 3 paralell laufenden FTP-Clienten probiert.mmm...

Du sollst nicht mehrere Clients parallel laufen lassen, sondern einstellen, dass der eine FTP- Client mehrere Verbindungen (multiple Connections) aufbauen soll. Filezilla und eigentlich alle können das. Allerdings weiss ich nicht, wieviele dein Server erlaubt/ kann ...

[PatkIllA]

Es kommt auch ganz stark auf das jeweilige Programm an. Gerade bei kleinen vielen Dateien.
Da sind mir schon Programme untergekommen, die problemlos den ganzen Rechner ausbremsen und andere ein vielfaches Geschwindigkeit erreichen und der Rechner noch benutzbar bleibt.

[alpha-centauri]

Ich muss 265000 Dateien von einem Rechner auf nen anderen verfrachten. Begonnen hatte ich heute das ganze über nen FTP-Account da ich irgend wie im Hinterkopf hatte das die Performance von FTP gegenüber SMB doch deutlich höher liegt.


tut se auch. ich wuerd sagen: mach ne winrar draus und chicks gepackt rueber.

Nur habe ich mich da irgend wie angeschmiert. Da der FTP-Client für jede einzelne Datei ja sozusagen die ganze pallette der Kommandos abarbeiten muss.

jo, jedesmal. das ist wirklich nervig.

Aber was meint ihr? Was ist schneller FTP oder SMB? Es sind ca. 265000 ateien von der jede ca. 130-140 kbyte groß ist.
[/QUOTE]

da dann smb.

[RaumKraehe]

Und wo bleiben die Empfehlungen für einen schnellen FTP-Clienten der sowas besser händeln kann? :)

Ob der FTP-Server Multiple Connections kann weiß ich nicht. Muss ich morgen mal nachschauen. Ist Ceberus-FTP oder irgend wie so.

[Lokadamus]

mmm...

Wie gesagt, Filezilla kann sowas. Die anderen kenne ich alle nicht ...
http://img324.imageshack.us/img324/3646/filzezilla5hn.th.png (http://img324.imageshack.us/my.php?image=filzezilla5hn.png)
Hab eben mal testweise 10 eingestellt, hat gut viele kleine Dateien gewuppt. Ich denke, du kannst auch auf 15 - 20 hochgehen, wenn der Server lokal im Netz ist ...

[RaumKraehe]

Werde ich def. mal mit testen. Den Filezilla. :)

Eigentlich merkwürdig das ich das Programm noch nicht kannte. Wo doch mein Browser Mozilla heist. :D

[Lokadamus]

mmm...

Ts, schäm dich ;) ... kann eigentlich jeder FTP- Client, nur frag mich nicht, wo bei welchem die Option versteckt ist ...

[Kurgan]

je nach dem welche zugriffmöglichkeiten ich hab wär das der fall wo ich einen schraubendreher als hilfsmittel in betracht ziehen würde .. das dürfte schneller gehen als jedwedes netzwerkgeschiebe ...