LAN zu langsam

[Wurschtler]

Ich hab ein Geschwindigkeitsproblem mit meinem LAN. (100 MBit)

Wenn ich größere Dateien rüberkopiere, dann hab ich auch meine ~10 MB/s.
Aber wenn ich dann mal einen Ordner mit vielen kleinen Dateien rüberkopiere, dann dauert das aufeinmal wesentlich länger.
Was ebenfalls stinklangsam ist, ist wenn ich mehrere Kopieraufträge gleichzeitig mache.
Dann sind alle zusammen stinklangsam, langsamer als wenn ich alles einzeln hintereinander rüberkopiere.

An was kann das liegen?
An einer minderwertigen NIC oder am Switch?

Wird das mit Gigabit-Lan dann schneller oder kackt das da genauso ab?

[MrPike]

Was heißt denn "wesentlich länger"?
Es dauert auch zwischen 2 Festplatten erheblich länger, 10000 Dateien mit je 1 KB zu kopieren als 1 Datei mit 10000 KB. Bei vielen kleinen Dateien fällt einfach der Overhead merklich ins Gewicht - völlig normal.

[Muh-sagt-die-Kuh]

Der Overhead ist nur ein Problem.....dazu kommen dann noch Dateisystemoperationen.....die fressen auch eine Menge Zeit.

[Wurschtler]

An den HDD's liegts sicher nicht.
Wenn ich beide HDD's lokal dran habe und dann den Kopiervorgang mache, ist das ganze ja 100 mal schneller.

Es kann nur igendwo am LAN liegen, nur woran genau?

[MrPike]

Genau - es liegt auch am LAN-Overhead. Das ist halt so. Da wird Dir auch Gigabit-LAN nicht viel weiterhelfen, wenn es um sehr viele kleine Dateien geht.
Ohne Schreibcache wäre das ganze auch mit deinen 2 lokalen Festplatten um Größenordungen langsamer.

[Wurschtler]

Kann man das irgendwie (mit einer guten LAN-Karte oder einem guten Switch) kompensieren?

[drdope]

du könntest auf beiden Seiten mehr Cache zu verfügung stellen (viel RAM)
und evtl mit anderen tranferprotokollen rumexperimentieren (nfs, ftp, haben imho nen geringeren overhead als smb)
das könnte ein WENIG mehr performance bringen...
ob's den Aufwand lohnt.. naja.... eher nicht....
evtl. je nachdem um was für dateien es sich handelt, könntest du die datein auch in nen
zip, rar, tar etc... container lagern --> 1 große datei.... ist aber auch nicht immer praktikabel....

[Ajax]

du könntest auf beiden Seiten mehr Cache zu verfügung stellen (viel RAM)
und evtl mit anderen tranferprotokollen rumexperimentieren (nfs, ftp, haben imho nen geringeren overhead als smb)
das könnte ein WENIG mehr performance bringen...
ob's den Aufwand lohnt.. naja.... eher nicht....
evtl. je nachdem um was für dateien es sich handelt, könntest du die datein auch in nen
zip, rar, tar etc... container lagern --> 1 große datei.... ist aber auch nicht immer praktikabel....


ftp hat ein wenig mehr Performance als smb ?? LOL

Für einen Leecher geht FTP immer noch am Besten. Vorausgesetzt der Server gibt es her ...

So long Ajax

[drdope]

ftp hat ein wenig mehr Performance als smb ?? LOL
Für einen Leecher geht FTP immer noch am Besten. Vorausgesetzt der Server gibt es her ...


das ftp vom max. durchsatz wesentlich besser als smb und nfs ist habe ich nicht abgestritten. Hier gehts aber imho um nen lokalen fileser via 100Mbit und viele kleine Dateien, da bringt FTP nicht so große Vorteile, eher den Nachteil, das man es nicht bequem in das lokale Filesystem "mounten" kann...

[JFZ]

Daß das kopieren von vielen Datein recht lange dauert ist normal. Und wenn du mehrere Kopieraufträge gleichzeitig machst, behindern die sich gegenseitig und brauchen dadurch länger, als wenn du alles nacheinander kopierst.

Wird das mit Gigabit-Lan dann schneller oder kackt das da genauso ab?

Das würde mich auch interessieren. Gibt doch AFAIK ein paar hier, die GBit daheim haben.

Wird nur beim kopieren von großen dateien schneller, während kleine Dateien genauso lahm wie im 100MBit-Netzwerk kopiert werden, oder werden auch diese schneller (ist klar, daß viele kleine dateien auf jeden Fall langsamer kopiert werden als eine große)

[Gast]

nen wirklich großen Vorteil bring GbitLan zumindest bei mir nicht...
der durchsatz via NFS ist bei großen Dateien durch die Raptor begrenzt
bei vielen kleinen durch Protokoll....
(Raptor --> CSA/onboard --> Switch --> Switch --> CSA(onboard) --> Raid5/8HDD)

nen deutlichen performanceschub brachte der wechsel win/smb auf linux/nfs

btw ich erinnere mich daran das M$ bei XP/SP2 das TCP/IP Stack künstlich verlangsamt hat, da gab imho auch probs mit p2p software... evtl. ist da noch Verbesserungspotential....

[drdope]

sorry, der gast war ich....

[mathias 7879]

Wenn man viele Dateien die klein sind dnn dauert das alt länger als bei einer großen.Da kann man nichts machen

[PHuV]

Mach doch einfach mal ein Experiment, kopiere erst mal die vielen kleinen Dateien von einer Platte auf die anderen (intern), wenn Du die Möglichkeit hast. Führe das gleiche mit einer großen Datei durch. Dann wirst Du schnell sehen, daß viele kleine Dateien allgemein die Datenübertragungsrate (DÜR)bremsen.

Den beschriebenen Effekt von Dir beobachte ich auch in meinem LAN, bei großen Dateien ist die DÜR ca 30-35 MB/sek, bei vielen kleinen Dateien wie Bilder geht die DÜR runter auf ca. 7-10 MB/sek. Die Bremse ist hier eindeutig die Festplatte, die durch Seek/Pos/Load die Performance verbrät.

[JFZ]

Mach doch einfach mal ein Experiment, kopiere erst mal die vielen kleinen Dateien von einer Platte auf die anderen (intern), wenn Du die Möglichkeit hast. Führe das gleiche mit einer großen Datei durch. Dann wirst Du schnell sehen, daß viele kleine Dateien allgemein die Datenübertragungsrate (DÜR)bremsen.

Den beschriebenen Effekt von Dir beobachte ich auch in meinem LAN, bei großen Dateien ist die DÜR ca 30-35 MB/sek, bei vielen kleinen Dateien wie Bilder geht die DÜR runter auf ca. 7-10 MB/sek. Die Bremse ist hier eindeutig die Festplatte, die durch Seek/Pos/Load die Performance verbrät.


Haste GBit?

Würde dann ja schon einiges bringen...
100MBit bringt ja so 7-10 MB/sek bei großen dateien und 1-2MB/sek bei kleinen...

[Wurschtler]

Mach doch einfach mal ein Experiment, kopiere erst mal die vielen kleinen Dateien von einer Platte auf die anderen (intern), wenn Du die Möglichkeit hast. Führe das gleiche mit einer großen Datei durch. Dann wirst Du schnell sehen, daß viele kleine Dateien allgemein die Datenübertragungsrate (DÜR)bremsen.

Den beschriebenen Effekt von Dir beobachte ich auch in meinem LAN, bei großen Dateien ist die DÜR ca 30-35 MB/sek, bei vielen kleinen Dateien wie Bilder geht die DÜR runter auf ca. 7-10 MB/sek. Die Bremse ist hier eindeutig die Festplatte, die durch Seek/Pos/Load die Performance verbrät.



Ich glaub nicht, dass meine Raptor ein 100 MBit Lan ausbremst, auch nicht bei kleinen Dateien.

[drdope]

was für ne hdd befindest sich auf der gegenstelle?
ist der rechner der die daten empfängt noch mit anderen plattenintensiven dingen beschäftigt?

[Wurschtler]

Waren beide im Leerlauf.
Aber ich werds heute nachmittag nochmal genau testen.

[Markus]

Hi.
Da gab es doch Meldungen über Einrüche in der LAN-Performance verursacht durch einen der Microsoft-Patches (KB893066) von letzter Woche. Vielleicht liegt es bei Dir ja daran.
Weitere Informationen zu den Problemen mit diesem Patch findest Du unter: http://support.microsoft.com/kb/890345/

Markus