[gelöst] Enpacken eines Archivs über ein eingehängtes Netzwerklauferk (Benchmark)

Meister

31.05.2015, 20:39

Enpacken eines Archivs über ein eingehängtes Netzwerklauferk (Benchmark)

Hallo Leute,

es stört mich schon seit Jahren, immer wennst was aufn. NFS Laufwerk entpackst, gehts super langsam. Ansonsten gehts eh gut, zumindest ist nix störendes, aufgefallen. Mach sogar Videoschnitt über NFS, da schaufelt mit über 100MB/s. Also kommt es wohl sehr stark darauf an was man macht. Jetzt ist mir auch klar warum LTSP von NFS auf SSHFS umgestellt hat.

Entpacktest

Testpacket gepackt tar.gz 19MB
Testpacket entpackt 78MB
Anzahl der Dateien: 3929

Zeit in Minuten/Sekunden/Hundertstel
00:01:00 Direkt am Server
00:18:00 SSHFS
01:04:00 CIFS
02:41:00 NFS

AFP habe ich hier nicht angeführt, hab nach 5 Minuten die Stopuhr angehalten, das Protokoll ist komplett für A....

Kann mir einer sagen warum das so mit den Zeiten ist?

lg
boospy

Gentoo Can Do!

Wiki auf: http://deepdoc.at

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »boospy« (20.12.2015, 16:58)

Zum Seitenanfang

bell

Erleuchteter

Beiträge: 3 128

2

01.06.2015, 11:38

Hallo boospy,

wenn Du auf ein Netz-Laufwerk entpackst werden die Daten auf dem Quell-Rechner entpackt und unkomprimiert übertragen. Dazu kommt noch dass jede Datei einzeln gehandhabt wird was noch zusätzlichen Overhead erzeugt. Sehr kleine Dateien werden auf die Block-Größe aufgefüllt usw. Eventuell hilft etwas Optimierung: http://nfs.sourceforge.net/nfs-howto/ar01s05.html. Bisher sind mir solche extremen Unterschiede jedoch nur über FTP aufgefallen.

SSHFS kommt am besten weg denn es komprimiert die Daten selbst nochmal, überträgt alles als ein "Stream" und entpackt wieder am Server.

Bei der Gelegenheit, teste mal folgendes:
Auf dem Server:

	Quellcode
1	netcat -l -p 9999 \| tar -zxf -

Auf dem Client:

	Quellcode
1	cat test.tar.gz \| netcat server-ip 9999

Auch wenn Open-Source kostenlos ist, ist sie nicht umsonst. Dein Preis ist Dein Engagement und Mitarbeit an OS-Projekten.
Wenn Du keinen Preis bezahlen willst, bist Du die Ware. Und das ist nicht Open Source, geschweigedenn frei.

Zum Seitenanfang

boospy

Meister

Beiträge: 1 518

3

03.06.2015, 21:38

Hi,

was machen denn die Befehle? Hab zuerst dem am Server gestartet, der hat dann gewartet. Hab dann den am Client mit meinen Tar.zg ausgführt. Und ne Sekunde später waren beide Prozesse beendet. Keine Ausgabe.

lg
boospy

Gentoo Can Do!

Wiki auf: http://deepdoc.at

Zum Seitenanfang

bell

Erleuchteter

Beiträge: 3 128

4

03.06.2015, 21:43

Eigentlich sollte dort eine Ausgabe kommen. Schaue Dich in dem Verzeichnis um wo Du den ersten Befehl gestartet hattest. Das Archiv sollte übertragen und entpackt sein.

Der erste Befehl wartet auf dem Server auf eine Verbindung auf dem Port 9999 und wenn was kommt werden die Daten an "tar" übergeben.
Der zweite Befehl sendet die Tar-Datei an den Server-Port 9999

Auch wenn Open-Source kostenlos ist, ist sie nicht umsonst. Dein Preis ist Dein Engagement und Mitarbeit an OS-Projekten.
Wenn Du keinen Preis bezahlen willst, bist Du die Ware. Und das ist nicht Open Source, geschweigedenn frei.

Zum Seitenanfang

boospy

Meister

Beiträge: 1 518

5

03.06.2015, 21:58

ja du hast recht, dort liegt jetzt der enpackte Ordner... ah sorry, aber Hilf mir: hab ich jetzt Archiv in einer Sekunde entpackt?

Gentoo Can Do!

Wiki auf: http://deepdoc.at

Zum Seitenanfang

bell

Erleuchteter

Beiträge: 3 128

6

03.06.2015, 22:06

Wahrscheinlich ja, da direkt am Server entpackt. Ok, plus die Übertragungszeit von 19M was auch nicht die Welt sein sollte.

Auch wenn Open-Source kostenlos ist, ist sie nicht umsonst. Dein Preis ist Dein Engagement und Mitarbeit an OS-Projekten.
Wenn Du keinen Preis bezahlen willst, bist Du die Ware. Und das ist nicht Open Source, geschweigedenn frei.

Zum Seitenanfang

boospy

Meister

Beiträge: 1 518

7

03.06.2015, 22:08

Hmm, interessanter Ansatz...

Gentoo Can Do!

Wiki auf: http://deepdoc.at

Zum Seitenanfang

boospy

Meister

Beiträge: 1 518

8

20.12.2015, 16:58

So, also die Praxis hat gezeigt das dieses Problem wohl nur für uns Administratoren von Bedeutung ist. Dem User ist das Wurst wie lange es dauert, kann er wenigstens einen Kaffee trinken gehen. Wer nun tatsächlich oft mit großen Archiven und vielen Dateien zu tun hat, wird wohl nicht drum herum kommen ein bis drei Befehle auf der CMD zu lernen. Wobei das dann eben Bestandteil des Arbeitsproszesses ist. Somit ist das Thema wohl abgeschlossen.

Event. baut ja mal wer in der Zukunft das TCPIP Protokoll um :thumbsup:

Gentoo Can Do!

Wiki auf: http://deepdoc.at

Zum Seitenanfang

GentooForum.de

Enpacken eines Archivs über ein eingehängtes Netzwerklauferk (Benchmark)

Quellcode

Quellcode

Ähnliche Themen

Häufig verwendete Suchbegriffe: