Sie sind nicht angemeldet.

Viele kleine Dateien, welches Dateisystem?

Lieber Besucher, herzlich willkommen bei: GentooForum.de. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

Piloboy

Anfänger

  • »Piloboy« ist der Autor dieses Themas

Beiträge: 36

  • Nachricht senden

1

18.01.2007, 15:59

Viele kleine Dateien, welches Dateisystem?

Bisher habe ich meine Festplatten immer als ext3 formatiert, da es ja heisst das es rock solid ist.
Nun habe ich mir gedacht ich lasse eine meiner HDDs speziell für kleine Dateien formatieren.
Es wäre eine 160GB grosse Platte, gespeichert werden Bilder, Webseitenspiegelungen und Dokumente, entsprechend sind auch grosse und tiefe Verzeichnisstrukturen vorhanden.
Die meisten Dateien dürfte jeweils unter 500kb liegen, wenn nicht noch weniger.
Was für ein Dateisystem könnt ihr dafür empfehlen und hat man dann noch was zu beachten, z.B. Blockgrösse?

Edit:
Habe grade mal bei einem Ordner die Durschnittsgrösse ausgerechnet, die liegt knapp unter 100kb.

Kann sein das dies auch im falschen Forum ist, dachte nur Fileserver, hm solche Admins müssten es wissen ;)

Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von »Piloboy« (18.01.2007, 16:06)

loskornosdelsol

Profi

Beiträge: 777

  • Nachricht senden

2

18.01.2007, 16:05

Och, im Netz findet man doch eine Menge Informationen und Vergleiche von den gängigen Dateisystemen - hier im Forum schon mal gesucht?

ReiserFS ist ganz nett.
Frequent lock ups are a symptom of not enough memory but only in the way that nosebleeds are a symptom of gunshot wounds to the head.

Piloboy

Anfänger

  • »Piloboy« ist der Autor dieses Themas

Beiträge: 36

  • Nachricht senden

3

18.01.2007, 19:55

Habe die Platte mal mit XFS angelegt und irgendwie grausst es mir. Kopierte gerade 7GB mit über 70.000 Dateien drauf und es dauerte mal locker über eine Stunde. Das selbe hatte ich vorher mit ext3 gemacht, da ging das in ein paar Minuten. Irgendwo kann das doch nicht sein, habt ihr nen Tipp woran das liegt?

edit:
Andersrum geht es sau flott, also Dateien von XFS zu lesen, nur beim Schreiben kriecht er.

Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von »Piloboy« (18.01.2007, 20:04)

ello

Schüler

  • »ello« ist männlich

Beiträge: 173

  • Nachricht senden

4

18.01.2007, 20:04

Zitat

Original von Piloboy
Habe die Platte mal mit XFS angelegt und irgendwie grausst es mir. Kopierte gerade 7GB mit über 70.000 Dateien drauf und es dauerte mal locker über eine Stunde. Das selbe hatte ich vorher mit ext3 gemacht, da ging das in ein paar Minuten. Irgendwo kann das doch nicht sein, habt ihr nen Tipp woran das liegt?


An der Blockgröße, wenn ich jetzt nicht voll daneben liegen sollte. ReiserFS, XFS, ext3 usw. lassen beim Formatieren auch die Einstellung der Blockgröße zu. Geringe größe für kleine Dateien und größere für große Dateien. Da bin ich mir jetzt allerdings nicht sicher, ob das wirklich die Performance steigert oder nur die Speicherplatznutzung optimiert.

MfG ello

Piloboy

Anfänger

  • »Piloboy« ist der Autor dieses Themas

Beiträge: 36

  • Nachricht senden

5

18.01.2007, 20:16

An der Blockgrösse habe ich nix geändert und laut xfs_info ist diese bei 4096 Bytes, also eigentlich Standard

Carminox

Vorsicht, bissig!

  • »Carminox« ist männlich

Beiträge: 1 057

  • Nachricht senden

6

18.01.2007, 21:47

Irgendwo hab ich einen Test zwischen den verschiedenen Dateisystemen im Netz gefunden, wobei Nichtfragmentiertes I/O und fragmentiertes I/O und so ein Kas getestet wurde. Dabei war ReiserFS immer der schlechteste in Sachen Geschwindigkeit.

Ich hab JFS ausgesucht und muss sagen, dass es mit kleinen Dateien außerordentlich gut umgehen kann...

Je nachdem, was für eine Hardware zur Verfügung steht, können allerdings die Werte zwischen den Dateisystemen stark variieren.

loskornosdelsol

Profi

Beiträge: 777

  • Nachricht senden

8

19.01.2007, 05:42

Zitat

Dabei war ReiserFS immer der schlechteste in Sachen Geschwindigkeit.


Das war aber sicherlich noch Version 3? Die 4er soll ja deutlich besser sein.
Frequent lock ups are a symptom of not enough memory but only in the way that nosebleeds are a symptom of gunshot wounds to the head.

Piloboy

Anfänger

  • »Piloboy« ist der Autor dieses Themas

Beiträge: 36

  • Nachricht senden

9

19.01.2007, 07:43

Solche Test habe ich auch gelesen, Reise4 soll da wirklich sehr schnell sein, aber braucht auch mehr CPU Zeit genauso wie ReiserFS.
Aber zurück zum XFS, habe gestern noch mehr kopiert und es hat sich nichts geändern. Schreibzugriffe dümpeln mit 3 MB/s vor sich hin, beim Lesen gehts mit voll Speed bei 50 MB/s.
Das kann doch so nicht sein, da muss irgendwo bei mir nen Fehler sein.


Quellcode

 
1
2
3
4
5
6
7
8
9

ivan piloboy # xfs_info /media/hda
meta-data=/dev/hda3              isize=256    agcount=16, agsize=2466981 blks
         =                       sectsz=512   attr=0
data     =                       bsize=4096   blocks=39471696, imaxpct=25
         =                       sunit=0      swidth=0 blks, unwritten=1
naming   =version 2              bsize=4096  
log      =internal               bsize=4096   blocks=19273, version=1
         =                       sectsz=512   sunit=0 blks
realtime =none                   extsz=65536  blocks=0, rtextents=0


Mounten tu ich die so

Quellcode

 
1

/dev/hda3        /media/hda    xfs       defaults                0 0


Quellcode

 
1
2
3
4
5

ivan piloboy # hdparm -Tt /dev/hda

/dev/hda:
 Timing cached reads:   2140 MB in  2.00 seconds = 1070.01 MB/sec
 Timing buffered disk reads:  162 MB in  3.01 seconds =  53.88 MB/sec

Carminox

Vorsicht, bissig!

  • »Carminox« ist männlich

Beiträge: 1 057

  • Nachricht senden

10

19.01.2007, 19:35

Eigentlich zeigen die Säulentabellen doch deutlich genug, dass es eine Eigenschaft von XFS ist, sehr langsam beim Schreiben zu sein...

Da ist glaub ich kein Fehler drin. XFS ist von allen, abgesehen von Ext3, der Langsamste beim Schreiben... :D


Was ist eigentlich mit Ext4? Wie sieht eigentlich dessen Leistung im Vergleich zu Ext3 aus?

Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von »Carminox« (19.01.2007, 19:47)

ello

Schüler

  • »ello« ist männlich

Beiträge: 173

  • Nachricht senden

11

19.01.2007, 19:42

Ext3 schlimmer als NTFS? Wer sagt das? Wo gibt's einen offiziellen Vergleich? Meine persönlichen Erfahrungen sehen da ganz anders aus!

MfG ello

Carminox

Vorsicht, bissig!

  • »Carminox« ist männlich

Beiträge: 1 057

  • Nachricht senden

12

19.01.2007, 19:42

...

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Carminox« (19.01.2007, 19:47)

ello

Schüler

  • »ello« ist männlich

Beiträge: 173

  • Nachricht senden

13

19.01.2007, 19:44

Geschwindigkeit? Schon klar! Aber wie schon geschrieben sehen meine Erfahrungen da anders aus. Und einen offiziellen Vergleich, der mir etwas anderes berichtet ist mir auch noch nicht unter gekommen.

Carminox

Vorsicht, bissig!

  • »Carminox« ist männlich

Beiträge: 1 057

  • Nachricht senden

14

19.01.2007, 19:58

Ich hab almählich diese Diskussionen satt, also bring ich's 'mal auf den Punkt:

Verglichen mit allen anderen Linux-Dateisystem wie ReiserFS 3, XFS und JFS ist Ext3 der schlechteste von allen in Sachen Geschwindigkeit. Zudem habe ich die Erfahrung machen müssen, dass ein defektes Ext3-Dateisystem sehr selten reparabel ist und die Daten meist garnicht wiederhergestellt werden können. Liegt wahrscheinlich auch daran, dass beim Löschvorgang unter Ext3 die Blockpointer mit Nullen überschrieben werden...

Piloboy

Anfänger

  • »Piloboy« ist der Autor dieses Themas

Beiträge: 36

  • Nachricht senden

15

20.01.2007, 05:05

Zitat

Original von Carminox
Eigentlich zeigen die Säulentabellen doch deutlich genug, dass es eine Eigenschaft von XFS ist, sehr langsam beim Schreiben zu sein...

Da ist glaub ich kein Fehler drin. XFS ist von allen, abgesehen von Ext3, der Langsamste beim Schreiben... :D


Was ist eigentlich mit Ext4? Wie sieht eigentlich dessen Leistung im Vergleich zu Ext3 aus?


Also ich weis nicht was für ein Test du dir anschaust aber in dem wo ich reinschaue gehört XFS definitiv nicht zu dem langsamsten und ich spreche hier von 3 MB/s, das ist nicht langsam sondern in der heutigen HDD Zeit volle Handbremse.

Zu ext4 habe ich komischerweise überhaupt nichts gefunden, gibts da schon Vorstellungen?

Carminox

Vorsicht, bissig!

  • »Carminox« ist männlich

Beiträge: 1 057

  • Nachricht senden

16

20.01.2007, 20:32

Ich meinte den hier: http://www.linux-magazin.de/Artikel/ausg…fs_benches.html

Ich hab in letzter Zeit so viel Stress, da verwechsle immer alles. :rolleyes:
Ich werd mir in Kuzunft Mühe geben, alles dreifach zu überprüfen bevor ich etwas behaupte. :D

Ursprünglich wollte ich bei meinen Linux-Servern XFS benutzen, hab aber doch JFS genommen, da XFS bereits bei der Formatierung immens viele Konfigurationsmöglichkeiten hat, während man bei JFS gerade 'mal die Blockgröße und den Partitionsnamen vergeben kann...

Schau doch 'mal als erstes in die Manpages der xfsprogs. ;)

Ext4 hab ich noch nicht probiert, aber im Kernel ist dieser ja bereits verfügbar. Warum die Kernelfuzzies ReiserFS 4 noch nicht integriert haben, ist mir ein Rätsel...

Piloboy

Anfänger

  • »Piloboy« ist der Autor dieses Themas

Beiträge: 36

  • Nachricht senden

17

20.01.2007, 20:35

Ja werde mich mal intesiv durch die manpages durchboxen. Dann schauen wir mal weiter

maggu2810

OSI Layer 8

  • »maggu2810« ist männlich

Beiträge: 5 552

  • Nachricht senden

18

21.01.2007, 11:01

"Erst nachdem wir alles verloren haben, haben wir die Freiheit, alles zu tun."
"It's only after we've lost everything, that we're free to do anything!"

Jabber: Die ID kann via PN erfragt werden.

Häufig verwendete Suchbegriffe:

www.my-echo.de mobile-parts-discount.net Andere Architekturen Lob & Kritik Gentoo Linux bka trojaner finden Emerge Probleme softwaregarage.de Drucker Linux Computer und Notebooks