GentooForum.de

Hi,
ich bin Neuling in diesem Forum, weil ich Erfahrungen von versierten Gentoo-Usern brauche.

Ich bereibe ein ceph-cluster mit 5 OSD-Nodes (60 OSDs), das in kürze auf 7 Nodes mit 84 OSDs erweitert wird.
Drei der Nodes laufen auf Intel-Motherboards und die verbleibenen vier mit AMD FX 8350 CPUs (Asus Sabertooth 990).

Als OS setze ich Debian ein (zwischenzeitlich Ubuntu), habe aber den Effekt, dass die Performance nicht durchgängig ist.
Mit der Intel-Plattform ist die Performance gut. Bei den AMD-Maschinen sind einzelne Test (iperf/diskspeed) sehr gut, nur das Zusammenspiel mit ceph dann doch wohl nicht...

Nach vielen, vielen Test (Bios-einstellungen, Firmware von SAS-Controllern, usw.) würde ich gerne ceph mittels Gentoo selbst kompilieren um zu sehen ob eine "perfekte" Unterstützung des Prozessors vielleicht eine Besserung bringt.

Gentoo selber habe ich vor vielen Jahren längere Zeit auf mein Laptop gehabt, aber es sind nur noch Frakmente an Wissen bei mir vorhanden...

Konkret: Mit was für USE-Flags und Compiler-Optionen sollte ich starten um den FX8350 optimal auszunutzen.
Beim Linux benötige ich nur Ceph Firefly, einen (fast) aktuellen Kernel (alles ab 3.16 sollte voll OK sein), Unterstützung für LSI-SAS Controller (mpt2sas) und Netzwerk für Onboard und 10GB-Ethernet (r8169 + ixgbe).

Mittels Suchmaschine habe ich nur Beispiele für sehr alte Prozessoren gefunden.

Vielen Dank für Tipps!

Udo

Hi Dirk,
danke für die Infos - werde ich probieren und berichten.

> Warum dein System Langsam erscheint kann aber noch andere Ursachen haben. Auf was für einer Hardware läuft der AMD den? Ein schneller Protz kann evtl. keine langsame Hardware verbessern.

Die Hardware drum rum ist eigentlich schon "vernünftig": Asus Sabertooth 990FX, 32GB ECC-RAM, LSI-SAS-HBA 9201-16i, Intel X520DA 2fach 10GBE Nic SFP+, Intel DC S3700 200GB SSD für's Journal.

Die gleiche Hardware (bzw. ähnlich wegen Raidcontroller) habe ich als Virtualisierungsserver (Proxmox-VE) am laufen, und bin mit der Performance ganz zufrieden.

Wie schon geschrieben, die einzelnen Test laufen zum Teil auch mit besseren Werten als auf der Intel-Platform. Allerdings ist im Ceph-Cluster die Performance nicht durchgängig, und es sieht so aus, als wenn es an den AMD-Maschinen liegt.
Zur Zeit habe ich ein Testcluster mit zwei AMD-Maschinen am laufen und dort schwanken halt die Übertragungsraten (wie auch beim Produktionscluster).

Deshalb ist der letzte Versuch die Gentoo-Variante. Sollte das kein Erfolg haben, werde ich schweren Herzens die AMD-Motherboards auswechseln müssen...


Bis denne

Udo

Hi,
der Test hat etwas gedauert...
Leider konnte ich mit gentoo keine Verbesserung gegenüber Debian bemerken. Eher im Gegenteil, was wahrscheinlich daran lag, dass ceph unter gentoo per default leveldb einsetzt, was wohl noch nicht der Performancebringer ist.

OK, ich habe mir nicht die Mühe gemacht, mit den richtigen Flags, Ceph dies abzugewöhnen. Dafür fehlte auch noch zu viel (der mpt2sas treiber wollte auch nicht so recht kompilieren).

Aber ein Versuch war es wert...

Udo