CEPH Yönetimi

Cluster Sağlığı

Cluster Sağlığı Görüntüleme

Cluster sağlığını izlemek için temel komut:

root@ceph1:/home/ceph# ceph health
HEALTH_WARN 168 pgs stuck inactive; 168 pgs stuck unclean; 1 requests are blocked > 32 sec

Bu örnekte cluster pek sağlıklı olmadığı belli, biraz daha detaylı bir bilgi almak için:

root@ceph1:/home/ceph# ceph health detail | more
HEALTH_WARN 168 pgs stuck inactive; 168 pgs stuck unclean; 1 requests are blocked > 32 sec; 1 osds have slow requests
pg 1.f0 is stuck inactive since forever, current state creating, last acting []
pg 1.27f is stuck inactive since forever, current state creating, last acting []
pg 1.f1 is stuck inactive since forever, current state creating, last acting []
pg 1.1b5 is stuck inactive since forever, current state creating, last acting []
pg 1.ec is stuck inactive since forever, current state creating, last acting [

stuck olan pg’ler’n bir kısmını görmüş olduk. Herşey yolunda ise cluster durumunuz.

root@cephm:/home/ceph# ceph health detail
HEALTH_OK

olarak gözükecektir.

Cluster Üzerinde Yapılan I/O Görüntüleme

ceph -w komutu cluster üzerindeki yapılan işlemler sonucu oluşan I/O miktarı ile birlikte cluster sağlığı ile ilgili bilgileride görüntülemek için kullanılabilir:

root@cephm:/home/ceph# ceph -w
   cluster c33eca63-f5b5-4689-9fc5-636782f66f5c
    health HEALTH_OK
    monmap e1: 1 mons at {cephm=172.16.3.14:6789/0}, election epoch 1, quorum 0 cephm
    osdmap e9744: 20 osds: 20 up, 20 in
     pgmap v200822: 666 pgs, 1 pools, 29608 MB data, 7404 objects
           93976 MB used, 9208 GB / 9300 GB avail
                666 active+clean

Cluster Kapasite Kullanımı Görüntüleme

Ne kadar disk kapasitesi kullandığınızı görmek için:

root@cephm:/home/ceph# ceph df detail
GLOBAL:
   SIZE      AVAIL     RAW USED     %RAW USED     OBJECTS 
   9300G     8994G         305G          3.29        7404 
POOLS:
   NAME     ID     CATEGORY     USED       %USED     MAX AVAIL     OBJECTS     DIRTY     READ     WRITE 
   rbd      0      -            29608M      0.31         2938G        7404      7404       65     87925 

Depolama Birimi Üzerindeki Disk Yapılandırmasını Görüntüleme

root@ceph5:/etc/ceph# ceph-disk list
/dev/sda :
 /dev/sda1 other, ext4, mounted on /
 /dev/sda2 other, 0x5
 /dev/sda5 swap, swap
/dev/sdb :
 /dev/sdb1 ceph data, active, cluster ceph, osd.20, journal /dev/sde1
/dev/sdc :
 /dev/sdc1 ceph data, active, cluster ceph, osd.21, journal /dev/sde2
/dev/sdd :
 /dev/sdd1 ceph data, active, cluster ceph, osd.22, journal /dev/sde3
/dev/sde :
 /dev/sde1 ceph journal, for /dev/sdb1
 /dev/sde2 ceph journal, for /dev/sdc1
 /dev/sde3 ceph journal, for /dev/sdd1
 /dev/sde4 ceph journal, for /dev/sdf1
/dev/sdf :
 /dev/sdf1 ceph data, active, cluster ceph, osd.23, journal /dev/sde4
 /dev/sdg other, unknown
 /dev/sdh other, unknown
 /dev/sr0 other, unknown
 /dev/sr1 other, unknown

Cluster Bakım Modları

Cluster bakım modları listesi:

pause|noup|nodown|noout|noin|nobackfill|norecover|noscrub|nodeep-scrub|notieragent

ceph clusterınızı bu modlardan herhangi birine sokmak için:

ceph osd set [mod ismi]

yazmanız yeterli, moddan geri çıkarmak için:

ceph osd unset [mod ismi]

yazmalısınız.

NOIN

Açılıp normal olarak ceph cluster’ına dahil olacak (in) OSD’lerin açıldıkları halde dahil olmamalarını sağlar. Bu modda dikkat edilmesi gereken nokta  OSD’leri in olarak işaretlendikten sonra sisteme girmeleri için ayrıca restart edilmelerinin unutulmamamsıdır.

root@cephm:/home/ceph# ceph osd set noin
root@cephm:/home/ceph# ceph health
HEALTH_WARN noin flag(s) set
cephm:/home/ceph# ceph osd unset noin

NOOUT

OSD’lerin herhangi bir nedenle (erişilememeleri, kapanmaları) durumunda cluster dışına atılmalarını (out) engeller.

NOUP

OSD’lerin monitörler tarafından up olarak işaretlenmesini ekler. Sürekli up/down olan bir OSD’niz var ise durumunu incelemek için kullanabilirsiniz.

NODOWN

OSD’lerin monitörler tarafından down olarak işaretlenmesini ekler. Sürekli up/down olan bir OSD’niz var ise durumunu incelemek için kullanabilirsiniz

PAUSE

Cluster üzerine yapılan I/O işlemlerinin durdurur

NOSCRUB

Cluster üzerindeki OSD’lerde otomatik olarak  yapılacan olan scrub işleminin yapılmasının engeller.

Ceph Scrub Yapılandırması

Ceph objeler halinde tuttuğu verinin bütünlüğünün korunması amacı ile belirli zamanlarda scrub işlemini gerçekleştiriyor. Bu işlem sırasından objelerdeki bozulan verilerin onarılması amaçlanıyor. Tüm objelerde bu işlemin yapılmasına “deep scrub” deniyor. Atanmış değeri osd deep scrub interval değişkeni ile tanımlanıyor ve süresi haftada bir.Tanımlanabilecek olan scrub değişkenleri:

osd max scrubs: Ceph OSD tarafından yapılacak olan maksiumu operasyon sayısı (1) osd scrub thread timeout: Scrub timeout (Saniye,60) osd scrub load threshold: load avarage değeri bu değerden büyük olursa scrub yapılmıyor (0.5) osd scrub min interval: Scrub işlemini yapmak için maksimum saniye (Günde bir kez, 60*60*24) osd scrub max interval: Yük durumu ne olursa olsun scrub çalıştırmak için gerken maksimum süre. (Haftada bir, 7*60*60*24) osd deep scrub interval: deep scrub yapmak için gerekli olan maksimum süre (Haftada bir, 60*60*24*7) osd deep scrub stride: Scrub yaparken kullanılanacak okuma büyüklüğü (524288, 512KB) Peki elle scrub çalıştırmamız gerektiğinde ne yapacağız. Bunun için:

ceph osd scrub {osd-numarası}

yazmak yeterli. Osd numarasını görmek için

ceph osd dump

Ceph PG Durumları

Kurduğunuz ceph cluster’ın sağlığı PG grupların durumları ile oldukça ilişkili olduğundan ceph pg stat veya  ceph –s

root@cephm:/home/ceph# ceph pg stat
v34874: 1332 pgs: 1332 active+clean; 280 GB data, 844 GB used, 8455 GB / 9300 GB avail 

root@cepm:/home/ceph# ceph -s
cluster c33eca63-f5b5-4689-9fc5-636782f66f5c
health HEALTH_OK
monmap e1: 1 mons at {cephm=172.16.3.14:6789/0}, election epoch 1, quorum 0 cephm
osdmap e1673: 20 osds: 20 up, 20 in
pgmap v34874: 1332 pgs, 2 pools, 280 GB data, 81114 objects
844 GB used, 8455 GB / 9300 GB avail
1332 active+clean

komutu ile durumlarını göreceğiniz PG’lerinin durumlarının ne anlama geldiğini bilmek oldukça önemli.

Peering

PG’ler kendi aralarında tutulan objelerin ve metadata bilgilerinin durumu hakkında haberleşiyorlar. Bu durum bittikten sonra (obje ve metadataların durumu konusunda karara varıldıktan sonra) Active, Clean, Degraged vb duruma geçiş yapılıyor.

Active

Peerin sonrası herşeyin yolunda gittiği kararı alındı ise PG active duruma geçer, bu durumda veri ana PG’de ve replicalarda I/O operasyonuna yapmak için hazır durumdadır.

Clean

Birincil (primary) ve ikincil (secondary) OSD’lerin peeringinde bir sorun yok ise, PG’lerin konumunda herhangi bir değişikliğe gidilmeyecekse (crush map’te değişim sonrası örneğin),objelerin replikasyon sayılarında bir sorun yok ise (örneğin replica count 3 ise 3 kopyada da düzgün şekilde yazılmış ise ) clean durumuna geçilir.

Degraded

Herhangi bir OSD’ye erişilemediğinde, OSD’de bulunan PG’lerin durumu degraded olarak değiştirilir. OSD’ye erişilenememe durumu 300sn boyunca sürerse Ceph recovery işlemini başlatır ve diğer replikalardan obje başka bir OSD’de tekrar oluşturulur.  300sn’den önce OSD geri gelir ise diğer OSD’ler ile peering işlemini başlatır.

Recovering

OSD erişilemez duruma düştüğünde tekrar erişilebilir hale gelirse peering işleminden sonra objelerin güncel halinin diğer OSD’lerden alınması için recovery durumuna geçilir.

Backfilling

Ceph küme’sine yeni bir OSD eklendiğinde, Ceph var diğer OSD’lerde var olan verinin bir kısmını yeni OSD’ye taşıma işlemini başlatır. Bu işleme backfilling denir. Backfiling operasyonu tamamlandığında OSD I/O operasyonlarını yapmak için hazır hale gelmiş olur. Ceph kümesinde yeni bir OSD eklendiğinde ağırlık değerinin (weigh) düşük tutularak azar azar arttırılarak kümeye backfilling operasyonları ile dahil edilmesi önerilmektedir.

Remapped

Belirli bir PG’nin replicalarının bulunması gerken OSD’lere acting set ismi verilmektedir. Acting set’te bir değişikli olduğu zaman eski OSD’lerde ki verinin yeni OSD’lere taşınması gerekmektedir. Bu süre boyunca I/O isteklerine eski acting set’teki OSD’ler cevap verir. Verinin taşınması tamamlanınca, I/O operasyonlarına cevap verme görevini yeni OSD’ler üstlenir. Bu süreç içindeki PG’ler remapped durumda görülür.

Stale

Ceph OSD istatistklerini her 0.5 saniyede monitör sunucusuna iletir. Acting set’teki birincil OSD durumununu monitöre belirmediği anda monitör PG’nin durumuna stale olarak değiştirir.

CEPH Performans Optimizasyonu için Ayarlanabilecek Değişken Listesi

Genel

• Kernel pid max:  Linux çekirdeği tarafından kullanılacak olan makimum işlemci numarası (Proccess id). OSD sayısının fazla olduğu sistemlerde thread sayısıda göz önüne alındığının da bu değerin arttırılması gerekebilir. Bu değeri yükseltmek için /proc/sys/kernel/pid_max değeri arttırılabilir.
• max open files: Ceph tarafından kullanacak olan dosyaların maksimum sayısı.
• filestore min sync interval,filestore max sync interval: Bu değerlen verinin journal’dan hangi sıklıkla diske aktarılacağını belirliyor (saniye olarak). SSD diskiniz büyükse ve değerleri az tutarsanız SSD diskinizi yeterince kullanmamış olursunuz.
• Jumbo Frames: anahtarlama cihazı ve işletim sisteminde mtu değeri 9000 olarak ayarlanması performansı arttıracaktır.
• Disk read_ahead:Disklerden okuma sırasında okunan verilerin tampon belleğe aktarılması istemcilerin(prefetch) disk erişimini hızlandıracaktır. Diske ait mevcut değer (sde diski için)

cat /sys/block/sde/vda/queue/read_ahead_kb

komutu ile görülebilir. Değer echo ile değiştirilebilir.

Filestore Kuyruğu

• filestore queue max ops: filestore’un kuyruğa yeni bir I/O operasyonu için maksimum sayısı
• filestore queue max bytes:I/O operasyonlarının maksimum byte değeri
• filestore queue committing max ops: Bir seferde yapılacak olan I/O operasyonların maksimum sayısı
• filestore queue committing max bytes: Bir seferde yapılacak olan I/O operasyonların maksimum byte değeri
• filestore op threads: Dosya sisteminde yapılacak olan operasyonları için paralel olarak çalıştırılacak thread değeri

OSD

• osd max write size:OSD tarafından bir seferde yazılabilecek olan veri miktarı (MByte)
• osd client message size cap: İstemciye ait verinin bellek tutulacak kısmına ait olan maksimum değler (MByte)
• osd deep scrub stride: Scrub operasyonları sırasında okunacak veri miktarı (Byte)
• osd op threads: Ceph OSD programı tarafından kullanılan thread sayısı
• osd disk threads: Ceph OSD programı tarafından disk işlemlerinde kullanılacak olan thread sayısı

OSD Journal

• journal max write bytes: Journal’a bir seferde yazılabilecek maksimum byte miktarı
• journal max write entries: Journal’a bir seferde yapılabilecek yazma sayısı
• journal queue max ops: Journal kuyruğunda tek seferde yapılabilecek olan maksimum operasyon sayısı
• journal queue max bytes: Journal kuyruğunda tek seferde yapılabilecek olan maksimum byte sayısı

OSD Kurtarma Operastonarlı (Recovery)

• osd recovery op priority: OSD kurtarma işleminin önceliği, rakam azaldıkça önceliği artıyor.
• osd recovery op priority: Aktif kurtarma işlemlerinin maksimum sayısı, sayı arttıkça kurtarma süresi azalıyor, sistemin genel performansı azalıyor.
• osd max backfills: Backfill operasyonlarının maksimum sayısı.

İstemci

• rbd cache: İstemci taraınfa rdb cache özeliğinini açmak için (true)
• rbd cache size: İstemici tarafında rdb cache değeri (Byte)
• bd cache max dirty: İstemci tarafında tampon bellekte tutulan maksimum veri miktarı. Bu değere erişildiğinde tampon bellekteki veriler flush ediliyor. Bu değer 0 olarak ayarlanır ise tampon bellek write-through olarak yapılandırılır. Atanmış değer write-back.
• rbd cache max dirty age: Saniye olarak bellekteki bilgilerin disklere flush edilme süresi