"CEPH Yönetimi" sayfasının sürümleri arasındaki fark
(→Poll’ları Listeleme) |
|||
5. satır: | 5. satır: | ||
pool 'deneme' created | pool 'deneme' created | ||
− | ===Poll’ları Listeleme=== | + | ====Poll’ları Listeleme==== |
Yarattığımız deneme pool’u ile birlikte var olan diğer pool’ları listeleyelim | Yarattığımız deneme pool’u ile birlikte var olan diğer pool’ları listeleyelim | ||
root@ceph1:/home/ceph# ceph osd lspools | root@ceph1:/home/ceph# ceph osd lspools |
12:56, 18 Haziran 2018 tarihindeki hâli
İçindekiler
POOL İşlemleri
Pool Yaratma
Deneme ismi altinda 4096 PG’den oluşan bir pool yaratalım.
root@ceph1:/home/ceph# ceph osd pool create deneme 4096 pool 'deneme' created
Poll’ları Listeleme
Yarattığımız deneme pool’u ile birlikte var olan diğer pool’ları listeleyelim
root@ceph1:/home/ceph# ceph osd lspools 0 rbd,1 tank,3 deneme,
pool bilgilerini biraz daha ayrıntı olarak öğrenmek istersek osd dump komutunu kullanıyoruz.
ceph@cephm:~$ ceph osd dump | grep 'pool' pool 0 'rbd' replicated size 3 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 666 pgp_num 666 last_change 1009 flags hashpspool stripe_width 0 pool 1 'tank' replicated size 3 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 666 pgp_num 666 last_change 998 flags hashpspool stripe_width 0
Bu komut ile iki adet pool’umuz olduğunu replica ve min_size değerlerini, pg ve pgp_num değerlerinin öğrenmiş oluyoruz.
Cluster Sağlığı
Cluster Sağlığı Görüntüleme
Cluster sağlığını izlemek için temel komut:
root@ceph1:/home/ceph# ceph health HEALTH_WARN 168 pgs stuck inactive; 168 pgs stuck unclean; 1 requests are blocked > 32 sec
Bu örnekte cluster pek sağlıklı olmadığı belli, biraz daha detaylı bir bilgi almak için:
root@ceph1:/home/ceph# ceph health detail | more HEALTH_WARN 168 pgs stuck inactive; 168 pgs stuck unclean; 1 requests are blocked > 32 sec; 1 osds have slow requests pg 1.f0 is stuck inactive since forever, current state creating, last acting [] pg 1.27f is stuck inactive since forever, current state creating, last acting [] pg 1.f1 is stuck inactive since forever, current state creating, last acting [] pg 1.1b5 is stuck inactive since forever, current state creating, last acting [] pg 1.ec is stuck inactive since forever, current state creating, last acting [
stuck olan pg’ler’n bir kısmını görmüş olduk. Herşey yolunda ise cluster durumunuz.
root@cephm:/home/ceph# ceph health detail HEALTH_OK
olarak gözükecektir.
Cluster Üzerinde Yapılan I/O Görüntüleme
ceph -w komutu cluster üzerindeki yapılan işlemler sonucu oluşan I/O miktarı ile birlikte cluster sağlığı ile ilgili bilgileride görüntülemek için kullanılabilir:
root@cephm:/home/ceph# ceph -w cluster c33eca63-f5b5-4689-9fc5-636782f66f5c health HEALTH_OK monmap e1: 1 mons at {cephm=172.16.3.14:6789/0}, election epoch 1, quorum 0 cephm osdmap e9744: 20 osds: 20 up, 20 in pgmap v200822: 666 pgs, 1 pools, 29608 MB data, 7404 objects 93976 MB used, 9208 GB / 9300 GB avail 666 active+clean
Cluster Kapasite Kullanımı Görüntüleme
Ne kadar disk kapasitesi kullandığınızı görmek için:
root@cephm:/home/ceph# ceph df detail GLOBAL: SIZE AVAIL RAW USED %RAW USED OBJECTS 9300G 8994G 305G 3.29 7404 POOLS: NAME ID CATEGORY USED %USED MAX AVAIL OBJECTS DIRTY READ WRITE rbd 0 - 29608M 0.31 2938G 7404 7404 65 87925
Depolama Birimi Üzerindeki Disk Yapılandırmasını Görüntüleme
root@ceph5:/etc/ceph# ceph-disk list /dev/sda : /dev/sda1 other, ext4, mounted on / /dev/sda2 other, 0x5 /dev/sda5 swap, swap /dev/sdb : /dev/sdb1 ceph data, active, cluster ceph, osd.20, journal /dev/sde1 /dev/sdc : /dev/sdc1 ceph data, active, cluster ceph, osd.21, journal /dev/sde2 /dev/sdd : /dev/sdd1 ceph data, active, cluster ceph, osd.22, journal /dev/sde3 /dev/sde : /dev/sde1 ceph journal, for /dev/sdb1 /dev/sde2 ceph journal, for /dev/sdc1 /dev/sde3 ceph journal, for /dev/sdd1 /dev/sde4 ceph journal, for /dev/sdf1 /dev/sdf : /dev/sdf1 ceph data, active, cluster ceph, osd.23, journal /dev/sde4 /dev/sdg other, unknown /dev/sdh other, unknown /dev/sr0 other, unknown /dev/sr1 other, unknown
Depolama Birimi Üzerindeki Journal Yapılandırmasını Görüntüleme
Journal için kullandığımız diskin sde olması durumunda, ilk partition bilgilerini görüntülemek için:
root@ceph5:/home/ceph# sgdisk --info 1 /dev/sde Partition GUID code: 45B0969E-9B03-4F30-B4C6-B4B80CEFF106 (Unknown) Partition unique GUID: FA983B70-C559-4D57-8B33-474538891F1D First sector: 2048 (at 1024.0 KiB) Last sector: 51202047 (at 24.4 GiB) Partition size: 51200000 sectors (24.4 GiB) Attribute flags: 0000000000000000 Partition name: 'ceph journal
Ceph Değişkenlerinin Görüntülenmesi/Değiştirilmesi
Cluster Bakım Modları
Cluster bakım modları listesi:
pause|noup|nodown|noout|noin|nobackfill|norecover|noscrub|nodeep-scrub|notieragent
ceph clusterınızı bu modlardan herhangi birine sokmak için:
ceph osd set [mod ismi]
yazmanız yeterli, moddan geri çıkarmak için:
ceph osd unset [mod ismi]
yazmalısınız.
NOIN
Açılıp normal olarak ceph cluster’ına dahil olacak (in) OSD’lerin açıldıkları halde dahil olmamalarını sağlar. Bu modda dikkat edilmesi gereken nokta OSD’leri in olarak işaretlendikten sonra sisteme girmeleri için ayrıca restart edilmelerinin unutulmamamsıdır.
root@cephm:/home/ceph# ceph osd set noin root@cephm:/home/ceph# ceph health HEALTH_WARN noin flag(s) set cephm:/home/ceph# ceph osd unset noin
NOOUT
OSD’lerin herhangi bir nedenle (erişilememeleri, kapanmaları) durumunda cluster dışına atılmalarını (out) engeller.
NOUP
OSD’lerin monitörler tarafından up olarak işaretlenmesini ekler. Sürekli up/down olan bir OSD’niz var ise durumunu incelemek için kullanabilirsiniz.
NODOWN
OSD’lerin monitörler tarafından down olarak işaretlenmesini ekler. Sürekli up/down olan bir OSD’niz var ise durumunu incelemek için kullanabilirsiniz
PAUSE
Cluster üzerine yapılan I/O işlemlerinin durdurur
NOSCRUB
Cluster üzerindeki OSD’lerde otomatik olarak yapılacan olan scrub işleminin yapılmasının engeller.
Ceph Scrub Yapılandırması
Ceph objeler halinde tuttuğu verinin bütünlüğünün korunması amacı ile belirli zamanlarda scrub işlemini gerçekleştiriyor. Bu işlem sırasından objelerdeki bozulan verilerin onarılması amaçlanıyor. Tüm objelerde bu işlemin yapılmasına “deep scrub” deniyor. Atanmış değeri osd deep scrub interval değişkeni ile tanımlanıyor ve süresi haftada bir.Tanımlanabilecek olan scrub değişkenleri:
osd max scrubs: Ceph OSD tarafından yapılacak olan maksiumu operasyon sayısı (1) osd scrub thread timeout: Scrub timeout (Saniye,60) osd scrub load threshold: load avarage değeri bu değerden büyük olursa scrub yapılmıyor (0.5) osd scrub min interval: Scrub işlemini yapmak için maksimum saniye (Günde bir kez, 60*60*24) osd scrub max interval: Yük durumu ne olursa olsun scrub çalıştırmak için gerken maksimum süre. (Haftada bir, 7*60*60*24) osd deep scrub interval: deep scrub yapmak için gerekli olan maksimum süre (Haftada bir, 60*60*24*7) osd deep scrub stride: Scrub yaparken kullanılanacak okuma büyüklüğü (524288, 512KB) Peki elle scrub çalıştırmamız gerektiğinde ne yapacağız. Bunun için:
ceph osd scrub {osd-numarası}
yazmak yeterli. Osd numarasını görmek için
ceph osd dump
Ceph PG Durumları
Kurduğunuz ceph cluster’ın sağlığı PG grupların durumları ile oldukça ilişkili olduğundan ceph pg stat veya ceph –s
root@cephm:/home/ceph# ceph pg stat v34874: 1332 pgs: 1332 active+clean; 280 GB data, 844 GB used, 8455 GB / 9300 GB avail
root@cepm:/home/ceph# ceph -s cluster c33eca63-f5b5-4689-9fc5-636782f66f5c health HEALTH_OK monmap e1: 1 mons at {cephm=172.16.3.14:6789/0}, election epoch 1, quorum 0 cephm osdmap e1673: 20 osds: 20 up, 20 in pgmap v34874: 1332 pgs, 2 pools, 280 GB data, 81114 objects 844 GB used, 8455 GB / 9300 GB avail 1332 active+clean
komutu ile durumlarını göreceğiniz PG’lerinin durumlarının ne anlama geldiğini bilmek oldukça önemli.
Peering
PG’ler kendi aralarında tutulan objelerin ve metadata bilgilerinin durumu hakkında haberleşiyorlar. Bu durum bittikten sonra (obje ve metadataların durumu konusunda karara varıldıktan sonra) Active, Clean, Degraged vb duruma geçiş yapılıyor.
Active
Peerin sonrası herşeyin yolunda gittiği kararı alındı ise PG active duruma geçer, bu durumda veri ana PG’de ve replicalarda I/O operasyonuna yapmak için hazır durumdadır.
Clean
Birincil (primary) ve ikincil (secondary) OSD’lerin peeringinde bir sorun yok ise, PG’lerin konumunda herhangi bir değişikliğe gidilmeyecekse (crush map’te değişim sonrası örneğin),objelerin replikasyon sayılarında bir sorun yok ise (örneğin replica count 3 ise 3 kopyada da düzgün şekilde yazılmış ise ) clean durumuna geçilir.
Degraded
Herhangi bir OSD’ye erişilemediğinde, OSD’de bulunan PG’lerin durumu degraded olarak değiştirilir. OSD’ye erişilenememe durumu 300sn boyunca sürerse Ceph recovery işlemini başlatır ve diğer replikalardan obje başka bir OSD’de tekrar oluşturulur. 300sn’den önce OSD geri gelir ise diğer OSD’ler ile peering işlemini başlatır.
Recovering
OSD erişilemez duruma düştüğünde tekrar erişilebilir hale gelirse peering işleminden sonra objelerin güncel halinin diğer OSD’lerden alınması için recovery durumuna geçilir.
Backfilling
Ceph küme’sine yeni bir OSD eklendiğinde, Ceph var diğer OSD’lerde var olan verinin bir kısmını yeni OSD’ye taşıma işlemini başlatır. Bu işleme backfilling denir. Backfiling operasyonu tamamlandığında OSD I/O operasyonlarını yapmak için hazır hale gelmiş olur. Ceph kümesinde yeni bir OSD eklendiğinde ağırlık değerinin (weigh) düşük tutularak azar azar arttırılarak kümeye backfilling operasyonları ile dahil edilmesi önerilmektedir.
Remapped
Belirli bir PG’nin replicalarının bulunması gerken OSD’lere acting set ismi verilmektedir. Acting set’te bir değişikli olduğu zaman eski OSD’lerde ki verinin yeni OSD’lere taşınması gerekmektedir. Bu süre boyunca I/O isteklerine eski acting set’teki OSD’ler cevap verir. Verinin taşınması tamamlanınca, I/O operasyonlarına cevap verme görevini yeni OSD’ler üstlenir. Bu süreç içindeki PG’ler remapped durumda görülür.
Stale
Ceph OSD istatistklerini her 0.5 saniyede monitör sunucusuna iletir. Acting set’teki birincil OSD durumununu monitöre belirmediği anda monitör PG’nin durumuna stale olarak değiştirir.
CEPH Performans Optimizasyonu için Ayarlanabilecek Değişken Listesi
Genel
- Kernel pid max: Linux çekirdeği tarafından kullanılacak olan makimum işlemci numarası (Proccess id). OSD sayısının fazla olduğu sistemlerde thread sayısıda göz önüne alındığının da bu değerin arttırılması gerekebilir. Bu değeri yükseltmek için /proc/sys/kernel/pid_max değeri arttırılabilir.
- max open files: Ceph tarafından kullanacak olan dosyaların maksimum sayısı.
- filestore min sync interval,filestore max sync interval: Bu değerlen verinin journal’dan hangi sıklıkla diske aktarılacağını belirliyor (saniye olarak). SSD diskiniz büyükse ve değerleri az tutarsanız SSD diskinizi yeterince kullanmamış olursunuz.
- Jumbo Frames: anahtarlama cihazı ve işletim sisteminde mtu değeri 9000 olarak ayarlanması performansı arttıracaktır.
- Disk read_ahead:Disklerden okuma sırasında okunan verilerin tampon belleğe aktarılması istemcilerin(prefetch) disk erişimini hızlandıracaktır. Diske ait mevcut değer (sde diski için)
cat /sys/block/sde/vda/queue/read_ahead_kb
komutu ile görülebilir. Değer echo ile değiştirilebilir.
Filestore Kuyruğu
- filestore queue max ops: filestore’un kuyruğa yeni bir I/O operasyonu için maksimum sayısı
- filestore queue max bytes:I/O operasyonlarının maksimum byte değeri
- filestore queue committing max ops: Bir seferde yapılacak olan I/O operasyonların maksimum sayısı
- filestore queue committing max bytes: Bir seferde yapılacak olan I/O operasyonların maksimum byte değeri
- filestore op threads: Dosya sisteminde yapılacak olan operasyonları için paralel olarak çalıştırılacak thread değeri
OSD
- osd max write size:OSD tarafından bir seferde yazılabilecek olan veri miktarı (MByte)
- osd client message size cap: İstemciye ait verinin bellek tutulacak kısmına ait olan maksimum değler (MByte)
- osd deep scrub stride: Scrub operasyonları sırasında okunacak veri miktarı (Byte)
- osd op threads: Ceph OSD programı tarafından kullanılan thread sayısı
- osd disk threads: Ceph OSD programı tarafından disk işlemlerinde kullanılacak olan thread sayısı
OSD Journal
- journal max write bytes: Journal’a bir seferde yazılabilecek maksimum byte miktarı
- journal max write entries: Journal’a bir seferde yapılabilecek yazma sayısı
- journal queue max ops: Journal kuyruğunda tek seferde yapılabilecek olan maksimum operasyon sayısı
- journal queue max bytes: Journal kuyruğunda tek seferde yapılabilecek olan maksimum byte sayısı
OSD Kurtarma Operastonarlı (Recovery)
- osd recovery op priority: OSD kurtarma işleminin önceliği, rakam azaldıkça önceliği artıyor.
- osd recovery op priority: Aktif kurtarma işlemlerinin maksimum sayısı, sayı arttıkça kurtarma süresi azalıyor, sistemin genel performansı azalıyor.
- osd max backfills: Backfill operasyonlarının maksimum sayısı.
İstemci
- rbd cache: İstemci taraınfa rdb cache özeliğinini açmak için (true)
- rbd cache size: İstemici tarafında rdb cache değeri (Byte)
- bd cache max dirty: İstemci tarafında tampon bellekte tutulan maksimum veri miktarı. Bu değere erişildiğinde tampon bellekteki veriler flush ediliyor. Bu değer 0 olarak ayarlanır ise tampon bellek write-through olarak yapılandırılır. Atanmış değer write-back.
- rbd cache max dirty age: Saniye olarak bellekteki bilgilerin disklere flush edilme süresi