CEPH Kurulumu
İçindekiler
- 1 İşletim Sistemi Kurulum Öncesi Yapılandırılması
- 1.1 İşletim sistemi Güncelllenmesi
- 1.2 /etc/hosts Dosyasının Düzenlenmesi
- 1.3 NTP ile Saat Senkronizasyonu
- 1.4 SSD Diskler İçin I/0 Scheduler ve Rotation Değerlerinin Değiştirilmesi
- 1.5 Apparmor Yazılımının Kapatılması
- 1.6 Updatedb Programın İptal Kapatılması
- 1.7 Disk read_ahead değerinin Arttırılması
- 1.8 XFS Dosya Sistemi Yapılandırması
- 1.9 = Dosya Sistemi Yaratılması
İşletim Sistemi Kurulum Öncesi Yapılandırılması
İşletim sistemi Güncelllenmesi
/etc/hosts Dosyasının Düzenlenmesi
Sunucuların birbirinden haberdar olması için /etc/hosts dosyasına sunucu bilgileri IP hostname olacak şekilde eklendi.
NTP ile Saat Senkronizasyonu
/etc/security/limits.conf Dosyası Dosya Açma Limitlerinin Arttırılması Kullanıcıların açabileceği maksimum dosya tanımlayıcısı (file descriptor) sayısını /etc/security/limits.conf dosyasına aşağıdaki satırları ekleyerek arttırıyoruz.
* soft nofile 65000 * hard nofile 65000
SSD Diskler İçin I/0 Scheduler ve Rotation Değerlerinin Değiştirilmesi
SSD disklerin scheduler’i atanmış değerinden SSD diskler için daha uygun olan noop’a değiştirmek için: (SSD disk sde)
echo noop > /sys/block/sde/queue/scheduler
yazmak yeterli. SSD diskler klasik diskler gibi dönen hareketli parçalardan oluşmadığı için SSD diskleri kullanan işletim sistemlerinin I/O operasyonlarını bu durumu göz önüne alarak gerçekleştirmeleri gerekiyor. Bu nedenle SSD disklerin rotation değeri 0 olmalı. Mevcut durumu görmek için:
root@ceph1:/home/ceph# cat /sys/block/sde/queue/rotational 1
komutunu kullandığımızda değerin 1 olduğunu görüyoruz. Normalde işletim sisteminin diskin SSD olduğunu anlayıp bu değer 0 yapmasını bekliyoruz. Manüel olarak 0 yapmak için:
echo "1" > /sys/block/sde/queue/rotational
yazmak yeterli. Açılışta geçerli olması için echo ile başlayan komutları satırı /etc/rc.local’a ekleyebilirsiniz.
Apparmor Yazılımının Kapatılması
invoke-rc.d apparmor kill update-rc.d -f apparmor remove
Updatedb Programın İptal Kapatılması
Disk read_ahead değerinin Arttırılması
Disklerin atanmış değerleri olan 128, 2048 olarak değiştirildi. Mevcut değeri görmek için:
root@ceph1:/home/ceph# cat /sys/block/sde/queue/read_ahead_kb 128
Yeni değerin atanması:
root@ceph1:/home/ceph# echo 2084 > /sys/block/sde/queue/read_ahead_kb root@ceph1:/home/ceph# cat /sys/block/sde/queue/read_ahead_kb 2084
OSD diskleri için değerleri açılışta geçerli kılmak için aşağıdaki satırları /etc/rc.local dosyasına ekleyebilirsiniz.
echo 2084 > /sys/block/sdb/queue/read_ahead_kb echo 2084 > /sys/block/sdc/queue/read_ahead_kb echo 2084 > /sys/block/sdd/queue/read_ahead_kb echo 2084 > /sys/block/sde/queue/read_ahead_kb echo 2084 > /sys/block/sdf/queue/read_ahead_kb
read_ahead_kb değerinin arttırılması sıralı okuma (sequential read) performansınızı arttıracaktır. I/O örüntünüze göre bu değeri daha arttırarak performans kazanımı sağlayabilirsiniz. Bu değerin arttırılması hafıza kullanımının artmasına neden olacağı için bellek kullanımı üzerinde bir baskı oluşturabilir
XFS Dosya Sistemi Yapılandırması
Ceph XFS Dosya Sistemi Yapılandırması
Ceph’te ext4,btrfs ve xfs dosya sistemi olarak kullanılabiliyor. Btrfs’in henüz production için kullanımı önerilmiyor. Ceph belgelerinde production sistemler için xfs kullanımı önerildiği için kurulumu xfs üzerinden gerçekleştiriyoruz. Dosya sisteminin ne olacağı, mkfs ve mount opsiyonları ceph.conf dosyasında tanımlanıyor.
= Dosya Sistemi Yaratılması
Disklerin dosya sistemini yaratırken mkfs.xfs programında ilk olarak size=2048 argümanını kullanıyoruz. Bunun nedeni ceph tarafından kullanılan Extended Attributes (XATTRs) daha fazla alan açmak. Size argümanı inode büyüklüğü tanımlamak için kullanılıyor. Atanmış değeri (default) 256 ki buda 256Byte’a karşılık geliyor. 512 Byte inode kullanımında ortalama 350 Byte’lık bir alan xattr kullanımına kalıyor. Bu değeri 2048 yaptığımızda yaklaşık1900 Byte alanı xattr için ayırmış oluyoruz.
mkfs.xfs programına argüman olarak kullandığımız opsiyonlardan bir diğeri finobt=1. Bu argüman xfs’in boş inode’ların takibini btree algoritması ile yapılmasını sağlıyor. Bu özelliği kullanmak için çekirdek sürümünüzün 3.15 xfsprogs sürümünüzün 3.2 ve üzeri olması gerekiyor.
Ubuntu 14.04 ile xfsprogs sürümü 3.1.9 olarak geliyor. xfsprogs 3.2 ve üzerinde gelen finobt argümanının kullanabilmek için xfsprogs paketini aşağıdaki komutları kullanarak güncelliyoruz
wget -c http://mirrors.kernel.org/ubuntu/pool/main/x/xfsprogs/xfsprogs_3.2.1ubuntu1_amd64.deb dpkg -i xfsprogs_3.2.1ubuntu1_amd64.deb
mkfs.xfs programında kullandığımız üçüncü argüman crc=1. Bu argüman xfs’in metadatadaki bozulmaları karcı CRC32 algoritmasını kullanarak denetlemesini sağlıyor. Hepsi bir arada komut sdb diski için dosya sistemi yaratmak istersek:
mkfs.xfs -m crc=1,finobt=1 -f -i size=2048 /dev/sdb
halini alıyor.