BulutWiki - Kullanıcı katkıları [tr]

Kaynaklar

2018-11-22T07:29:08Z

Admin:

[[Dosya:Huawei_CloudEngine_8800&7800&6800&5800_Series_VXLAN_Technology_White_Paper.pdf]]

Kaynaklar

2018-11-22T07:28:52Z

Admin:

[[Huawei_CloudEngine_8800&7800&6800&5800_Series_VXLAN_Technology_White_Paper.pdf]]

Kaynaklar

2018-11-22T07:28:33Z

Admin: "Dosya:Huawei_CloudEngine_8800&7800&6800&5800_Series_VXLAN_Technology_White_Paper.pdf" içeriğiyle yeni sayfa oluşturdu

[[Dosya:Huawei_CloudEngine_8800&7800&6800&5800_Series_VXLAN_Technology_White_Paper.pdf]]

2018-09-20T12:23:50Z

Admin:

== Driver ve Firmware Güncellemleri==
== Donanımların Kontrolü==
İhale kapsamında aldığımız donanımların kontrolü için aşağıdaki betik kullanıldı, bu sayede disk,bellek ve diğer bilşenlerin istenilen özelliklere sahip olup olmadıkları kontrol edildi

root@zula201:~/ulakceph# more sysinfo.sh
#!/bin/bash
INFOFILE="sysinfo.txt"
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games
echo "---------------------------------------------------------------------------------------------\n" >> $INFOFILE
RAM=`free | grep Mem | awk '{print $2}'`
echo "RAM: ${RAM}" > $INFOFILE
lshw -class memory | egrep 'vendor:|product:|size:|clock: ' | grep -v "NO DIMM" | egrep -v 'MiB|KiB' >> $INFOFILE

echo "---------------------------------------------------------------------------------------------\n" >> $INFOFILE
num_CPU=`cat /proc/cpuinfo | grep -i "model name" | awk -F: '{print $2}' | wc -l`
echo "CPU Count: ${num_CPU}" >> $INFOFILE
cat /proc/cpuinfo | grep -i "model name" | awk -F: '{print $2}' >> $INFOFILE
num_CPU=`cat /proc/cpuinfo | grep -i "model name" | awk -F: '{print $2}' | wc -l`

echo "---------------------------------------------------------------------------------------------\n" >> $INFOFILE
lsblk -a >> $INFOFILE

for i in sdb sdc sdd sde sdf sdg sdh sdi sdj sdk sdl sdm
do
echo "Disk ${i}" >> $INFOFILE
smartctl -a /dev/${i} | egrep 'Product|Revision:|Manufactured in|Accumulated start-stop cycles' >> $INFOFILE
echo >> $INFOFILE
done

=== 10G Intel Ethernet Kartı Driver Güncellemesi===
Linux çekirdeği ile gelen driver yerine Intel web sayfasından 10G ethernet kartının güncel driver'larının indirilerek kurulması daha az sorun ve daha yüksek performans almanızı sağlayacaktır.

root@zula201:~/calisma/ixgbe-5.3.6/src# modinfo ixgbe
filename: /lib/modules/4.4.0-124-generic/kernel/drivers/net/ethernet/intel/ixgbe/ixgbe.ko
version: 4.2.1-k

apt-get -y install gcc make

root@zula201:~/calisma/ixgbe-5.3.6/src# make
root@zula201:~/calisma/ixgbe-5.3.6/src# make install
root@zula201:~/calisma/ixgbe-5.3.6/src# modinfo ixgbe
filename: /lib/modules/4.4.0-124-generic/updates/drivers/net/ethernet/intel/ixgbe/ixgbe.ko
version: 5.3.6

===40G Mellanox Connectx 4 Driver ve Firmware güncellemesi===
root@zula202:~# lsmod | grep -i mlx5_core
mlx5_core 208896 0
root@zula202:~# modinfo mlx5_core
filename: /lib/modules/4.4.0-124-generic/kernel/drivers/net/ethernet/mellanox/mlx5/core/mlx5_core.ko
version: 3.0-1
license: Dual BSD/GPL
description: Mellanox Connect-IB, ConnectX-4 core driver
author: Eli Cohen <eli@mellanox.com>
srcversion: B033A1086EAE3BE4103F5B2

root@zula201:~/calisma/mlnx-en-4.3-1.0.1.0-ubuntu16.04-x86_64# ./install
Logs dir: /tmp/mlnx-en.9519.logs
General log file: /tmp/mlnx-en.9519.logs/general.log

Below is the list of mlnx-en packages that you have chosen
(some may have been added by the installer due to package dependencies):
ofed-scripts
mlnx-en-utils
mlnx-en-dkms
mstflint
This program will install the mlnx-en package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with mlnx-en, do not reinstall them.
Do you want to continue?[y/N]:y
Attempting to perform Firmware update...
Querying Mellanox devices firmware ...

Device #1:
----------
Device Type: ConnectX4
Part Number: MCX414A-BCA_Ax
Description: ConnectX-4 EN network interface card; 40GbE dual-port QSFP28; PCIe3.0 x8; ROHS R6
PSID: MT_2130110027
PCI Device Name: 83:00.0
Base GUID: ec0d9a0300d9ca62
Base MAC: ec0d9ad9ca62
Versions: Current Available
FW 12.18.1000 12.22.1002
PXE 3.5.0109 3.5.0403
UEFI N/A 14.15.0019

Status: Update required

root@zula201:~/calisma/mlnx-en-4.3-1.0.1.0-ubuntu16.04-x86_64# /etc/init.d/mlnx-en.d restart
modinfo mlx5_core

root@zula201:~/calisma/mlnx-en-4.3-1.0.1.0-ubuntu16.04-x86_64# modinfo mlx5_core
filename: /lib/modules/4.4.0-124-generic/updates/dkms/mlx5_core.ko
version: 4.3-1.0.1
license: Dual BSD/GPL

2018-09-20T12:07:05Z

Admin:

=='''CEPH Kümesi Kurulum ve Yapılandırma'''==
===Paket Kurulumları===
Ubuntu 16.04 işletim sistemi üzerinde güncel olan CEPH Mimic (13.2.0) kurulumu burada anlatılmaktadır.
* Kurulum dökümanı her bir OSD host üzerinde 12 adet fiziksel disk bulunan, ayrıca nvme SSD yer alan 4 ayrı sunucu üzerinde anatılmaktadır (zula209, zula210, zula211 ve zula212).
* Her bir fiziksel sunucu 10G ve 40G kartlara sahiptir, dolayısıyla client/pulic network 192.168.56.0/24 10G interface üzerinde yapılandırılırken replika vb işlemler için trafiğin daha fazla olacağı cluster network 192.168.200.0/24 40G interface ile yapılandırılacaktır.
* zula209 ceph-admin olarak seçilip tüm kurulumlar ceph-deploy ile diğer hostlar üzerinde de yapılacaktır.
* Yönetim ağı ise gigabit interface olup 172.16.2.0/24 networkünde yer almaktadır.

Kurulum için öncelikle repoların düzenlenmesi gerekmektedir. Aşağıdaki komutları tüm depeloma sunucularında çalıştırarak CEPH repolarını ekleyiniz ve ceph-deploy programını kurunuz.

wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
# ceph release: mimic, ubuntu release: xenial
sudo apt-add-repository 'deb https://download.ceph.com/debian-mimic/ xenial main'

CEPH bileşenlerinin kurulumu ve yapılandırılması ceph-deploy aracı ile tek bir host üzerinden kendi ve diğerleri üzerine gerçekleştirilecektir.

sudo apt update
sudo apt install ceph-deploy

Bunun yanında tüm sunucuların /etc/hosts dosyasına sunucuların IP adreslerini yazınız.

192.168.56.209 zula209
192.168.56.210 zula210
192.168.56.211 zula211
192.168.56.212 zula212

===CEPH Bileşenleri İndirme ve Yapılandırma===
Kurulum için bir sunucu kurulum sunucusu olarak seçilmelidir. Biz zula209'u kurulum sunucusu olarak kullanacağız. Kurulumda, ceph-deploy programı üzerinden tüm sunucularda gerekli paketleri indirmek için ceph-deploy adında bir kullanıcı oluşturulur ve bu kullanıcı üzerinden tüm kurulum işlemleri yapılır.Ceph-deploy kullanıcısına sudo ile root olma yetkisi verilir.Burada dikkat edilecek nokta ceph-deploy kullanıcısının sudo komutunu kullanırken parola istenmeyecek şekilde yapılandırılmasınıdır. Kullanıcı sudo grubuna eklenecek ise /etc/sudoers dosyası

%sudo ALL=(ALL:ALL) NOPASSWD: ALL

şeklinde yapılandırılmalıdır. Kurulum yapılacak diğer sunucularda da benzer şekilde ceph-deploy kullanıcısı yaratılır ve sudo ile root olabilmesi için gerekli ayarlar yapılır.

Kurulum sunucusundan diğer tüm sunuculara ceph-deploy kullanıcısından erişim şifresiz bir şekilde yapılacak şekilde yapılandırılmalıdır.Bunun için kurulum sunucusundaki ceph-deploy kullanısının ssh key'leri ssh-copy-id komutu ile diğer sunuculara kopyalanmalıdır.

ceph-deploy@zula209:~$ ssh-copy-id ceph-deploy@zula211
ceph-deploy@zula209:~$ ssh-copy-id ceph-deploy@zula212
ceph-deploy@zula209:~$ ssh-copy-id ceph-deploy@zula213

Kurulum için zula209 sunucusunda ceph-ceploy kullanıcısı ile my-cluster adında bir dizin oluşturulur ve bu dizinde ceph.conf yetki dosyası, yetkilendirme için gerekli keyring dosyaları ve log burada yer alır.

su - ceph-deploy
mkdir my-cluster
cd my-cluster

ceph-deploy komutu bir dizi komut serisini çalıştırıp logları ekrana basar. Bu süreçte bir sorun yaşanır ise program yaptığı işlemleri geri almaya çalışır. Aşağıda böyle bir işlem sonrasında yarım kalan işlerin temizlenmesi için çalıştırılması gereken komutlar gösterilmektedir. (komutlar my-cluster dizin altında çalıştırılmalıdır)

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*

# İlgili dizin altında aşağıdaki komutu calistirilir, ceph.conf dosyasi dizinde olusur.
ceph-deploy new zula209

Bu dosyaya cluster ve public ip leri asagidaki sekilde eklenir. Ayrıca yeni bir pool oluşturulduğunda bu pool için default ayarlar burada verilebilir. Örneğin parametre verilmeden oluşturulacak bir pool için replika sayısı 3, pg ve pgp sayısı 64 olarak ayarlanması için kullanınlan ceph.conf dosyası:
[global]
fsid = ccfe4242-c679-44c2-ba49-88c4234f44e1
mon_initial_members = zula209
mon_host = 192.168.56.209
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 192.168.56.0/24
cluster network = 192.168.200.0/24
# the number of replica is 3
osd pool default size = 3 # Write an object 3 times.
osd pool default min size = 3 # Allow writing two copy in a degraded state.
# the number of pg per osd is 100
osd pool default pg num = 64
osd pool default pgp num = 64

osd pg sayısını hesaplamak için (OSD sayısı * 100) / Replika sayısı formülü çıkan sonuç en yakın ikini katına yuvarlanarak kullanılabilir. 48 OSD üç replika için 48 * 100 /4 = 1600. En yakın 2 nin kuvvet 2048 olduğu için 2048 kullanılabilir.
ceph.conf dosyası düzenlendikten sonra her bir host için kurulum işlemlerine aşağıdaki komutla başlanabilir. Burada dikkat edilmesi gereken paket kurulumları esnasında ekrana basılan loglarda CEPH sürümü ve tüm fiziksel sunuculara ilgili paketlerin kurulumlarının eksiksiz yapılmasıdır.

ceph-deploy install zula209 zula210 zula211 zula212

Kurulumlardan sonra gerekli yetkilendirme dosyalarının dizine aktarılabilmesi için aşağıdaki komut çalıştırılır.

ceph-deploy mon create-initial

$ ls -ll
total 64
-rw------- 1 ceph-deploy ceph-deploy 113 Jun 7 07:25 ceph.bootstrap-mds.keyring
-rw------- 1 ceph-deploy ceph-deploy 113 Jun 7 07:25 ceph.bootstrap-mgr.keyring
-rw------- 1 ceph-deploy ceph-deploy 113 Jun 7 07:25 ceph.bootstrap-osd.keyring
-rw------- 1 ceph-deploy ceph-deploy 113 Jun 7 07:25 ceph.bootstrap-rgw.keyring
-rw------- 1 ceph-deploy ceph-deploy 151 Jun 7 07:25 ceph.client.admin.keyring
-rw-rw-r-- 1 ceph-deploy ceph-deploy 267 Jun 7 07:23 ceph.conf
-rw-rw-r-- 1 ceph-deploy ceph-deploy 30148 Jun 7 07:25 ceph-deploy-ceph.log
-rw------- 1 ceph-deploy ceph-deploy 73 Jun 7 07:21 ceph.mon.keyring
-rw-r--r-- 1 root root 1645 Oct 15 2015 release.asc

Aşağıdaki komut ile cephcli komutlari bulundugumuz nodda yetkilendirilir. Boylece yetkilendirme istenen ceph komutlari calistirilir. Ornegin zula210 dedigimizde zula209 uzerinde olusturulan anahtarlar ilgili sunucuda /etc/ceph/ceph.client.admin.keyring dosyasina yazilarak erisim yetkisi o sunucuya da taninmis olur. Ayrıca Luminious versiyonu ve sonrası kurulumlar için mgr oluşturulur.

ceph-deploy admin zula209 zula210 zula211 zula212
ceph-deploy mgr create zula209

Böylece tüm temel bileşenlerinin kurulumları ve temel seviyede yapılandırılması tamamlanmış olur. Artık '''ceph -s''' veya '''ceph health''' komutları ile ceph kümesinin durumlarına bakılabilir.

cluster:
id: 1521e924-1b18-4192-92b2-448dd9524038
health: HEALTH_OK

services:
mon: 1 daemons, quorum zula209
mgr: zula209(active)
osd: 0 osds: 0 up, 0 in

data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 0 B used, 0 B / 0 B avail
pgs:

===OSD Disk Ekleme ve Yönetimi===
Yukarıda çalıştırılan komutun çıktısına bakıldığında ayakta ve çalışan osd sayısı sıfır olarak görülmektedir. Dolayısıyla ceph kümesinde kullanılabilir alan ve kapasite de bulunmamaktadır. Bu başlık altında her bir host altında yer alan 12 ayrı HDD disk yapılandırılıp kullanılabilir hale getirilecektir. Burada storage backend olarak sahip olduğu pekçok avantajı nedeniyle Bluestore storage backend olarak kurulacaktır. Mimic versiyonunda default olarak FileStore değil BlueStore artık gelmektedir. Bu storage backendleri ile ilgili bilgiler aşağıdan erişilebilir.

[[CEPH_Genel_Bilgiler]]

İlgili sunucular üzerinde kurulum yapmadan önce eskiden kalan ceph lvm volumeler var ise silinmelidir, diğer türlü hata verecek ve osd diski kümeye eklemeyecektir. Aşağıdaki komut ile tek bir volume bilgisini silebilirsiniz.
vgscan
vgremove ceph-c6cc6d67-0de2-4cd0-b9fa-384ecbfc6a00

Hepsini silmek için:

for i in `vgscan | grep Found | awk -Fgroup '{print $2}' | awk '{print $1}' | sed 's/\"//g' ` ; do vgremove $i ; done

Bluestore yapılandırılırken block.db ve block.wal dosyaları performans artırmak için nvme ssd diskler üzerinde (partition) aşağıdaki komut ile tutulabilir, ancak birden fazla osd'nin aynı partition kullanması başlangıçta çalışıyorken ilerleyen zamanlarda bir hata alması durumunda o sunucu üzerindeki tüm OSD'lerin id maplerini karıştırmasi nedeniyle büyük bir soruna neden olabilir. Bu konuda wiki sayfasında ayrıca bir başlıkta bu tecrübelere yer verilecektir.

* block.db ve block.wal islerini nvme ssd diski uzerinde yapabilmek icin sirasiyla 120 ve 240G partition fdisk ile olusturulur. Ardından ceph-deploy komutu ile osd disk oluşturulur.
Device Start End Sectors Size Type
/dev/nvme0n1p1 2048 251660287 251658240 120G Linux filesystem
/dev/nvme0n1p2 251660288 754976767 503316480 240G Linux filesystem

sudo ceph-deploy osd create zula209 --data /dev/sdb --block-db /dev/nvme0n1p1 --block-wal /dev/nvme0n1p2

* block.db ve block.wal eğer block verinin yazılacağı diskte oluşturulacaksa aşağıdaki komut çalıştırılır. Böylece fiziksel sunucu üzerinde yer alan bir fiziksel disk osd disk olarak kümeye eklenir.

sudo ceph-deploy osd create zula209 --data /dev/sdb

Benzer sekilde diger osd disklerde olusturulur ve ceph osd tree komutu ile durumlarina bakilir.
for i in `echo sdc sdd sde sdf sdg sdh sdi sdj sdk sdl sdm`; do ceph-deploy osd create zula209 --data /dev/$i; done

zula210, zula211 ve zula212'de de benzer komutla diskler olusturulur ve osd'lerin durumuna bakilir.

Var olan osd diskler asagidaki sekilde gorulebilir.
$ sudo ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 7.39459 root default
-3 7.39459 host zula209
0 hdd 7.39459 osd.0 up 1.00000 1.00000

Ayrica ceph dizini sembolik linkleri de asagidaki sekilde kontrol edilmelidir. Bu yapılandırmada .db ve .wal dosyaları ssd üzerinde oluşturulduğundan sembolik linkle bu disk bölümüne bağlanmıştır. type dosyasi icerisinde bluestore yazilidir. Bunun disinda block wal ve db nvme linklidir. vgscan ile bakildiginda ceph-3f... volume grubu olusturulmustur. Ek kontroller icin lsblk ve blkid komutlari da kullanilabilir.
$ sudo ls /var/lib/ceph/osd/ceph-0 -ll
total 56
-rw-r--r-- 1 ceph ceph 189 Jun 7 07:32 activate.monmap
lrwxrwxrwx 1 ceph ceph 93 Jun 7 07:32 block -> /dev/ceph-3f44b49a-ff3e-489a-bbf9-af3dd2ffd642/osd-block-ec84a9fa-0b1a-4f33-8ad2-b1a956e4fe4f
lrwxrwxrwx 1 root root 14 Jun 7 07:32 block.db -> /dev/nvme0n1p1
lrwxrwxrwx 1 root root 14 Jun 7 07:32 block.wal -> /dev/nvme0n1p2
-rw-r--r-- 1 ceph ceph 2 Jun 7 07:32 bluefs
-rw-r--r-- 1 ceph ceph 37 Jun 7 07:32 ceph_fsid
-rw-r--r-- 1 ceph ceph 37 Jun 7 07:32 fsid
-rw------- 1 ceph ceph 55 Jun 7 07:32 keyring
-rw-r--r-- 1 ceph ceph 8 Jun 7 07:32 kv_backend
-rw-r--r-- 1 ceph ceph 21 Jun 7 07:32 magic
-rw-r--r-- 1 ceph ceph 4 Jun 7 07:32 mkfs_done
-rw-r--r-- 1 ceph ceph 41 Jun 7 07:32 osd_key
-rw-r--r-- 1 ceph ceph 15 Jun 7 07:32 path_block.db
-rw-r--r-- 1 ceph ceph 15 Jun 7 07:32 path_block.wal
-rw-r--r-- 1 ceph ceph 6 Jun 7 07:32 ready
-rw-r--r-- 1 ceph ceph 10 Jun 7 07:32 type
-rw-r--r-- 1 ceph ceph 2 Jun 7 07:32 whoami

Bu arada sorun olmasi durumunda kalan osd'yi cikarmak icin asagidaki komutlar kullanilir. Ornek id 0'da olan osd icin:
sudo ceph osd down 0; sudo ceph osd destroy 0 --yes-i-really-mean-it;ceph osd rm 0

Ayrica stderr: Device /dev/sdd not found (or ignored by filtering) gibilerinden bir hata almasi durumunda asagidaki islem yapilir. Onceden fdisk ile disk partitionlara bolunup silinse dahi mpt bilgisinin silinmesi gerekiyor. Bu arada osd yapmak istediginiz diskin isletim sisteminin yuklu oldugu root diski olmadigindan emin olmak gerekir.
dd if=/dev/zero of=/dev/sdd count=1
sudo ceph-deploy osd create zula209 --data /dev/sdd --block-db /dev/nvme0n1p1 --block-wal /dev/nvme0n1p2

Son olarak osd disklerin ve ceph kümesinin durumu aşağıdaki komutlarla kontrol edilip diğer sürece başlanır.

sudo ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 354.94043 root default
-3 88.73511 host zula209
0 hdd 7.39459 osd.0 up 1.00000 1.00000
1 hdd 7.39459 osd.1 up 1.00000 1.00000
2 hdd 7.39459 osd.2 up 1.00000 1.00000
3 hdd 7.39459 osd.3 up 1.00000 1.00000
4 hdd 7.39459 osd.4 up 1.00000 1.00000
5 hdd 7.39459 osd.5 up 1.00000 1.00000
6 hdd 7.39459 osd.6 up 1.00000 1.00000
7 hdd 7.39459 osd.7 up 1.00000 1.00000
8 hdd 7.39459 osd.8 up 1.00000 1.00000
9 hdd 7.39459 osd.9 up 1.00000 1.00000
10 hdd 7.39459 osd.10 up 1.00000 1.00000
11 hdd 7.39459 osd.11 up 1.00000 1.00000
-5 88.73511 host zula210
12 hdd 7.39459 osd.12 up 1.00000 1.00000
13 hdd 7.39459 osd.13 up 1.00000 1.00000
14 hdd 7.39459 osd.14 up 1.00000 1.00000
15 hdd 7.39459 osd.15 up 1.00000 1.00000
16 hdd 7.39459 osd.16 up 1.00000 1.00000
17 hdd 7.39459 osd.17 up 1.00000 1.00000
18 hdd 7.39459 osd.18 up 1.00000 1.00000
19 hdd 7.39459 osd.19 up 1.00000 1.00000
20 hdd 7.39459 osd.20 up 1.00000 1.00000
21 hdd 7.39459 osd.21 up 1.00000 1.00000
22 hdd 7.39459 osd.22 up 1.00000 1.00000
23 hdd 7.39459 osd.23 up 1.00000 1.00000
-7 88.73511 host zula211
24 hdd 7.39459 osd.24 up 1.00000 1.00000
25 hdd 7.39459 osd.25 up 1.00000 1.00000
26 hdd 7.39459 osd.26 up 1.00000 1.00000
27 hdd 7.39459 osd.27 up 1.00000 1.00000
28 hdd 7.39459 osd.28 up 1.00000 1.00000
29 hdd 7.39459 osd.29 up 1.00000 1.00000
30 hdd 7.39459 osd.30 up 1.00000 1.00000
31 hdd 7.39459 osd.31 up 1.00000 1.00000
32 hdd 7.39459 osd.32 up 1.00000 1.00000
33 hdd 7.39459 osd.33 up 1.00000 1.00000
34 hdd 7.39459 osd.34 up 1.00000 1.00000
35 hdd 7.39459 osd.35 up 1.00000 1.00000
-9 88.73511 host zula212
36 hdd 7.39459 osd.36 up 1.00000 1.00000
37 hdd 7.39459 osd.37 up 1.00000 1.00000
38 hdd 7.39459 osd.38 up 1.00000 1.00000
39 hdd 7.39459 osd.39 up 1.00000 1.00000
40 hdd 7.39459 osd.40 up 1.00000 1.00000
41 hdd 7.39459 osd.41 up 1.00000 1.00000
42 hdd 7.39459 osd.42 up 1.00000 1.00000
43 hdd 7.39459 osd.43 up 1.00000 1.00000
44 hdd 7.39459 osd.44 up 1.00000 1.00000
45 hdd 7.39459 osd.45 up 1.00000 1.00000
46 hdd 7.39459 osd.46 up 1.00000 1.00000
47 hdd 7.39459 osd.47 up 1.00000 1.00000

===CEPH Servisleri Oluşturma===
Birden fazla monitör servisinin eklenmesi gerekmektedir, bir tanesi gittiğinde ceph kümesi diğer kalan monitörler üzerinden devam edebilmektedir. Bu örnekte osd hostlar üzerinde birden fazla monitör servisi çalıştırılmaktadır. Ayrı bir sunucu üzerinden çalışması daha iyi olabilecektir. Bunun dışında mgr ve rgw gibi servislerde bu fiziksel sunucular üzerinde yedekli olacak şekilde basitçe yapılandırılmıştır.

$ sudo ceph -s
cluster:
id: b49d69c7-e017-4f9f-b69b-57d3efe7987b
health: HEALTH_WARN
too few PGs per OSD (2 < min 30)

services:
mon: 4 daemons, quorum zula209,zula210,zula211,zula212
mgr: zula209(active), standbys: zula212
osd: 48 osds: 48 up, 48 in
rgw: 1 daemon active

data:
pools: 4 pools, 32 pgs
objects: 219 objects, 1.1 KiB
usage: 5.7 TiB used, 349 TiB / 355 TiB avail
pgs: 32 active+clean

Tum OSD'ler calisiyor ve ayakta. zula210,zula211 ve zula212'ye monitor eklemek icin
ceph-deploy mon add zula210
ceph-deploy mon add zula211
ceph-deploy mon add zula212

mgr ve rgw nodlarini eklemek icin sirasiyla asagidaki komutlar calistirilir.
ceph-deploy mgr create zula212
ceph-deploy rgw create zula209

=== POOL Oluşturma, PG_NUM ve REPLICA Ayarları ===
Replika sayisi 3, eger o an PG degraded durumunda ise yine 3 olacak sekilde (degrade durumunda kalan osd sayisi, veri kritik islerde yuksek tutmakta fayda var) conf dosyasi duzenlenir. Ayrica default pg sayisini belirlemek icin her bir osd icin 100 pg onerilmistir. Buna gore pg sayisi (OSD sayisi x100)/replika sayisi yani (4x12x100)/3=1600 olarak verilmistir. 2'nin kati olacak en yakin sayi 2048 oldugundan bu kapasitede bir CEPH kümesi için her pool'a toplamda verilebilecek pg sayısı en fazla 2048 olmalıdır.

[global]
osd pool default size = 3 # Write an object 3 times.
osd pool default min size = 3 # Allow writing two copy in a degraded state.

osd pool default pg num = 64
osd pool default pgp num = 64

Her bir pool için defaultta oluşturulacak pg sayısı 64 olarak yukarıda verilmiştir. Sahip olacagimiz toplam pg sayisi ise hesaba göre 2048'dir. Her bir pool icin bu sayiyi dagitmak dikkat isteyen diger bir istir. Bunun icin https://ceph.com/pgcalc/ sayfasinda bir hesaplama araci verilmistir. Buna gore pool'un gelecek yil buyume orani, kapasitenin ne kadarini kullanabilecegi ve replika sayisi gibi parametreler verilmistir. Yeni bir pool olustururken buna dikkat etmekte fayda var.

NOT: PG sayisi artirilabilir, ancak asla ilgili poolu yok edip olusturmadan azaltilamaz. Degisiklik isleminin cluster performansi uzerinde buyuk etkisi vardır.

Bunlarin disinda sudo ceph -s komutu ile clusterin durumuna bakildiginda:
cluster:
id: b49d69c7-e017-4f9f-b69b-57d3efe7987b
health: HEALTH_WARN
too few PGs per OSD (2 < min 30)

hatasi gorulmektedir. Bu pg sayisinin OSD bazında oldukca az olmasindan kaynaklidir. '''sudo ceph osd lspools komutu''' ile olusturulmus olan pool'lar listelenebilir.
1 .rgw.root
2 default.rgw.control
3 default.rgw.meta
4 default.rgw.log

Bunlarin pg sayisi ise asagidaki komutla alinir.
sudo ceph osd pool get .rgw.root pg_num
pg_num: 8
sudo ceph osd pool get .rgw.root pgp_num
pgp_num: 8

Her bir pool'da pg ve pgp sayisi 64 olacak sekilde asagidaki sekilde guncellendi.
sudo ceph osd pool set .rgw.root pg_num 64
set pool 1 pg_num to 64
sudo ceph osd pool set .rgw.root pgp_num 64
set pool 1 pgp_num to 64

Son olarak block device icin 1024 pg ve pgp sayisina sahip alan olusturuldu. Default'ta replika sayisi(size) 3 oldugundan dokunulmadi.Ancak degraded durumunda sayi 2'den 3'e artirildi.
sudo ceph osd pool create rbd 1024
sudo ceph osd pool get rbd pgp_num
sudo ceph osd pool set rbd min_size 3
set pool 5 min_size to 3

cluster durumu tekrar kontrol edildiginde artik OK olarak guncellendi.
sudo ceph -s
cluster:
id: b49d69c7-e017-4f9f-b69b-57d3efe7987b
health: HEALTH_OK

services:
mon: 4 daemons, quorum zula209,zula210,zula211,zula212
mgr: zula209(active), standbys: zula212
osd: 48 osds: 47 up, 47 in
rgw: 1 daemon active

data:
pools: 5 pools, 1280 pgs
objects: 219 objects, 1.1 KiB
usage: 5.6 TiB used, 342 TiB / 348 TiB avail
pgs: 1280 active+clean

Böylece 342TB kapasiteli, 48 osd diske ve 1280 pg sayısına sahip bir CEPH kümesi kuruldu ve kullanıma hazır hale getirildi.

=== Block Image Oluşturma/Silme ve Benchmark testi ===
Kernel'lar arasi sorunu gidermek icin asagidaki komut calistirilir. Block device image map aderken sorun olmasin diye de --image-feature layering ile imaj olusturulur.
ceph osd crush tunables legacy

Yukaridaki komut calistirilmadiginda image olusturulsa bile map isleminde hata veriyor. legacy'ye cekildiginde ceph -s komutu ile bakildiginda asagidaki 2 hatayi veriyor.
crush map has straw_calc_version=0
application not enabled on 2 pool(s)
Bunlar rbd map islemi sonrasinda sirasiyla duzeltilecek.

Sonra pg ve pgp_num 128 olan rbdbench adında bir pool oluşturulur. Bu block device üzerinden bir imaj oluşturularak ext4 dosya sistemi üzerine atanır. Son olarak mount edilerek rbd üzerinden kullanılması sağlanır. benchmark testi icin ssd ve hdd poollari icin ayri ayri image olusturulup benchmark testi yapilabilir.

ceph osd pool create rbdbench 128 128
rbd create image01 --size 1024 --pool rbdbench --image-feature layering
sudo rbd map image01 --pool rbdbench --name client.admin

sudo /sbin/mkfs.ext4 -m0 /dev/rbd/rbdbench/image01
sudo mkdir /mnt/ceph-block-device
sudo mount /dev/rbd/rbdbench/image01 /mnt/ceph-block-device

islem bittikten sonra once optimal'e cekilir. sonra da her bir pool icin application seviyesinde rbd olacak sekilde izin verilir. Sonra ceph -s komutu ile durumu kontrol edilir. Örnek olarak rbdhdd ve rbdssd adında 2 pool oluşturulmuş ve ayarları aşağıda yapılmıştır.
ceph osd crush tunables optimal
ceph osd pool application enable rbdhdd rbd
ceph osd pool application enable rbdssd rbd

df -h
Filesystem Size Used Avail Use% Mounted on
/dev/rbd0 99G 60M 99G 1% /mnt/ceph-hdd-block-device
/dev/rbd1 99G 60M 99G 1% /mnt/ceph-ssd-block-device

* MIMIC oncesi versiyonlarda asagidaki komut kullanilir.
rbd bench-write image01 --pool=rbdbench

rbd: bench-write is deprecated, use rbd bench --io-type write ...
bench type write io_size 4096 io_threads 16 bytes 1073741824 pattern sequential
SEC OPS OPS/SEC BYTES/SEC
1 24816 21333.36 87381441.21
2 51888 25952.03 106299523.23
3 88480 29498.70 120826687.85
4 130704 32647.39 133723721.53
5 176560 35315.24 144651237.79
6 221088 40585.66 166238855.38
elapsed: 7 ops: 262144 ops/sec: 37427.80 bytes/sec: 153304276.10

* MIMIC ve sonraki versiyonlarda asagidaki komut kullanilir.
rbd -p rbdhdd bench imagehdd --io-type write --io-size 8192 --io-threads 256 --io-total 8G --io-pattern seq
rbd -p rbdssd bench imagessd --io-type write --io-size 8192 --io-threads 256 --io-total 8G --io-pattern seq

Tüm bu işlemlerden sonra benchmark için oluşturulmuş block pool ve imajlarını kaldırmak için aşağıdaki komutlar çalıştırılır.
umount /mnt/ceph-block-device
rm -rf /mnt/ceph-block-device/
rbd unmap rbdbench/image01
rbd rm rbdbench/image01

'''koruma mekanizmasini devre disi birakmak icin'''
ceph tell mon.* injectargs --mon-allow-pool-delete=true
ceph osd pool delete rbdbench rbdbench --yes-i-really-really-mean-it
ceph tell mon.* injectargs --mon-allow-pool-delete=false

=== Benchmark Ceph Object ===
RADOS üzerinden object gw ile benchmark testi yapabilmek için yeni kurulan ortamda öncelikle bir kullanıcı oluşturmak, yetkilendirmek ve bu kullanıcının test yapacağı pool oluşturmaktır. Aşağıda python swift kütüphanesi test işleri için kullanılabilir.
apt install python-swift swift-bench

benchmark id sinde kullanıcı oluşturmak için:
radosgw-admin user create --uid="benchmark" --display-name="benchmark"
radosgw-admin subuser create --uid=benchmark --subuser=benchmark:swift --access=full
radosgw-admin key create --subuser=benchmark:swift --key-type=swift --secret=guessme
radosgw-admin user modify --uid=benchmark --max-buckets=0

Yetkilendirme için swift.conf dosyası örnekte olduğu gibi oluşturulur.
[bench]
auth = http://192.168.56.209:7480/auth/v1.0
user = benchmark:swift
key = Passw0rd
auth_version = 1.0

Son olarak rados ile benchmark testi 10 saniye boyunca 4M, 16 thread ile islem yapmak için aşağıdaki komut çalıştırılır.
swift-bench -c 64 -s 4096 -n 1000 -g 100 swift.conf

=== POOL, OSD KULLANIM ve PERFORMANS metrikleri, KOTA Tanimlama ===
Son olarak yapilan islemi kontrol etmek icin herbir poolun detaylarina bakmak gerekir. Asagidaki komutla crush rule setleri ile birlikte pg ve pgp sayilari kontrol edilebilir.
ceph osd pool ls detail
pool 13 'rbdssd' replicated size 3 min_size 3 crush_rule 1 object_hash rjenkins pg_num 128 pgp_num 128 last_change 458 flags hashpspool stripe_width 0
pool 14 'rbdhdd' replicated size 3 min_size 3 crush_rule 0 object_hash rjenkins pg_num 128 pgp_num 128 last_change 462 flags hashpspool stripe_width 0

Tum bunlarin disinda
ceph df detail
komutu ile her bir pool'a ait kullanim bilgileri izlenebilir. Buna gore rbdssd icin kullanilabilir maksimum alan 471GB iken rbdhdd icin 111TB alan ayrilmistir. Henuz kullanima baslamadigindan herhangi bir kullanim alani gorunmemektedir. Iligli pool'a maksimum atilabilecek obje sayisi ve tutulabilecek en fazla olan kota olarak tanimlanabilir. Ornegin rbdssd pool'i icin en fazla 100K obje, 256 GiB alan ici asagidaki komutlar sirasiyla calistirilabilir,

ceph osd pool set-quota rbdssd max_objects 100000
ceph osd pool set-quota rbdssd max_bytes 274877906944

ceph df detail
GLOBAL:
SIZE AVAIL RAW USED %RAW USED OBJECTS
351 TiB 351 TiB 55 GiB 0.02 221
POOLS:
NAME ID QUOTA OBJECTS QUOTA BYTES USED %USED MAX AVAIL OBJECTS DIRTY READ WRITE RAW USED
.rgw.root 9 N/A N/A 1.1 KiB 0 111 TiB 4 4 27 B 4 B 3.4 KiB
default.rgw.control 10 N/A N/A 0 B 0 111 TiB 8 8 0 B 0 B 0 B
default.rgw.meta 11 N/A N/A 362 B 0 111 TiB 2 2 0 B 3 B 1.1 KiB
default.rgw.log 12 N/A N/A 0 B 0 111 TiB 207 207 45 KiB 30 KiB 0 B
rbdssd 13 100 k 256 GiB 0 B 0 471 GiB 0 0 0 B 0 B 0 B
rbdhdd 14 N/A N/A 0 B 0 111 TiB 0 0 0 B 0 B 0 B

ceph osd df komutu ile de benzer sekilde osd'lere ait kullanimlar listelenebilir. Her bir pool ve osd icin kullanim oranlarinin gosterilmesi yaninda performans metrikleri de incelenebilir.
rados df
komutu her bir pool icin disk iops ve throughput islemini verecektir. watch komutu ile birlikte gercek zamanli cluster'in durumu izlenebilir.

'''ceph pg dump''' komutu da ceph clusterin durumunu izlemek icin kullanisli bir komuttur.

Her bir pool'a ait pg sayisi artirilabilir ancak azaltilamaz. O yuzden pg sayisini belirlerken bu noktaya dikkat etmek gerekir. Onceki ornekte olusturulan rbdssd ve rbhdd icin pg sayilarini 128'den 256'ya cikarmak icin asagidaki komutlar kullanilir. Boylece osd basina en az olmasi gereken pg sayisi 30'un uzerine cikarilmis oldu.
ceph osd pool set rbdhdd pg_num 256
ceph osd pool set rbdhdd pgp_num 256
ceph osd pool set rbdssd pg_num 256
ceph osd pool set rbdssd pgp_num 256

FILESTORE KURULUMU

2018-09-20T12:03:46Z

Admin:

== Test Sistemi Donanım Bilgileri ==
6 Adet Dell R815 Sunucu, 5 Adedi data düğümü bir adedi monitör olarak kullanıldı. Data sunucularının özellikleri:
* 4 x AMD Opteron(tm) Processor 6174 İşlemci
* 128GByte Bellek
* 5x500GByte 7200RPM SAS Disk, 1 Adet 240G SSD Disk

root@ceph1:/home/ubuntu# lshw -short -C disk
H/W path Device Class Description
============================================================
/0/100/4/0/0/0/2.0.0 /dev/sda disk 499GB PERC H700
/0/100/4/0/0/0/2.1.0 /dev/sdb disk 499GB PERC H700
/0/100/4/0/0/0/2.2.0 /dev/sdc disk 499GB PERC H700
/0/100/4/0/0/0/2.3.0 /dev/sdd disk 499GB PERC H700
/0/100/4/0/0/0/2.4.0 /dev/sde disk 239GB PERC H700
/0/100/4/0/0/0/2.5.0 /dev/sdf disk 499GB PERC H700

* 4 Adet 1Gbps Ethernet kartı

root@ceph1:/home/ubuntu# lshw -short -C network
H/W path Device Class Description
============================================================
/0/100/2/0 em1 network NetXtreme II BCM5709 Gigabit Ethernet
/0/100/2/0.1 em2 network NetXtreme II BCM5709 Gigabit Ethernet
/0/100/3/0 em3 network NetXtreme II BCM5709 Gigabit Ethernet
/0/100/3/0.1 em4 network NetXtreme II BCM5709 Gigabit Ethernet

Sunucu bağlantıları için ilk olarak 1Gbps arayüz ile Juniper EX4300 Anaharalama cihaz ile yapıldı. Daha sonra Intel 82599 chiptetli 10Gbps ethernet kartları takılarak Cluster ağı 10Gbps olarak bağlandı.

== Test Sistemi Bağlantı Şeması ==
[[Dosya:Network_conf.png|büyükresim]]

== İşletim Sistemi Yapılandırması ==
=== İşletim Sistemi Sürümü ===
İşletim sistemi olarak ubuntu MAAS aracılığı ile ubuntu-14.04 kuruldu. Ubuntu 14.04 ile gelen 3.13.0-48 çekirdeği 3.15 ve üzeri çekirdekler ile gelen xfs dosya sistemindeki değişikleri (boş olan inode’latın takibi için btree desteği) içermediğinden işletim sistemi çekirdeği

apt-get -y install linux-image-generic-lts-utopic

komutu ile 3.16.0-33 olarak güncellendi.

=== /etc/hosts Dosyasının Düzenlenmesi ===
Sunucuların birbirinden haberdar olması için /etc/hosts dosyasına sunucu bilgileri eklendi.

172.16.3.3 ceph1
172.16.3.10 ceph2
172.16.3.11 ceph3
172.16.3.12 ceph4
172.16.3.13 ceph5
172.16.3.14 cephm

=== NTP ile Saat Senkronizasyonu ===
Sunucuların saatlerinin senkronize edilmesi için sisteme ntp sunucu kurup gerekli yapılandırma gerçekleştirildi.

=== /etc/security/limits.conf Dosyası Dosya Açma Limitlerinin Arttırılması ===
Kullanıcıların açabileceği maksimum dosya tanımlayıcısı (file descriptor) sayısını /etc/security/limits.conf dosyasına aşağıdaki satırları ekleyerek arttırıyoruz.

soft nofile 65000
hard nofile 65000

=== SSD Diskler İçin I/0 Scheduler ve Rotation Değerlerinin Değiştirilmesi ===
SSD disklerin scheduler’i atanmış değerinden SSD diskler için daha uygun olan noop’a değiştirmek için: (SSD disk sde)

echo noop > /sys/block/sde/queue/scheduler

yazmak yeterli. SSD diskler klasik diskler gibi dönen hareketli parçalardan oluşmadığı için SSD diskleri kullanan işletim sistemlerinin I/O operasyonlarını bu durumu göz önüne alarak gerçekleştirmeleri gerekiyor. Bu nedenle SSD disklerin rotation değeri 0 olmalı. Mevcut durumu görmek için:

root@ceph1:/home/ceph# cat /sys/block/sde/queue/rotational
1

komutunu kullandığımızda değerin 1 olduğunu görüyoruz. Normalde işletim sisteminin diskin SSD olduğunu anlayıp bu değer 0 yapmasını bekliyoruz. Manüel olarak 0 yapmak için:

echo "1" > /sys/block/sde/queue/rotational

=== Disk read_ahead değerinin Arttırılması ===
Disklerin atanmış değerleri olan 128, 2048 olarak değiştirildi. Mevcut değeri görmek için:
root@ceph1:/home/ceph# cat /sys/block/sde/queue/read_ahead_kb
128

Yeni değerin atanması:

root@ceph1:/home/ceph# echo 2084 > /sys/block/sde/queue/read_ahead_kb
root@ceph1:/home/ceph# cat /sys/block/sde/queue/read_ahead_kb
2084

OSD diskleri için değerleri açılışta geçerli kılmak için aşağıdaki satırları /etc/rc.local dosyasına ekleyebilirsiniz.

echo 2084 > /sys/block/sdb/queue/read_ahead_kb
echo 2084 > /sys/block/sdc/queue/read_ahead_kb
echo 2084 > /sys/block/sdd/queue/read_ahead_kb
echo 2084 > /sys/block/sde/queue/read_ahead_kb
echo 2084 > /sys/block/sdf/queue/read_ahead_kb

read_ahead_kb değerinin arttırılması sıralı okuma (sequential read) performansınızı arttıracaktır. I/O örüntünüze göre bu değeri daha arttırarak performans kazanımı sağlayabilirsiniz. Bu değerin arttırılması hafıza kullanımının artmasına neden olacağı için bellek kullanımı üzerinde bir baskı oluşturabilir.

yazmak yeterli. Açılışta geçerli olması için echo ile başlayan komutları satırı /etc/rc.local’a ekleyebilirsiniz.

=== Apparmor Yazılımının Kapatılması===
invoke-rc.d apparmor kill
update-rc.d -f apparmor remove

== XFS Dosya Sistemi Yapılandırması ==
=== Ceph XFS Dosya Sistemi Yapılandırması ===
Ceph’te ext4,btrfs ve xfs dosya sistemi olarak kullanılabiliyor. Btrfs’in henüz production için kullanımı önerilmiyor. Ceph belgelerinde production sistemler için xfs kullanımı önerildiği için kurulumu xfs üzerinden gerçekleştiriyoruz.
Dosya sisteminin ne olacağı, mkfs ve mount opsiyonları ceph.conf dosyasında tanımlanıyor.

===Dosya Sistemi Yaratılması ===
Disklerin dosya sistemini yaratırken mkfs.xfs programında ilk olarak size=2048 argümanını kullanıyoruz. Bunun nedeni ceph tarafından kullanılan Extended Attributes (XATTRs) daha fazla alan açmak. Size argümanı inode büyüklüğü tanımlamak için kullanılıyor. Atanmış değeri (default) 256 ki buda 256Byte’a karşılık geliyor. 512 Byte inode kullanımında ortalama 350 Byte’lık bir alan xattr kullanımına kalıyor. Bu değeri 2048 yaptığımızda yaklaşık1900 Byte alanı xattr için ayırmış oluyoruz.

mkfs.xfs programına argüman olarak kullandığımız opsiyonlardan bir diğeri finobt=1. Bu argüman xfs’in boş inode’ların takibini btree algoritması ile yapılmasını sağlıyor. Bu özelliği kullanmak için çekirdek sürümünüzün 3.15 xfsprogs sürümünüzün 3.2 ve üzeri olması gerekiyor.

Ubuntu 14.04 ile xfsprogs sürümü 3.1.9 olarak geliyor. xfsprogs 3.2 ve üzerinde gelen finobt argümanının kullanabilmek için xfsprogs paketini aşağıdaki komutları kullanarak güncelliyoruz.

wget -c http://mirrors.kernel.org/ubuntu/pool/main/x/xfsprogs/xfsprogs_3.2.1ubuntu1_amd64.deb
dpkg -i xfsprogs_3.2.1ubuntu1_amd64.deb

mkfs.xfs programında kullandığımız üçüncü argüman crc=1. Bu argüman xfs’in metadatadaki bozulmaları karcı CRC32 algoritmasını kullanarak denetlemesini sağlıyor. Hepsi bir arada komut sdb diski için dosya sistemi yaratmak istersek:

mkfs.xfs -m crc=1,finobt=1 -f -i size=2048 /dev/sdb
halini alıyor.

=== Dosya Sistemi Mount Opsiyonları ===
Örnek olarak verdiğimizi sdb diskinin fstab’a eklemek için:

/dev/sdb /disk1 xfs rw,noatime,inode64,logbsize=256k,delaylog 0 1

Kullandığımız mount opsiyonları açıklamaları:
noatime: Dosya sisteminin en son erişim zamanı bilgisini tutmaması için
inode64: 1TByte üzeri disklerde kullanılması önerilen ve inode’ların 64 bit olarak tanımlanması
logbsize=256k : Çok fazla okuma yazma yapan dosya sistemleri için artırılması öneriliyor. Atanmış değeri 32k
delaylog: Metadata bilgisinin bellekte mümkün olduğunca tutulup yapılan I/O miktarını azaltan bir opsiyon.
Ceph’te dosya sistemini yaratılırken hangi opsiyonların kullanılacağını ceph.conf’ta [osd] başlığı altında tanımlıyoruz. Elle mkfs yapmanıza yada mount etmenize gerek yok.

[osd]
osd mkfs type = xfs
osd mkfs options xfs = -m crc=1,finobt=1 -f -i size=2048
osd mount options xfs = rw,noatime,inode64,logbsize=256k,delaylog

== Ceph Yazılımı Kurulumu ==
İlk olarak tüm sunucularda ceph kullanıcısını açıyoruz.

root# useradd -d /home/ceph -m ceph
root# apt-get install sudo
root# echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph
root# chmod 0440 /etc/sudoers.d/ceph

Ceph monitor sunucusunda (cephm) ssh anahtarlarını yaratıyoruz:

ceph@cephm: ssh-keygen -t dsa

Yarattığımız ssh anahtarlarını ceph depolama sunucularına (ceph1,ceph2,ceph3,ceph4,ceph5) kopyalıyoruz:

ceph@cephm: ssh-copy-id -i .ssh/id_dsa.pub ceph@ceph1
ceph@cephm: ssh-copy-id -i .ssh/id_dsa.pub ceph@ceph2
ceph@cephm: ssh-copy-id -i .ssh/id_dsa.pub ceph@ceph3
ceph@cephm: ssh-copy-id -i .ssh/id_dsa.pub ceph@ceph4
ceph@cephm: ssh-copy-id -i .ssh/id_dsa.pub ceph@ceph5

Tüm sunucularda Ceph reposunu ekleyip ceph’i kuruyoruz:

root# wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -
root# echo deb http://ceph.com/debian-giant/trusty main | sudo tee /etc/apt/sources.list.d/ceph.list
root# apt-get update
root# apt-get install ceph-deploy

Cephm sunucusunda ceph kullanıcısı ile aşağıdaki komutları çalıştırıyoruz. İlk olarak config isimli bir dizin yaratıp yaptığımız yapılandırmalarının bu dizin altında yer almasını sağlayalım.

mkdir config
cd config

ceph-deploy ile ilk sunucumuz olan monitor sunucusunu tanımlayalım.

ceph-deploy new cephm

Bu komuttan sonra bulunduğunuz dizinin içinde ceph.mon.keyring dosyası ile ceph.conf dosyasının oluşmuş olması gerekiyor. ceph.conf dosyasına [global] tanımı altına aşağıdaki satırları ekliyoruz:

#20 disk x 100 / 3 replica = 666
osd pool default pg num = 666
osd pool default pgp num = 666
osd pool default size = 3
public network = 172.16.3.0/16
cluster network = 10.10.10.0/24

[osd] kısmı altında xfs dosya sistemi yaratılırken ve mount edilirken geçerli olacak argümanları tanımlıyoruz.

osd mkfs type = xfs
osd mkfs options xfs = -m crc=1,finobt=1 -f -i size=2048
osd mount options xfs = rw,noatime,inode64,logbsize=256k,delaylog

ceph.conf dosyamızın son hali aşağıdaki şekilde:

[global]
fsid = 12bee812-a843-4103-9321-febe8c5108e6
mon_initial_members = cephm
mon_host = 172.16.3.14
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true
#20 disk x 100 / 3 replica = 666
osd pool default pg num = 666
osd pool default pgp num = 666
osd pool default size = 3
public network = 172.16.3.0/16
cluster network = 10.10.10.0/24
[osd]
osd mkfs type = xfs
osd mkfs options xfs = -m crc=1,finobt=1 -f -i size=2048
osd mount options xfs = rw,noatime,inode64,logbsize=256k,delaylog

Bu aşamdan sonra ceph-deploy ile sunucuların kurulumlarını ve monitör sunucusu tanımlarını yapıyoruz:

ceph-deploy install cephm ceph1 ceph2 ceph3 ceph4 ceph5
ceph-deploy mon create-initial

Bundan sonraki aşamada sunucular üzerinde osd için kullanacağımız diskleri hazırlıyoruz. Zap kumutu disklerde bulunan partition vs bilgisini siliyor. osd prepare’ ile disklerin ceph için hazırlanma işlemleri gerçekleştiriliyor. /dev/sde diski journal için kullanılacak olan SSD diski. Bu nedenle osd prepare komutunda hazırlancak diskten sonra araya : koyararak ekliyoruz.

ceph-deploy disk zap ceph1:sdb ceph1:sdc ceph1:sdd ceph1:sde ceph1:sdf
ceph-deploy osd prepare ceph1:sdb:/dev/sde
ceph-deploy osd prepare ceph1:sdc:/dev/sde
ceph-deploy osd prepare ceph1:sdd:/dev/sde
ceph-deploy osd prepare ceph1:sdf:/dev/sde

ceph-deploy disk zap ceph2:sdb ceph2:sdc ceph2:sdd ceph2:sde ceph2:sdf
ceph-deploy osd prepare ceph2:sdb:/dev/sde
ceph-deploy osd prepare ceph2:sdc:/dev/sde
ceph-deploy osd prepare ceph2:sdd:/dev/sde
ceph-deploy osd prepare ceph2:sdf:/dev/sde

ceph-deploy disk zap ceph3:sdb ceph3:sdc ceph3:sdd ceph3:sde ceph3:sdf
ceph-deploy osd prepare ceph3:sdb:/dev/sde
ceph-deploy osd prepare ceph3:sdc:/dev/sde
ceph-deploy osd prepare ceph3:sdd:/dev/sde
ceph-deploy osd prepare ceph3:sdf:/dev/sde

ceph-deploy disk zap ceph4:sdb ceph4:sdc ceph4:sdd ceph4:sde ceph4:sdf
ceph-deploy osd prepare ceph4:sdb:/dev/sde
ceph-deploy osd prepare ceph4:sdc:/dev/sde
ceph-deploy osd prepare ceph4:sdd:/dev/sde
ceph-deploy osd prepare ceph4:sdf:/dev/sde

ceph-deploy disk zap ceph5:sdb ceph5:sdc ceph5:sdd ceph5:sde ceph5:sdf
ceph-deploy osd prepare ceph5:sdb:/dev/sde
ceph-deploy osd prepare ceph5:sdc:/dev/sde
ceph-deploy osd prepare ceph5:sdd:/dev/sde
ceph-deploy osd prepare ceph5:sdf:/dev/sde

Son olarak admin nodu’u tanımı:

ceph-deploy admin cephm ceph1 ceph2 ceph3 ceph4 ceph5
sudo chmod +r /etc/ceph/ceph.client.admin.keyring

Her şey yolunda giderse:

ceph health

komutun çıktısı aşağıdaki şekilde olmalı:
HEALTH_OK

Aşağıdaki hatayı almanız pgs sayısını arttırmanız gerektiği anlamına geliyor:

HEALTH_WARN too few pgs per osd (3 < min 20)

Sayıyı arttırmak için aşağıdaki komutu kullanabilirsiniz.

ceph osd pool set rbd pgp_num 666
ceph osd pool set rbd pg_num 666

== Ceph Calamari GUI Kurulumu ==
Calamari Intank tarafınfan ceph’in izlenmesi için geliştirilen bir gui uygulaması. Orjinal kurulum belgesi oldukça karışık, İnternette arama yaparken bulduğum belge üzerinde Ubuntu 14.04 üzerinden calamari kurulumu gerçekleştirdim. Yazıldığı şekilde çalışmadığı için bir kaç ekleme yapmak gerekti. Kurulum için ilk olarak gerekli olan deb paketlerini hazırlamanız gerekiyor.

=== Calamari Kurulum için Gerekli Paketler ===
echo "deb http://ppa.launchpad.net/saltstack/salt/ubuntu trusty main"
> /etc/apt/sources.list.d/saltstack.list

wget -q -O- "http://keyserver.ubuntu.com:11371/pks/lookup?op=get&
search=0x4759FA960E27C0A6" | sudo apt-key add -

apt-get update
apt-get install salt-master salt-minion salt-syndic

echo "deb http://apt.postgresql.org/pub/repos/apt/ trusty-pgdg main"
> /etc/apt/sources.list.d/pgdg.list

wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc
| sudo apt-key add -

apt-get update && sudo apt-get upgrade
apt-get install -y curl build-essential openssl libssl-dev apache2
libapache2-mod-wsgi libcairo2 supervisor python-cairo libpq5
postgresql python-m2crypto python-virtualenv git python-dev swig
libzmq-dev g++ postgresql-9.1 postgresql-server-dev-9.1 libcairo2-dev
python-pip libpq-dev ruby debhelper python-mock python-configobj
cdbs gem ruby1.9.1 ruby1.9.1-dev make devscripts
software-properties-common python-support

cd ~
git clone https://github.com/joyent/node.git
cd node
git checkout v0.10.10
./configure
make -j4
make install

mkdir ~/npm
cd ~/npm
wget --no-check-certificate https://npmjs.org/install.sh
sh install.sh

npm install -g bower
npm install -g coffee-script
npm install -g grunt-cli
npm install -g grunt-legacy-util
npm install -g grunt-legacy-log
npm install -g dateformat
npm install -g eventemitter2
npm install -g glob
npm install -g minimatch
npm install -g findup-sync
npm install -g js-yaml
npm install -g rimraf
npm install -g iconv-lite
npm install -g nopt
npm install -g grunt-lib-contrib
npm install -g uglify-js
npm install -g filesize
npm install -g optipng-bin
npm install -g jpegtran-bin
gem install compass
gem install sass

=== Calamari Server Kurulumu Paketi Hazırlanması ===

cd ~
git clone https://github.com/ceph/calamari.git
cd calimari
cd debian
mv source source.old
cd ..
dpkg-buildpackage

Bu işlemlerden sonra bir alt dizinde aşağıdaki dosyalar oluşacak:

calamari-server_1.0.0-1_amd64.deb calamari_1.0.0-1.tar.gz

=== Diamond Kurulumu Paketi Hazırlanması ===
git clone https://github.com/ceph/Diamond.git
cd Diamond
git checkout calamari
dpkg-buildpackage
cd ..
ls diam*
diamond_3.1.0_all.deb diamond_3.1.0_amd64.changes diamond_3.1.0.dsc
diamond_3.1.0.tar.gz

Tüm işlemler bitinde yaratılan tüm dosyaları bir dizin altına toplayın. Buraya kadar olan derleme kısmı sonunda elinizde bulunması gereken dosyalar:

ceph@cephm:~/CEPH$ ls -al
total 40176
drwxrwxr-x 2 ceph ceph 4096 Apr 3 07:06 .
drwxr-xr-x 15 ceph ceph 4096 Apr 6 09:20 ..
-rwxr-xr-x 1 root root 23263443 Apr 2 09:14 calamari_1.0.0-1.tar.gz
-rwxr-xr-x 1 root root 319104 Apr 2 14:45 calamari-admin.tar.gz
-rwxr-xr-x 1 root root 563767 Apr 2 14:45 calamari-dashboard.tar.gz
-rwxr-xr-x 1 root root 338871 Apr 2 14:45 calamari-login.tar.gz
-rwxr-xr-x 1 root root 491400 Apr 2 14:45 calamari-manage.tar.gz
-rwxr-xr-x 1 root root 11027912 Apr 2 09:21 calamari-server_1.0.0-1_amd64.deb
-rwxr-xr-x 1 ceph ceph 231674 Apr 2 14:46 diamond_3.1.0_all.deb
-rwxr-xr-x 1 ceph ceph 1123 Apr 2 14:46 diamond_3.1.0_amd64.changes
-rwxr-xr-x 1 ceph ceph 711 Apr 2 14:46 diamond_3.1.0.dsc
-rwxr-xr-x 1 ceph ceph 4874357 Apr 2 14:46 diamond_3.1.0.tar.gz

=== CALAMARİ Sunucusu Kurulumu ===
Kurulumu cephm sunucusunda yapım. Kurulum için gerekli olan dosyaları /home/ceph/CEPH dizini altında.

mkdir -p /opt/calamari/webapp/content
cd /opt/calamari/webapp/content/
mkdir dashboard
cd dashboard/
tar -xzvf /home/ceph/CEPH/calamari-dashboard.tar.gz
cd ..
mkdir login
mkdir manage
mkdir admin
cd login
tar -xzvf /home/ceph/CEPH/calamari-login.tar.gz
cd ..
cd manage
tar -xzvf /home/ceph/CEPH/calamari-manage.tar.gz
cd ..
cd admin
tar -xzvf /home/ceph/CEPH/calamari-admin.tar.gz
cd ..
cd /home/ceph/CEPH

aptitute install python-twisted python-txamqp python-greenlet
python-sqlalchemy python-gevent

dpkg -i ./calamari-server_1.0.0-1_amd64.deb

En son komutun çıktısı:

root@cephm:/home/ceph/CEPH# dpkg -i ./calamari-server_1.0.0-1_amd64.deb
(Reading database ... 100135 files and directories currently installed.)
Preparing to unpack .../calamari-server_1.0.0-1_amd64.deb ...
Unpacking calamari-server (1.0.0-1) over (1.0.0-1) ...
Setting up calamari-server (1.0.0-1) ...
ERROR: Module version does not exist!
salt-master stop/waiting
salt-master: no process found
salt-master start/running, process 52801
Stopping supervisor: supervisord.
Starting supervisor: supervisord.
* Stopping web server apache2 *
* Starting web server apache2 *
Thank you for installing Calamari.

Please run 'sudo calamari-ctl initialize' to complete the installation.

Diamond paketini de kuruyoruz:

dpkg -i ./diamond_3.1.0_all.deb

Salt Minion paketini kurup gerekli ayarları yapıyoruz:

apt-get install salt-minion

/etc/salt/minion dosyasında master ile başlayan tanıma sunucu kurulumunun yaptığımız sunucunun ismini yazıyoruz:

master: cephm

diamond ve salt-minion servislerini restart ediyoruz.

service diamond restart
service salt-minion restart

En son olarak sunucu tarafından calamari programının başlatılması için gerekli komutu yazıyoruz. Bu aşamada size web arayüzü için kullanıcı adı ve parola soracak.

calamari-ctl initialize

=== CALAMARİ İstemcileri Kurulumu ===
ceph1,ceph2,ceph3,ceph4,ceph5 sunucularına istemci kurulumlarını yapıyoruz.

aptitude install python-support
dpkg -i ./diamond_3.1.0_all.deb
cd /etc/diamond/
cp diamond.conf.example diamond.conf
apt-get -y install salt-minion

/etc/salt/minion dosyasında master ile başlayan tanıma sunucu kurulumunun yaptığımız sunucunun ismini yazıyoruz.

master: cephm

diamond ve salt-minion servislerini restart ediyoruz.

service diamond restart
service salt-minion restart

İstemcilerde salt-minion’u restart ettikten 30sn-1dk içinde sunucu web arayüzünde istemci adı ile birlikte calamari için register edilmeye hazır olarak gözüküyorlar. Ekran görüntüsünü aşağıda:
[[Dosya:Calamari_installation.png|büyükresim]]

Dosya:Calamari installation.png

2018-09-20T11:59:55Z

Admin:

2018-09-20T11:39:50Z

Admin:

=Sunucular=
==2 adet Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz İşlemci==
==Bellek (128G)==
RAM: 131920300
vendor: American Megatrends Inc.
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
==NLSAS Disk (12 Adet 8TByte)==

Product: ST8000NM0075
Revision: E003
==NVMe Disk (1 Adet 400G Intel PC3700)==
Node SN Model Namespace Usage Format FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1 CVFT738300PT400BGN INTEL SSDPEDMD400G4 1 400.09 GB / 400.09 GB 512 B + 0 B 8DV10171
==2 Portlu Intel X520 Ethernet Kartı (SFP+) ==
description: Ethernet interface
product: Ethernet 10G 2P X520 Adapter
vendor: Intel Corporation
== 2 Adet 10G Intel X540 Etehernet Portu (10GBase-T) ==
description: Ethernet interface
product: Ethernet Controller 10-Gigabit X540-AT2
vendor: Intel Corporation
==1 Adet 2 Portlu Mellanox ConnectX4 40Gpsd Ethernet Kartı==
description: Ethernet interface
product: MT27700 Family [ConnectX-4]
vendor: Mellanox Technologies

Donanım Altyapısı

2018-09-20T11:31:40Z

Admin:

Donanım Altyapısı

2018-09-20T11:31:26Z

Admin: /* Sunucular */

=Sunucular=
==2 adet Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz İşlemci==
==Bellek (128G)
RAM: 131920300
vendor: American Megatrends Inc.
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
==NLSAS Disk (12 Adet 8TByte)==

Product: ST8000NM0075
Revision: E003
==NVMe Disk (1 Adet 400G Intel PC3700)==
Node SN Model Namespace Usage Format FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1 CVFT738300PT400BGN INTEL SSDPEDMD400G4 1 400.09 GB / 400.09 GB 512 B + 0 B 8DV10171

Donanım Altyapısı

2018-09-20T11:30:51Z

Admin: /* Sunucular */

=Sunucular=
2 adet Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz İşlemci
==Bellek (128G)
RAM: 131920300
vendor: American Megatrends Inc.
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
product: HMA84GR7AFR4N-UH
vendor: SK Hynix
size: 31GiB
clock: 2400MHz (0.4ns)
==NLSAS Disk (12 Adet 8TByte)==

Product: ST8000NM0075
Revision: E003
==NVMe Disk (1 Adet 400G Intel PC3700)==
Node SN Model Namespace Usage Format FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1 CVFT738300PT400BGN INTEL SSDPEDMD400G4 1 400.09 GB / 400.09 GB 512 B + 0 B 8DV10171