CEPH Sorunları Çözme - Değişiklik geçmişi

Admin, 13:12, 26 Haziran 2018'de

2018-06-26T13:12:44Z

Admin, 13:01, 26 Haziran 2018'de

2018-06-26T13:01:25Z

Admin, 12:53, 26 Haziran 2018'de

2018-06-26T12:53:41Z

Admin, 12:53, 26 Haziran 2018'de

2018-06-26T12:53:22Z

Admin, 12:52, 26 Haziran 2018'de

2018-06-26T12:52:14Z

Admin: "=== Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi=== Özellikle yeni bir pool oluşturulduğunda bu pool üzerinde rbd, rgw ve benzeri hiçbir..." içeriğiyle yeni sayfa oluşturdu

2018-06-26T12:50:34Z

"=== Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi=== Özellikle yeni bir pool oluşturulduğunda bu pool üzerinde rbd, rgw ve benzeri hiçbir..." içeriğiyle yeni sayfa oluşturdu

Yeni sayfa

=== Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi===
Özellikle yeni bir pool oluşturulduğunda bu pool üzerinde rbd, rgw ve benzeri hiçbir uygulama etkin hale getirilmediyse bu sorun ortaya çıkıyor. Hata mesajı aşağıda verilmiştir.

ceph -w
cluster:
id: b49d69c7-e017-4f9f-b69b-57d3efe7987b
health: HEALTH_WARN
application not enabled on 1 pool(s)

''' ceph health detail''' komutu ile hatanın detayına bakılabilir.

HEALTH_WARN application not enabled on 1 pool(s)
POOL_APP_NOT_ENABLED application not enabled on 1 pool(s)
application not enabled on pool 'rbdtest'
use 'ceph osd pool application enable <pool-name> <app-name>', where <app-name> is 'cephfs', 'rbd', 'rgw', or freeform for custom applications.

aşağıdaki komut ile de sorun çözülür.
ceph osd pool application enable rbdtest rbd

=== Crash Tunable Hatası===
Pool üzerinde bir image oluşturmak ve bu imaj ile rbd map ile linux cihazı olarak bağlamak için tunables legacy olarak ayarlanması gerekebiliyor. Bu durumda ceph kümesinin durumuna bakıldığında aşağıdaki hata gözlemlenir.

ceph -s
cluster:
id: b49d69c7-e017-4f9f-b69b-57d3efe7987b
health: HEALTH_WARN
crush map has straw_calc_version=0

Sorunu çözmek için tekrar tunables set edilir.

ceph osd crush tunables optimal

← Önceki hâli		13:12, 26 Haziran 2018 tarihindeki hâli
46. satır:		46. satır:

	bu durumda '''/var/lib/ceph/mon/ceph-zula210/keyring''' dosyasi kontrol edilir. Diger tum mon servisleri calisip bu calismiyorsa diger dosyalardan farkli key'e sahiptir. Digerleri ile ayni yapildiktan sonra artik komut calisabilir. Ayrica '''/etc/ceph/ceph.client.admin.keyring''' dosyasi da kontrol edilmelidir.		bu durumda '''/var/lib/ceph/mon/ceph-zula210/keyring''' dosyasi kontrol edilir. Diger tum mon servisleri calisip bu calismiyorsa diger dosyalardan farkli key'e sahiptir. Digerleri ile ayni yapildiktan sonra artik komut calisabilir. Ayrica '''/etc/ceph/ceph.client.admin.keyring''' dosyasi da kontrol edilmelidir.
		+
		+	===OSD Disk çıkartıp tekrar eklemek için===
		+	Hali hazırda ekli olan durumu (down) olması veya başka bir nedenle çıkarılması gereken osd diskler için aşağıda ki işlemler yapılır. Özellikle ceph-deploy komutu ile osd disk eklendiğinde ve süreçte sorunla karşılaşıldığında her ne kadar geriye sarım yapılmaya çalışılsa da maalesef bu işlem düzgün yapılamamaktadır. Neticesinde tekrar komutu çalıştırdığınızda farklı ancak hep aynı hata alınabilmektedir. disk silindikten sonra bile ona ait lvm volume oluşturulması veya dmsetup ta kaydın tutulması tekrar eklemeye mani olacak durumlardır. Detaylı bilgiler için aşağıdaki linklere göz gezdirilebilir.
		+	* https://forum.proxmox.com/threads/ceph-cluster-reinstallation-osds-down.42385/
		+	* http://docs.ceph.com/docs/mimic/rados/operations/add-or-rm-osds/#removing-osds-manual
		+	* https://www.thegeekdiary.com/lvm-error-cant-open-devsdx-exclusively-mounted-filesystem/
		+
		+	Normalde takip edilmesi gereken komutlar:
		+	ceph osd out 12
		+	systemctl stop ceph-osd@12
		+	ceph osd purge 12 --yes-i-really-mean-it
		+	pvscan
		+	vgremove ceph-e7f8edfa-f6bc-4dee-a93d-e18dbbb8d0dd
		+	ceph osd tree
		+
		+	Toplu silmek için:
		+	for i in `seq 12 23`; do ceph osd out $i; echo $i; done
		+	for i in `seq 12 23`; do systemctl stop ceph-osd@$i; echo $i; done
		+	for i in `seq 12 23`; do ceph osd purge $i --yes-i-really-mean-it; echo $i; done
		+	for i in `pvscan \|grep ceph\|awk {'print $4'}`; do vgremove $i; echo $i; done
		+	for i in `pvscan\|grep dev\|awk {'print $2'}`; do dd if=/dev/zero of=$i bs=1024 count=1; done
		+
		+	Tüm bu komutlara rağmen hala hata mesajı alınıyorsa bu durumda Mimic versiyonu öncesinde silmek için çalıştırılan komutlar takip edilebilir. Örnek osd.27'yi çıkarmak için:
		+	ceph osd out 27
		+	service ceph stop osd.27
		+	ceph osd crush remove osd.27
		+	ceph auth del osd.27
		+	ceph osd rm 27
		+	ceph-disk zap /dev/sde
		+	dd if=/dev/zero of=/dev/sde bs=1024 count=1
		+	umount /var/lib/ceph/osd/ceph-27
		+	rm -rf /var/lib/ceph/osd/ceph-27/
		+
		+	Son olarak hala çıkartılamamışsa aşağıdaki komutlarla eski kayıt kalınmış mı bakılır.
		+	dmsetup info -C
		+	dmsetup remove ceph--12d0f05f--c185--42c2--9db7--ed28a6a0c926-osd--block--4c3fd1bf--7aec--4b44--8fbf--0da4b23e18b7
		+	toplu silmek için:
		+	for i in `dmsetup info -C\|grep ceph\|awk {'print $1'}`; do dmsetup remove $i; done
		+
		+	Böylece artık aşağıdaki komutla yeni bir osd disk eklenebilir.
		+	ceph-deploy --overwrite-conf osd create zula211 --data /dev/sde

← Önceki hâli		13:01, 26 Haziran 2018 tarihindeki hâli
30. satır:		30. satır:

	ceph osd crush tunables optimal		ceph osd crush tunables optimal
		+	===MON Servisi ayakta ancak quourum olarak eklenemiyorsa===
		+	ceph -s komutu ile monitörlerin durumu izlenebilir, bu monitörlerin tamamı ayakta ve quorum statüsünde olması gerekir. Yeni bir monitör ceph kümesine eklendiğinde de sayı bir artırılarak gösterilmesi gerekmektedir. Ancak bazen aşağıdaki komut çalıştırıldığında hata alınabilir.
		+
		+	komut:
		+	ceph-deploy mon create-initial
		+
		+	hata mesajı:
		+	ceph_deploy.mon][WARNIN] mon.zula210 monitor is not yet in quorum, tries left: 5
		+	[ceph_deploy.mon][WARNIN] waiting 5 seconds before retrying
		+
		+	ilgili sunucunun monitör servisinin log dosyasında:
		+	2018-06-20 08:10:39.307 7fb71d1d4700 0 mon.zula210@0(probing) e0 ms_verify_authorizer bad authorizer from mon 192.168.56.212:6789/0
		+	2018-06-20 08:10:39.307 7fb71d1d4700 0 -- 192.168.56.210:6789/0 >> 192.168.56.212:6789/0 conn(0x5580ac1f0a00 :6789 s=STATE_ACCEPTING_WAIT_CONNECT_MSG_AUTH pgs=0 cs=0 l=0).handle_connect_msg: got bad authorizer
		+	2018-06-20 08:10:39.307 7fb71d1d4700 0 cephx: verify_authorizer could not decrypt ticket info: error: bad magic in decode_decrypt, 173658197698476996 != 18374858748799134293
		+
		+	bu durumda '''/var/lib/ceph/mon/ceph-zula210/keyring''' dosyasi kontrol edilir. Diger tum mon servisleri calisip bu calismiyorsa diger dosyalardan farkli key'e sahiptir. Digerleri ile ayni yapildiktan sonra artik komut calisabilir. Ayrica '''/etc/ceph/ceph.client.admin.keyring''' dosyasi da kontrol edilmelidir.

← Önceki hâli		12:53, 26 Haziran 2018 tarihindeki hâli
1. satır:		1. satır:
−
	===Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi===		===Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi===
	Özellikle yeni bir pool oluşturulduğunda bu pool üzerinde rbd, rgw ve benzeri hiçbir uygulama etkin hale getirilmediyse bu sorun ortaya çıkıyor. Hata mesajı aşağıda verilmiştir.		Özellikle yeni bir pool oluşturulduğunda bu pool üzerinde rbd, rgw ve benzeri hiçbir uygulama etkin hale getirilmediyse bu sorun ortaya çıkıyor. Hata mesajı aşağıda verilmiştir.

@@ 1. satır: / 1. satır: @@
-=== Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi===
+===Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi===
 Özellikle yeni bir pool oluşturulduğunda bu pool üzerinde rbd, rgw ve benzeri hiçbir uygulama etkin hale getirilmediyse bu sorun ortaya çıkıyor. Hata mesajı aşağıda verilmiştir.
@@ 19. satır: / 19. satır: @@
   ceph osd pool application enable rbdtest rbd
-=== Crash Tunable Hatası===
+===Crash Tunable Hatası===
 Pool üzerinde bir image oluşturmak ve bu imaj ile rbd map ile linux cihazı olarak bağlamak için tunables legacy olarak ayarlanması gerekebiliyor. Bu durumda ceph kümesinin durumuna bakıldığında aşağıdaki hata gözlemlenir.

← Önceki hâli		12:52, 26 Haziran 2018 tarihindeki hâli
1. satır:		1. satır:
		+
	=== Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi===		=== Pool üzerinde herhangi bir uygulamanın aktifleştirilmemesi===
	Özellikle yeni bir pool oluşturulduğunda bu pool üzerinde rbd, rgw ve benzeri hiçbir uygulama etkin hale getirilmediyse bu sorun ortaya çıkıyor. Hata mesajı aşağıda verilmiştir.		Özellikle yeni bir pool oluşturulduğunda bu pool üzerinde rbd, rgw ve benzeri hiçbir uygulama etkin hale getirilmediyse bu sorun ortaya çıkıyor. Hata mesajı aşağıda verilmiştir.