使用Ceph作為OpenStack的后端存儲

概述

        libvirt配置了librbd的QEMU接口，通過它可以在OpenStack中使用Ceph塊存儲。Ceph塊存儲是集群對象，這意味著它比獨立的服務器有更好的性能。
        在OpenStack中使用Ceph塊設備，必須首先安裝QEMU，libvirt和OpenStack，下圖描述了 OpenStack和Ceph技術層次結構：

系統規劃

OpenStack集群：
         控制節點：openstack（controller）192.168.1.131
         計算節點：compute                      192.168.1.132
         存儲節點：storage                        192.168.1.133

創建存儲池

# ceph osd pool create volumes 128
# ceph osd pool create images 128
# ceph osd pool create vms 128

設置Ceph客戶端認證

在OpenStack節點執行如下命令：

# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'
# ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

為client.cinder，client.glance添加密鑰文件來訪問節點并改變屬主：

# ceph auth get-or-create client.glance | ssh openstack sudo tee /etc/ceph/ceph.client.glance.keyring
# ssh openstack sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring
# ceph auth get-or-create client.glance | ssh compute sudo tee /etc/ceph/ceph.client.glance.keyring
# ssh compute sudo chown nova:nova /etc/ceph/ceph.client.glance.keyring
# ceph auth get-or-create client.cinder | ssh compute sudo tee /etc/ceph/ceph.client.cinder.keyring
# ssh compute sudo chown nova:nova /etc/ceph/ceph.client.cinder.keyring
# ceph auth get-or-create client.cinder | ssh storage sudo tee /etc/ceph/ceph.client.cinde.keyring
# ssh storage sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring

運行nova-compute的節點nova-compute進程需要密鑰文件。它們也存儲client.cinder用戶的密鑰在libvirt。libvirt進程在Cinder中綁定塊設備時需要用到它來訪問集群。
在nova-compute節點創建一個臨時的密鑰副本：

# uuidgen
457eb676-33da-42ec-9a8c-9293d545c337

# cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
  <uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid>
  <usage type='ceph'>
    <name>client.cinder secret</name>
  </usage>
</secret>
EOF
# sudo virsh secret-define --file secret.xml 
# sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml

配置Glance

編輯 /etc/glance/glance-api.conf并添加如下內容：

[DEFAULT]
default_store = rbd
...
[glance_store]
stores = rbd
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8

如果要啟動鏡像的寫時復制功能，添加下面的 [DEFAULT] 部分：

show_image_direct_url = True

配置Cinder

在openstack節點和storage節點編輯 /etc/cinder/cinder.conf配置文件并添加如下內容：

volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2

如果使用cephx驗證，需要配置user和uuid：

rbd_user = cinder
rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337

配置Nova

為了掛載Cinder設備（普通設備或可引導卷），必須指明使用的用戶及UUID。libvirt將使用期在Ceph集群中進行連接和驗證：

rbd_user = cinder
rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337

編輯 /etc/nova/nova.conf并添加如下內容：

[libvirt]
images_type = rbd
images_rbd_pool = vms
images_rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_user = cinder
rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337
libvirt_live_migration_flag="VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_PERSIST_DEST"

禁用文件注入。當啟動一個實例的時候，nova通常會嘗試打開rootfs。這時，nova注入一些數據，如密碼、ssh 密鑰，配置文件等到文件系統中。然而，這最好依靠元數據服務和cloud-init來完成。

libvirt_inject_password = false
libvirt_inject_key = false
libvirt_inject_partition = -2

重啟服務

# sudo glance-control api restart
# sudo service nova-compute restart
# sudo service cinder-volume restart
# sudo service cinder-backup restar

從塊設備引導

Ceph后端存儲狀況：

Ceph不支持從qcow2格式的鏡像引導，所以創建一個raw格式的鏡像：

創建一個可引導卷：

從可引導卷創建一個實例：

查看Ceph存儲狀況：