Ceph v12.2 Luminous 塊存儲(RBD)搭建

fancyLuo 發布于2019-07-01 12:24 / 1287人閱讀

摘要：還是上篇文章說的，搭建塊存儲之前，先把官方的文檔看一遍，保證獲益匪淺。傳送門官方文檔注意塊存儲最好不要安裝在節點，可以安裝在節點節點或其他節點。在版本，在創建集群時，不會自動創建默認的池。參考塊存儲之相關命令

還是上篇文章說的，搭建塊存儲之前，先把官方的文檔看一遍，保證獲益匪淺。
傳送門：Ceph官方文檔

注意：
(1) rbd塊存儲最好不要安裝在osd節點，可以安裝在mon節點、admin節點或其他節點。如果安裝在其他節點請按上一篇文章步驟安裝ceph。
(2) 在luminous版本，在創建集群時，不會自動創建默認的’rbd’池。這是跟舊版本比較大的區別。

1. 創建pool

創建存儲池: ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] [crush-ruleset-name] [expected-num-objects]
刪除存儲池: ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]
重命名存儲池: ceph osd pool rename {current-pool-name} {new-pool-name}

ceph osd pool create test_pool 128 128 replicated

2. 查看存儲池列表

ceph osd lspools

3.創建塊設備鏡像

創建塊設備鏡像命令是rbd create --size {megabytes} {pool-name}/{image-name}，如果pool_name不指定，則默認的pool是rbd。下面的命令將創建一個10GB大小的塊設備：

rbd create --size 10240 test_image  -p test_pool

刪除鏡像: rbd rm test_pool/test_image

4. 查看塊設備鏡像

查看塊設備的命令是rbd info {pool-name}/{image-name}

hcy@admin_server:~/my-cluster$ rbd info test_pool/test_image
rbd image "test_image":
    size 1024 MB in 256 objects
    order 22 (4096 kB objects)
    block_name_prefix: rbd_data.372674b0dc51
    format: 2
    features: layering
    flags: 
    create_timestamp: Sat Sep 23 18:16:28 2017

注意到上面的rbd info顯示的RBD鏡像的format為2，Format 2的RBD鏡像支持RBD分層，是實現Copy-On-Write的前提條件。

5.將塊設備映射到系統內核

塊設備映射到操作系統的命令是rbd map {image-name}

sudo rbd map test_pool/test_image

取消映射: rbd unmap test_pool/test_image
此時如果打印：

rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
In some cases useful info is found in syslog - try "dmesg | tail" or so.
rbd: map failed: (6) No such device or address

表示當前系統不支持feature，禁用當前系統內核不支持的feature：

rbd feature disable test_pool/test_image exclusive-lock, object-map, fast-diff, deep-flatten

重新映射：

hcy@admin_server:~/my-cluster$ sudo rbd map test_pool/test_image
/dev/rbd0

6. 格式化塊設備鏡像

sudo mkfs.ext4 /dev/rbd/test_pool/test_image

7. 掛載文件系統

sudo mkdir /mnt/ceph-block-device
sudo chmod 777  /mnt/ceph-block-device
sudo mount /dev/rbd/test_pool/test_image /mnt/ceph-block-device
cd /mnt/ceph-block-device

至此，Ceph的塊設備搭建已完成。但是目前我遇到了一個問題，兩臺Client機器掛載了同一個鏡像，兩臺機器的文件列表不能保持同步，可能要用到rbd mirror相關的知識，這方面還沒接觸，后續跟進更新。

參考：

Ceph塊存儲之RBD
ceph pool相關命令

云服務器 GPU云服務器 rbd分布式存儲免費ceph對象存儲 ceph 分布式存儲商用分布式存儲ceph

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/30665.html

Ceph v12.2 Luminous基于ubuntu16.04集群部署

摘要：第一次接觸集群，感謝官方的指導文檔和許多網友提供的教程，糊糊涂涂算是把集群部署起來了。應該為每個運行的機器添加一個，否則集群處于狀態。至此的集群搭建算是完成了，下一步會進行塊設備的搭建。參考分布式存儲部署手冊如何在中安裝存儲集群部署版第一次接觸ceph集群，感謝官方的指導文檔和許多網友提供的教程，糊糊涂涂算是把集群部署起來了。由于Luminous12.2剛發布不久，部署起來跟舊版本還...

MiracleWong 2019-07-01 12:24 評論0 收藏0
Rancher如何對接Ceph-RBD塊存儲

摘要：就目前而言，在支持的三種接口塊存儲和對象存儲接口中，塊存儲是目前最穩定且達到生產環境要求的接口。月日，北京海航萬豪酒店，容器技術大會即將舉行。概要演示環境說明整個測試環境由以下2臺本地虛擬機組成，相關信息說明如下： showImg(https://segmentfault.com/img/bVScmU?w=811&h=138); 引言 Librbd（RBD）是Ceph提供的塊存儲...

instein 2019-06-28 15:54 評論0 收藏0
跟我學 K8S--運維: helm 安裝 ceph 到 kubernetes 集群

摘要：參考官方文檔進行操作本文假設環境正常運行，并且已經安裝。只能以單副本運行部署運行命令來安裝等待一段時間執行完成后，通過如下命令確定集群是否成功運行檢查的狀態檢查集群狀態至此，集群部署完成。參考 ceph 官方文檔進行操作: http://docs.ceph.com/docs/mas... 本文假設kubernetes 環境正常運行，并且 host 已經安裝 helm client。 ...

marser 2019-07-01 16:44 評論0 收藏0
kubernetes掛載存儲

摘要：本文主要介紹如何用掛載目錄。如何創建參照上目錄下的范例，我們可以創建一個掛載存儲的容器。到這里，就可以確定容器已經正常啟動并掛載了一個的存儲塊。除非強制指定另塊被掛載后，寫入數據是可以很快同步的具體多久需要調查，而讀取數據只能在后同步。本文主要介紹如何用kubernentes掛載rbd目錄。以及其中遇到的問題。有關ceph和rbd相關請自行百度。如何創建參照github上kube...

alighters 2019-07-01 16:22 評論0 收藏0
kubernetes掛載存儲

摘要：本文主要介紹如何用掛載目錄。如何創建參照上目錄下的范例，我們可以創建一個掛載存儲的容器。到這里，就可以確定容器已經正常啟動并掛載了一個的存儲塊。除非強制指定另塊被掛載后，寫入數據是可以很快同步的具體多久需要調查，而讀取數據只能在后同步。本文主要介紹如何用kubernentes掛載rbd目錄。以及其中遇到的問題。有關ceph和rbd相關請自行百度。如何創建參照github上kube...

LiuZh 2019-06-28 15:10 評論0 收藏0