ceph集群安裝及使用

IT那活兒發布于2023-01-11 13:20 / 1277人閱讀

ceph集群安裝及使用

簡介

Ceph是一個統一的分布式存儲系統，設計初衷是提供較好的性能、可靠性和可擴展性。

Ceph項目最早起源于Sage就讀博士期間的工作（最早的成果于2004年發表），并隨后貢獻給開源社區。在經過了數年的發展之后，目前已得到眾多云計算廠商的支持并被廣泛應用。RedHat及OpenStack都可與Ceph整合以支持虛擬機鏡像的后端存儲。

Ceph能夠在一個統一的系統中提供對象，塊和文件存儲。

Ceph特點

1. 高性能

摒棄了傳統的集中式存儲元數據尋址的方案，采用CRUSH算法，數據分布均衡，并行度高。
考慮了容災域的隔離，能夠實現各類負載的副本放置規則，例如跨機房、機架感知等。
能夠支持上千個存儲節點的規模，支持TB到PB級的數據。

2. 高可用性

副本數可以靈活控制。
支持故障域分隔，數據強一致性。
多種故障場景自動進行修復自愈。
沒有單點故障，自動管理。

3. 高可擴展性

去中心化。
擴展靈活。
隨著節點增加而線性增長。

4. 特性豐富

支持三種存儲接口：塊存儲、文件存儲、對象存儲。
支持自定義接口，支持多種語言驅動

Ceph安裝部署

1. 操作系統配置

1）每臺節點都需要修改主機名

本例三臺主機分別為ceph01、ceph02、ceph03.

hostnamectl set-hostname ceph01
hostnamectl set-hostname ceph02
hostnamectl set-hostname ceph03

每臺/etc/hosts新增如下內容

133.xxx.xxx.108  ceph01
133.xxx.xxx.109  ceph02
133.xxx.xxx.110  ceph03

2）每臺安裝ntp服務時鐘服務，并同步時鐘

yum install ntp –y
vi /etc/ntp.conf

3）每臺配置ssh 免密登陸認證

ssh-keygen -t rsa
ssh-copy-id ceph01
ssh-copy-id ceph02
ssh-copy-id ceph03

4）每個節點添加 6塊個900G的硬盤

2. ceph安裝

1）每個節點都做ceph 的yum添加

ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
gpgcheck=0
priority =1
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
gpgcheck=0
priority =1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
gpgcheck=0
priority=1
epel.repo 
[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
baseurl=http://mirrors.aliyun.com/epel/7/$basearch
failovermethod=priority
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 
[epel-debuginfo]
name=Extra Packages for Enterprise Linux 7 - $basearch - Debug
baseurl=http://mirrors.aliyun.com/epel/7/$basearch/debug
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0 
[epel-source]
name=Extra Packages for Enterprise Linux 7 - $basearch - Source
baseurl=http://mirrors.aliyun.com/epel/7/SRPMS
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0

2）在ceph03節點安裝ceph-deploy安裝組件

【備注：ceph可以在每個節點分別執行yum install ceph*進行安裝，也可以方便的使用ceph-deploy安裝工具進行安裝，本例采用方法2】.

[root@ceph03 ~]# yum install -y ceph-deploy

3）使用安裝工具安裝ceph組件

[root@ceph03 ~]# ceph-deploy new ceph01 ceph02 ceph03

4）部署完成后，編輯/etc/ceph/ceph.conf新增主機節點等配置

[global]
fsid = 5b0ce654-4e7a-4f90-8058-d281781878dd
mon_initial_members = ceph03,ceph02,ceph01
mon_host = 133.xxx.xxx.110,133.xxx.xxx.109,133.xxx.xxx.108
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd pool default size = 3

5）配置初始 monitor(s)、并收集所有密鑰

[root@ceph03 ~]# ceph-deploy mon create-initial

把配置信息拷貝到各節點

[root@ceph03 ~]# ceph-deploy admin ceph01 ceph02 ceph03

6）配置 osd

分別對每個節點對每個盤進行osd配置初始化

for dev in /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg
do
ceph-deploy disk zap ceph01 $dev
ceph-deploy osd create ceph01 --data $dev
ceph-deploy disk zap ceph02 $dev
ceph-deploy osd create ceph02 --data $dev
ceph-deploy disk zap ceph03 $dev
ceph-deploy osd create ceph03 --data $dev
done

7）創建兩個mgr管理節點做主備，新版無管理節點狀態會是warn

ceph-deploy mgr create  ceph03 ceph01

8）安裝完成

使用ceph –s命令可查看安裝后的集群狀態

3. 使用cephfs

ceph的使用分為對象存儲、塊存儲和cephfs文件系統，本例使用cephfs為例演示ceph的簡單使用

1）安裝mds

本例在ceph02節點安裝mds服務

ceph-deploy mds create ceph02

2）創建pool

分別創建cephfs文件系統使用的數據池和元數據池

ceph osd pool create cephfs_data 512
ceph osd pool create cephfs_metadata 512

3）使用創建的pool創建fs

ceph fs new cephfs cephfs_metadata cephfs_data

4）mount掛載文件系統

創建完成后，就可以在任意節點或客戶端（linux7系統以上）使用mount命令來使用此cephfs了。命令如下：

mount -t ceph 133.xxx.xxx.108:6789,133.xxx.xxx.109:6789,133.xxx.xxx.110:6789:/ /cephfs -o name=admin,secret=AQCQp8Rf8*******A2pyAHS1fxAdq0zQ==

【備注】：

-t ceph表示使用的文件系統類型為ceph
IP：port為cephfs節點的IP和使用的端口,默認為6789
/cephfs為在客戶端創建的目錄，用來掛載cephfs
-o name=admin 表示用的admin用戶進行掛載
secret=*** 表示的為admin的秘鑰

5）使用測試

掛載后，就能在客戶端機器df –h看到目錄了

然后可以進入/cephfs目錄，寫入文件了進行使用了。

END

更多精彩干貨分享

點擊下方名片關注

IT那活兒

GPU云服務器云服務器 linux的安裝及使用 python下載及安裝教程安裝及配置服務器安裝php及相應組件

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129756.html

史上最全的Ceph構件及組件分析

摘要：層確保數據一致性和可靠性。元數據服務器，跟蹤文件層次結構并存儲只供使用的元數據。這些文件系統擴展屬性能夠為守護進程提供內部對象的狀態快照元數據和等信息這有助于數據管理。啟迪云－高級開發工程師 ?侯玉彬前言前文回顧：《開源社區的明星項目—Ceph談》上一次簡單的介紹Ceph的過去和未來的發展。這一節將詳細介紹Ceph的構件以及組件。Ceph存儲架構Ceph 存儲集群由幾個不同的daemon組成...

oujie 2019-04-29 15:40 評論0 收藏0
技術棧：史上最全的Ceph構件及組件分析

摘要：層確保數據一致性和可靠性。保證集群的相關組件在同一時刻能夠達成一致，相當于集群的領導層，負責收集更新和發布集群信息。元數據服務器，跟蹤文件層次結構并存儲只供使用的元數據。啟迪云－高級開發工程師 ?侯玉彬前言上一次簡單的介紹Ceph的過去和未來的發展。這一節將詳細介紹Ceph的構件以及組件。Ceph存儲架構Ceph 存儲集群由幾個不同的daemon組成，每個daemon負責Ceph 的一個獨特...

big_cat 2019-04-29 15:41 評論0 收藏0
Ceph v12.2 Luminous基于ubuntu16.04集群部署

摘要：第一次接觸集群，感謝官方的指導文檔和許多網友提供的教程，糊糊涂涂算是把集群部署起來了。應該為每個運行的機器添加一個，否則集群處于狀態。至此的集群搭建算是完成了，下一步會進行塊設備的搭建。參考分布式存儲部署手冊如何在中安裝存儲集群部署版第一次接觸ceph集群，感謝官方的指導文檔和許多網友提供的教程，糊糊涂涂算是把集群部署起來了。由于Luminous12.2剛發布不久，部署起來跟舊版本還...

MiracleWong 2019-07-01 12:24 評論0 收藏0
跟我學 K8S--運維: helm 安裝 ceph 到 kubernetes 集群

摘要：參考官方文檔進行操作本文假設環境正常運行，并且已經安裝。只能以單副本運行部署運行命令來安裝等待一段時間執行完成后，通過如下命令確定集群是否成功運行檢查的狀態檢查集群狀態至此，集群部署完成。參考 ceph 官方文檔進行操作: http://docs.ceph.com/docs/mas... 本文假設kubernetes 環境正常運行，并且 host 已經安裝 helm client。 ...

marser 2019-07-01 16:44 評論0 收藏0
使用Rook+Ceph在Kubernetes上作持久存儲

摘要：充當在的業務流程層，將和流程部署為副本集。來自的文件將存儲軟件轉變為自我管理自我擴展和自我修復的存儲服務。由于請求使用文件系統格式化的卷，因此我需要在所有節點上安裝工具。如果沒有指定特定的存儲類，我安裝的任何應用程序都將使用進行數據存儲。作者：Earl C. Ruby III showImg(https://segmentfault.com/img/bVbljHL?w=300&h=1...

kuangcaibao 2019-07-01 17:34 評論0 收藏0
使用Rook+Ceph在Kubernetes上作持久存儲

摘要：充當在的業務流程層，將和流程部署為副本集。來自的文件將存儲軟件轉變為自我管理自我擴展和自我修復的存儲服務。由于請求使用文件系統格式化的卷，因此我需要在所有節點上安裝工具。如果沒有指定特定的存儲類，我安裝的任何應用程序都將使用進行數據存儲。作者：Earl C. Ruby III showImg(https://segmentfault.com/img/bVbljHL?w=300&h=1...

muddyway 2019-07-01 16:56 評論0 收藏0