使用Convoy-NFS構(gòu)建共享卷

alin 發(fā)布于2019-06-28 17:51 / 1297人閱讀

摘要：警告因?yàn)槭堑囊粋€(gè)較新的服務(wù)，它只能在有限的幾個(gè)位置上使用。現(xiàn)在你可以開(kāi)始從視圖中手動(dòng)創(chuàng)建一個(gè)卷，或干脆創(chuàng)建一個(gè)使用和卷名的服務(wù)。我非常期待看到和中的共享卷會(huì)有什么下一步的發(fā)展。

如果你用過(guò)Docker你就會(huì)知道，共享卷和跨主機(jī)的數(shù)據(jù)訪問(wèn)是個(gè)非常棘手的問(wèn)題。雖然Docker的生態(tài)系統(tǒng)在逐漸走向成熟，但對(duì)大多數(shù)人來(lái)說(shuō)，在不同環(huán)境中實(shí)現(xiàn)持久化存儲(chǔ)還是很麻煩的。幸運(yùn)的是，Rancher一直在研究這件事，并且想出了一個(gè)能獨(dú)特的、能解決大部分這個(gè)問(wèn)題的方案。用共享存儲(chǔ)運(yùn)行數(shù)據(jù)庫(kù)的方法仍沒(méi)有被廣泛推薦，但對(duì)于許多其他的情況，跨主機(jī)共享卷倒是一個(gè)很好的做法。

這個(gè)指南中的大部分內(nèi)容是受Rancher的一個(gè)線上Meetup的啟發(fā)。另外，如果你想自己從頭開(kāi)始搭建Convoy-NFS，這個(gè)網(wǎng)頁(yè)上有一些有關(guān)NFS配置的信息，你也許能作為參考：https://github.com/rancher/ra...。

Rancher Convoy

如果你以前沒(méi)有聽(tīng)說(shuō)過(guò)Rancher的Convoy項(xiàng)目，我現(xiàn)在可以先簡(jiǎn)單介紹一下。Rancher希望可以通過(guò)Convoy項(xiàng)目讓持久化容量存儲(chǔ)變得簡(jiǎn)單方便。Convoy是一個(gè)非常棒的磁盤插件，因?yàn)樗鼮橛脩籼峁┝硕喾N不同的選擇。例如EBS卷和S3的支持，與VFS/NFS一起，為用戶提供了一些用于配置共享存儲(chǔ)的厲害并且靈活的選擇。

Dockerized-NFS

這里有一個(gè)小秘訣，教你怎樣啟動(dòng)一個(gè)能和Convoy-NFS服務(wù)連接起來(lái)的Docker化的NFS服務(wù)器。Docker-NFS基本上是一個(gè)窮人的EFS。如果你想運(yùn)行它，你必須有足夠的信心，相信服務(wù)器不會(huì)被毀，或相信你的數(shù)據(jù)無(wú)足輕重，即使丟失了也無(wú)所謂。你可以在這里找到更多我過(guò)去使用的Docker NFS服務(wù)器的信息。

給點(diǎn)進(jìn)階些的提議，我會(huì)建議你看看這個(gè)叫做彈性文件存儲(chǔ)或簡(jiǎn)稱EFS的東西，它是 NFS的AWS實(shí)現(xiàn)。這個(gè)解決方案更簡(jiǎn)單粗暴，它是一個(gè)隨時(shí)可用于生產(chǎn)的NFS服務(wù)器，你可以把它視為Convoy-NFS的后端。構(gòu)建EFS是很簡(jiǎn)單的，不過(guò)它超出了這篇文章的討論范圍。你可以在這個(gè)鏈接中看看如何構(gòu)建和配置EFS。

警告：因?yàn)镋FS是AWS的一個(gè)較新的服務(wù)，它只能在有限的幾個(gè)位置上使用。（不過(guò)更多的可使用位置也很快會(huì)出現(xiàn)）。

下面就是對(duì)于Docker-NFS服務(wù)器來(lái)說(shuō)，你的docker-compose.yml 可能的樣子：

docker-nfs:
 image: cpuguy83/nfs-server
 privileged: true
 volumes:
 - /exports
 command:
 - /exports

在采用這個(gè)容器化的NFS服務(wù)器的方法時(shí)你可能會(huì)碰到的一個(gè)疑難雜癥是，你的主機(jī)要么沒(méi)有安裝NFS內(nèi)核模塊，要么沒(méi)有打開(kāi)伴隨的服務(wù)。

在Ubuntu上很容易安裝內(nèi)核模塊，SSH到主機(jī)上，運(yùn)行NFS Server容器以及以下命令：

sudo apt-get install nfs-kernel-server

在CoreOS上，模塊是安裝了的，只是沒(méi)有打開(kāi)。要啟用NFS，你需要SSH到對(duì)應(yīng)主機(jī)上，運(yùn)行NFS Server容器，并運(yùn)行下面的命令：

sudo systemctl start rpc-mountd

配置EFS

配置EFS是很容易的。用上面提到過(guò)的鏈接，你可以了解到創(chuàng)建一個(gè)能與Convoy連接的EFS卷的全部步驟。EFS共享卷既可以簡(jiǎn)單配置成IP訪問(wèn)，也可以深入地配置成通過(guò)DNS域名訪問(wèn)。

在Rancher的社區(qū)應(yīng)用服務(wù)目錄里有一個(gè)新的目錄入口，有了它，你可以直接通過(guò)Convoy使用EFS卷，這能簡(jiǎn)化某些配置。使用應(yīng)用服務(wù)目錄入口仍需要你先創(chuàng)建EFS share，但配置Convoy來(lái)與其連接的過(guò)程會(huì)簡(jiǎn)單很多。只需要從AWS里復(fù)制出EFS ID，選擇其中你已創(chuàng)建共享的區(qū)域，然后指定要將EFS share安裝到本地的位置。“/efs”就是一個(gè)很好的在最開(kāi)始測(cè)試東西的例子：

Convoy-NFS

目前，Rancher還提供另外一種名叫“Convoy-NFS”的應(yīng)用服務(wù)目錄項(xiàng)，來(lái)將容器連接到NFS Server上：

安裝程序是非常簡(jiǎn)單的，但也有幾件事情要注意。首先，堆棧必須命名為“Convoy-NFS”，這是插件的名稱。其次，NFS Server應(yīng)該和在其上設(shè)置NFS Server的主機(jī)名相匹配。如果你創(chuàng)建的是Docker-NFS容器，記得使用容器的IP（為了寫這篇文章，我用了一個(gè)測(cè)試環(huán)境，因而只用了Rancher容器內(nèi)部IP來(lái)部署NFS Server）。當(dāng)你用EFS創(chuàng)建你的NFS share時(shí)，使用已配置的DNS的名稱。

最后一點(diǎn)要注意的是安裝選項(xiàng)和安裝點(diǎn)。這里的端口需要與將NFS Server 和(2049 for docker-nfs)配置在一起的端口相匹配，并且確保你打開(kāi)了nfsver=4。另外，如果你要使用nfsvers=4選項(xiàng)，記得一定為MountDirectory用“/”。不使用nfsvers=4選項(xiàng)的話就用“/exports”。

最終一步的配置和下面看上去差不多：

proto=tcp,port=2049,nfsvers=4

你可以添加其他選項(xiàng)來(lái)調(diào)整共享，但這些都是最低限度的構(gòu)建所必需的組件。

給Rancher幾分鐘時(shí)間提供Convoy-NFS容器。一切完成后你就可以創(chuàng)建和攻擊NFS卷了。最快的檢查是否一切正常的方法，是點(diǎn)擊Infrastructure -> Storage Pools選項(xiàng)。如果你在視圖中看見(jiàn)了主機(jī)，那你就可以開(kāi)始準(zhǔn)備創(chuàng)建和分享卷了。

現(xiàn)在你可以開(kāi)始從Storage Pools視圖中手動(dòng)創(chuàng)建一個(gè)卷，或干脆創(chuàng)建一個(gè)使用Convoy-NFS driver和卷名的服務(wù)。

我將創(chuàng)建一個(gè)測(cè)試容器，它可跨越兩個(gè)主機(jī)共享相同的“test_volume”以及數(shù)據(jù)，如下圖所示（我在本地使用了rancher-compose來(lái)堆棧，如果你覺(jué)得使用GUI更容易的話敬請(qǐng)使用GUI）。

test:
image: ubuntu
volume_driver: convoy-nfs
tty: true
volumes:
- test_volume:/data
command:
- bash

一個(gè)新的卷會(huì)在Storage Pools頁(yè)面上彈出來(lái)：

如果你想驗(yàn)證是否一切運(yùn)行正常，你可以將容器的數(shù)量擴(kuò)展到兩個(gè)或更多個(gè)。然后exec到一個(gè)容器中，在其中創(chuàng)建一個(gè)文件，看你能否從另一個(gè)容器中讀取這個(gè)文件，而且最好是在一個(gè)不同的主機(jī)上。如果這些都沒(méi)問(wèn)題，你應(yīng)該已經(jīng)成功了：

在第一個(gè)容器中，我們可以編寫出文件：

在第二個(gè)容器中，我們可以重新讀取它，檢測(cè)一下共享存儲(chǔ)是否運(yùn)行正常：

結(jié)論

隨著Convoy不斷的發(fā)展和壯大，我們會(huì)看到更多的部署的選擇。現(xiàn)在，NFS是穩(wěn)定的，能正常工作的。如果你已經(jīng)在使用AWS了，EFS會(huì)讓一切都變得更加容易。我非常期待看到Convoy和Rancher中的共享卷會(huì)有什么下一步的發(fā)展。