摘要：前言最近幾天完成了在部署順便寫(xiě)篇文章記錄下部署過(guò)程，項(xiàng)目地址有興趣的可以去了解下后續(xù)會(huì)提交到里面。

最近幾天完成了 Nacos 在Kubernetes 部署,順便寫(xiě)篇文章記錄下部署過(guò)程，項(xiàng)目地址Nacos-K8s,有興趣的可以去了解下,后續(xù)會(huì)提交到Nacos-Group 里面。

本項(xiàng)目包含一個(gè)可構(gòu)建的Nacos Docker Image,旨在利用StatefulSets在Kubernetes上部署Nacos

暫時(shí)不支持動(dòng)態(tài)增量擴(kuò)容

必須使用持久卷,本項(xiàng)目實(shí)現(xiàn)NFS持久卷的例子,如果使用emptyDirs可能會(huì)導(dǎo)致數(shù)據(jù)丟失

在build目錄中包含了已經(jīng)打好包的Nacos(基于develop分支,已提PR,目前的release版本都不支持k8s集群)項(xiàng)目包,以及鏡像制作文件,鏡像基礎(chǔ)環(huán)境Ubuntu 16.04、Open JDK 1.8(JDK 8u111).目前鏡像已經(jīng)提交到Docker Hub。

本項(xiàng)目的使用,是基于你已經(jīng)對(duì)Kubernetes有一定的認(rèn)知,所以對(duì)如何搭建K8S集群,請(qǐng)自行g(shù)oogle或者百度

NFS安裝方面也不是本文的重點(diǎn),請(qǐng)自行g(shù)oogle或者百度

機(jī)器配置(作者演示使用阿里云ECS)

Kubernetes 版本：1.12.2 （如果你和我一樣只使用了三臺(tái)機(jī)器,那么記得開(kāi)啟master節(jié)點(diǎn)的部署功能）

NFS 版本：4.1 在k8s-master進(jìn)行安裝Server端,并且指定共享目錄,本項(xiàng)目指定的/data/nfs-share

Git

在每臺(tái)機(jī)器上都Clone本工程,演示工程就是導(dǎo)入根目錄,所以部署路徑都是root/nacos-k8s

git clone https://github.com/paderlol/nacos-k8s.git

數(shù)據(jù)庫(kù)是以指定節(jié)點(diǎn)的方式部署,主庫(kù)部署在node01節(jié)點(diǎn),從庫(kù)部署在node02節(jié)點(diǎn).

部署主庫(kù)

#進(jìn)入clone下來(lái)的工程根目錄
cd nacos-k8s 
# 在k8s上創(chuàng)建mysql主庫(kù)
kubectl create -f deploy/mysql/mysql.yml

部署備庫(kù)

#進(jìn)入clone下來(lái)的工程根目錄
cd nacos-k8s 
# 在k8s上創(chuàng)建mysql備庫(kù)
kubectl create -f deploy/mysql/mysql-bak.yml

注意：如果工程不是導(dǎo)入機(jī)器的根目錄,那么同樣需要修改mysql.yaml和mysql-bak.yaml中掛載路徑,因?yàn)閿?shù)據(jù)庫(kù)PVC使用的是本地卷,請(qǐng)注意更改配置中的path路徑如下所示

apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-pv-volume
  labels:
    type: local
spec:
  storageClassName: manual
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/root/nacos-k8s/mysql"
---
....其他配置
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-init-pv-volume
  labels:
    type: local
spec:
  storageClassName: initdb
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/root/nacos-k8s/initdb"

部署后查看數(shù)據(jù)庫(kù)是否已經(jīng)正常運(yùn)行

#查看主庫(kù)是否正常運(yùn)行
kubectl get pod -l app=mysql
NAME                         READY   STATUS    RESTARTS   AGE
mysql-bak-5c5b5bd479-922zv   1/1     Running   0          2d23h
#查看備庫(kù)是否正常運(yùn)行
kubectl get pod -l app=mysql-bak

創(chuàng)建角色 K8S在1.6以后默認(rèn)開(kāi)啟了RBAC

kubectl create -f deploy/nfs/rbac.yaml

提示：如果你的K8S命名空間不是默認(rèn)"default",那么在創(chuàng)建RBAC之前先執(zhí)行以下腳本

# Set the subject of the RBAC objects to the current namespace where the provisioner is being deployed
$ NS=$(kubectl config get-contexts|grep -e "^*" |awk "{print $5}")
$ NAMESPACE=${NS:-default}
$ sed -i"" "s/namespace:.*/namespace: $NAMESPACE/g" ./deploy/nfs/rbac.yaml

創(chuàng)建ServiceAccount 以及部署NFS-Client Provisioner

kubectl create -f deploy/nfs/deployment.yaml

創(chuàng)建NFS StorageClass

kubectl create -f deploy/nfs/class.yaml

查看NFS是否運(yùn)行正常

kubectl get pod -l app=nfs-client-provisioner

獲取主庫(kù)從庫(kù)在K8S的地址

# 查看主庫(kù)和從庫(kù)的cluster ip
kubectl get svc

mysql            NodePort    10.105.42.247           3306:31833/TCP   2d23h
mysql-bak        NodePort    10.105.35.138           3306:31522/TCP   2d23h

修改配置文件depoly/nacos/nacos-pvc-nfs.yaml,找到如下配置,填入上一步查到的主庫(kù)和從庫(kù)地址

  db.host.zero: "主庫(kù)地址"
  db.name.zero: "nacos_devtest"
  db.port.zero: "3306"
  db.host.one: "備庫(kù)地址"
  db.name.one: "nacos_devtest"
  db.port.one: "3306"
  db.user: "nacos"
  db.password: "nacos"

創(chuàng)建并運(yùn)行Nacos集群

kubectl create -f nacos-k8s/deploy/nacos/nacos-pvc-nfs.yaml

查看是否運(yùn)行正常

kubectl get pod -l app=nacos


AME      READY   STATUS    RESTARTS   AGE
nacos-0   1/1     Running   0          19h
nacos-1   1/1     Running   0          19h
nacos-2   1/1     Running   0          19h

curl -X PUT "http://集群地址:8848/nacos/v1/ns/instance?serviceName=nacos.naming.serviceName&ip=20.18.7.10&port=8080"

curl -X GET "http://集群地址:8848/nacos/v1/ns/instances?serviceName=nacos.naming.serviceName"

curl -X POST "http://集群地址:8848/nacos/v1/cs/configs?dataId=nacos.cfg.dataId&group=test&content=helloWorld"

curl -X GET "http://集群地址:8848/nacos/v1/cs/configs?dataId=nacos.cfg.dataId&group=test"

Q:如果不想搭建NFS,并且想體驗(yàn)nacos-k8s?

A:可以跳過(guò)部署nfs的步驟,最后創(chuàng)建運(yùn)行nfs時(shí),使用一下以下方式創(chuàng)建

kubectl create -f nacos-k8s/deploy/nacos/nacos-quick-start.yaml