国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Kubernetes_v1.21.0生產環境高可用部署

Tecode / 2333人閱讀

kubeadm介紹

kubeadm概述

Kubeadm 是一個工具，它提供了 kubeadm init 以及 kubeadm join 這兩個命令作為快速創建 kubernetes 集群的最佳實踐。
kubeadm 通過執行必要的操作來啟動和運行一個最小可用的集群。kubeadm 只關心啟動集群，而不關心其他工作，如部署前的節點準備工作、安裝各種Kubernetes Dashboard、監控解決方案以及特定云提供商的插件，這些都不屬于 kubeadm 關注范圍。

kubeadm功能

kubeadm 主要有如下功能：

  • kubeadm init 啟動一個 Kubernetes 主節點；
  • kubeadm join 啟動一個 Kubernetes 工作節點并且將其加入到集群；
  • kubeadm upgrade 更新一個 Kubernetes 集群到新版本；
  • kubeadm config 如果使用 v1.7.x 或者更低版本的 kubeadm 初始化集群，您需要對集群做一些配置以便使用 kubeadm upgrade 命令；
  • kubeadm token 管理 kubeadm join 使用的令牌；
  • kubeadm reset 還原 kubeadm init 或者 kubeadm join 對主機所做的任何更改；
  • kubeadm version 打印 kubeadm 版本；
  • kubeadm alpha 預覽一組可用的新功能以便從社區搜集反饋。

本方案描述

本方案使用UCloud云主機，在云主機之上自建Kubernetes。
同時使用kubeadm部署工具，實現高可用，同時提供相關Kubernetes周邊組件。本方案可直接應用于生產環境。

  • 本方案采用kubeadm部署Kubernetes 1.21.0版本；
  • 基礎系統為CentOS8.3；
  • etcd采用混部方式；
  • KeepAlived：實現VIP高可用；
  • HAProxy：以系統systemd形式運行，提供反向代理至3個master 6443端口；

  • 其他主要部署組件包括：

    • Metrics：度量；
    • Dashboard：Kubernetes 圖形UI界面；
    • Helm：Kubernetes Helm包管理工具；
    • Ingress：Kubernetes 服務暴露；
    • containerd：Kubernetes底層容器時；
    • Longhorn：Kubernetes 動態存儲組件。
  • worker04節點僅為測試模擬使用。
提示：本方案部署所使用腳本均由本人提供，可能不定期更新。

部署規劃

節點規劃

節點主機名IP類型運行服務
master01172.24.8.141Kubernetes master節點KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
master02172.24.8.142Kubernetes master節點KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
master03172.24.8.143Kubernetes master節點KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
worker01172.24.8.144Kubernetes worker節點containerd、kubelet、proxy、calico、rook-osd、ingress
worker02172.24.8.145Kubernetes worker節點containerd、kubelet、proxy、calico、rook-osd、ingress
worker03172.24.8.146Kubernetes worker節點containerd、kubelet、proxy、calico、rook-osd、ingress
worker04172.24.8.147Kubernetes worker節點containerd、kubelet、proxy、calico、rook-osd、ingress

Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master節點組件和Etcd組件，工作節點通過負載均衡連接到各Master。

架構圖

Kubernetes高可用架構中etcd與Master節點組件混布方式特點：

  • 所需機器資源少
  • 部署簡單，利于管理
  • 容易進行橫向擴展
  • etcd復用Kubernetes的高可用
  • 風險大，一臺master主機掛了，master和etcd就都少了一套，集群冗余度受到一定影響
提示：本實驗使用Keepalived+HAProxy架構實現Kubernetes的高可用。

主機名配置

建議對所有節點主機名進行相應配置。

[root@master01 ~]# hostnamectl set-hostname master01        #其他節點依次修改

[root@master01 ~]# cat >> /etc/hosts << EOF
172.24.8.141 master01
172.24.8.142 master02
172.24.8.143 master03
172.24.8.144 worker01
172.24.8.145 worker02
172.24.8.146 worker03
EOF

變量準備

為實現自動化部署，便于管理和維護，建議做如下變量準備。

[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/environment.sh

[root@master01 ~]# vi environment.sh            #確認相關主機名和IP
#!/bin/sh
#****************************************************************#
# scriptName: environment.sh
# Author: xhy
# Create Date: 2020-05-30 16:30
# Modify Author: xhy
# Modify Date: 2020-05-30 16:30
# Version: 
#***************************************************************#
# 集群 MASTER 機器 IP 數組
export MASTER_IPS=(172.24.8.141 172.24.8.142 172.24.8.143)

# 集群 MASTER IP 對應的主機名數組
export MASTER_NAMES=(master01 master02 master03)

# 集群 NODE 機器 IP 數組
export NODE_IPS=(172.24.8.144 172.24.8.145 172.24.8.146)

# 集群 NODE IP 對應的主機名數組
export NODE_NAMES=(worker01 worker02 worker03)

# 集群所有機器 IP 數組
export ALL_IPS=(172.24.8.141 172.24.8.142 172.24.8.143 172.24.8.144 172.24.8.145 172.24.8.146)

# 集群所有IP 對應的主機名數組
export ALL_NAMES=(master01 master02 master03 worker01 worker02 worker03)

互信配置

為了方便遠程分發文件和執行命令，本實驗配置master01節點到其它節點的 ssh 信任關系，即免秘鑰管理所有其他節點。

[root@master01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N 
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@${all_ip}
  done
提示：此操作僅需要在master01節點操作。

環境初始化

kubeadm本身不負責對環境的準別，環境的初始化準備本方案使用腳本自動完成。
使用如下腳本對基礎環境進行初始化，主要包括：

  • 安裝containerd
  • 關閉SELinux及防火墻
  • 優化相關內核參數
  • 關閉swap
  • 設置相關模塊
  • 配置相關基礎軟件
[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/k8sconinit.sh

[root@master01 ~]# vim k8sconinit.sh
#!/bin/sh
#****************************************************************#
# scriptName: k8sinit.sh
# Author: xhy
# Create Date: 2020-05-30 16:30
# Modify Author: xhy
# Modify Date: 2021-04-16 07:35
# Version: 
#***************************************************************#
# Initialize the machine. This needs to be executed on every machine.
rm -f /var/lib/rpm/__db.00*
rpm -vv --rebuilddb
yum clean all 
yum makecache
sleep 3s
# Install containerd
CONVERSION=1.4.4                #確認containerd版本，其他保持默認
……
提示：此操作僅需要在master01節點操作。
  • 對于某些特性，可能需要升級內核，內核升級操作見018.Linux升級內核。
  • 4.19版及以上內核nf_conntrack_ipv4已經改為nf_conntrack。
  • Kubernetes 1.20.0后可兼容的containerd版本最新為1.4.4。
[root@master01 ~]# source environment.sh
[root@master01 ~]# chmod +x *.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    scp -rp /etc/hosts root@${all_ip}:/etc/hosts
    scp -rp k8sconinit.sh root@${all_ip}:/root/
    ssh root@${all_ip} "bash /root/k8sconinit.sh"
  done

部署高可用組件

HAProxy安裝

HAProxy是可提供高可用性、負載均衡以及基于TCP(從而可以反向代理kubeapiserver等應用)和HTTP應用的代理，支持虛擬主機，它是免費、快速并且可靠的一種高可用解決方案。

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "yum -y install gcc gcc-c++ make libnl3 libnl3-devel libnfnetlink openssl-devel wget openssh-clients systemd-devel zlib-devel pcre-devel"
    ssh root@${master_ip} "wget http://down.linuxsb.com/software/haproxy-2.3.9.tar.gz"
    ssh root@${master_ip} "tar -zxvf haproxy-2.3.9.tar.gz"
    ssh root@${master_ip} "cd haproxy-2.3.9/ && make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_ZLIB=1 USE_SYSTEMD=1 PREFIX=/usr/local/haprpxy && make install PREFIX=/usr/local/haproxy"
    ssh root@${master_ip} "cp /usr/local/haproxy/sbin/haproxy /usr/sbin/"
    ssh root@${master_ip} "useradd -r haproxy && usermod -G haproxy haproxy"
    ssh root@${master_ip} "mkdir -p /etc/haproxy && cp -r /root/haproxy-2.3.9/examples/errorfiles/ /usr/local/haproxy/"
  done

KeepAlived安裝

KeepAlived 是一個基于VRRP協議來實現的LVS服務高可用方案，可以解決靜態路由出現的單點故障問題。本方案3臺master節點運行Keepalived，一臺為主服務器（MASTER），另外兩臺為備份服務器（BACKUP）。
對集群外表現為一個虛擬IP，主服務器會發送特定的消息給備份服務器，當備份服務器收不到這個消息的時候，即主服務器宕機的時候，備份服務器就會接管虛擬IP，繼續提供服務，從而保證了高可用性。

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "yum -y install curl gcc gcc-c++ make libnl3 libnl3-devel libnfnetlink openssl-devel"
    ssh root@${master_ip} "wget http://down.linuxsb.com/software/keepalived-2.2.2.tar.gz"
    ssh root@${master_ip} "tar -zxvf keepalived-2.2.2.tar.gz"
    ssh root@${master_ip} "cd keepalived-2.2.2/ && LDFLAGS="$LDFAGS -L /usr/local/openssl/lib/" ./configure --sysconf=/etc --prefix=/usr/local/keepalived && make && make install"
    ssh root@${master_ip} "systemctl enable keepalived --now && systemctl restart keepalived"
  done
提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝。若出現如下報錯：undefined reference to `OPENSSL_init_ssl’，可帶上openssl lib路徑：

LDFLAGS="$LDFAGS -L /usr/local/openssl/lib/" ./configure --sysconf=/etc --prefix=/usr/local/keepalived

創建配置文件

對集群相關的組件提前配置，可使用如下腳本定義。

[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/k8sconfig.sh                #拉取自動部署腳本

[root@master01 ~]# vi k8sconfig.sh
#!/bin/sh
#****************************************************************#
# scriptName: k8sconfig
# Author: xhy
# Create Date: 2020-06-08 20:00
# Modify Author: xhy
# Modify Date: 2021-04-16 23:16
# Version: v3
#***************************************************************#
# set variables below to create the config files all files will create at ./kubeadm directory

# master keepalived virtual ip address
export K8SHA_VIP=172.24.8.100

# master01 ip address
export K8SHA_IP1=172.24.8.141

# master02 ip address
export K8SHA_IP2=172.24.8.142

# master03 ip address
export K8SHA_IP3=172.24.8.143

# master01 hostname
export K8SHA_HOST1=master01

# master02 hostname
export K8SHA_HOST2=master02

# master03 hostname
export K8SHA_HOST3=master03

# master01 network interface name
export K8SHA_NETINF1=eth0

# master02 network interface name
export K8SHA_NETINF2=eth0

# master03 network interface name
export K8SHA_NETINF3=eth0

# keepalived auth_pass config
export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d

# kubernetes CIDR pod subnet
export K8SHA_PODCIDR=10.10.0.0

# kubernetes CIDR svc subnet
export K8SHA_SVCCIDR=10.20.0.0

[root@master01 ~]# bash k8sconfig.sh

解釋：如上僅需Master01節點操作。執行k8sconfig.sh腳本后會生產如下配置文件清單：
  • kubeadm-config.yaml：kubeadm初始化配置文件，位于kubeadm/目錄
  • keepalived：keepalived配置文件，位于各個master節點的/etc/keepalived目錄
  • haproxy：haproxy的配置文件，位于各個master節點的/etc/haproxy/目錄
  • calico.yaml：calico網絡組件部署文件，位于kubeadm/calico/目錄
[root@master01 ~]# vim kubeadm/kubeadm-config.yaml    #檢查集群初始化配置
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
networking:
  serviceSubnet: "10.20.0.0/16"                         #設置svc網段
  podSubnet: "10.10.0.0/16"                         #設置Pod網段
  dnsDomain: "cluster.local"
kubernetesVersion: "v1.21.0"                        #設置安裝版本
controlPlaneEndpoint: "172.24.8.100:16443"            #設置相關API VIP地址
apiServer:
  certSANs:
  - master01
  - master02
  - master03
  - 127.0.0.1
  - 172.24.8.141
  - 172.24.8.142
  - 172.24.8.143
  - 172.24.8.100
  timeoutForControlPlane: 4m0s
certificatesDir: "/etc/kubernetes/pki"
imageRepository: "k8s.gcr.io"

---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs
提示：如上僅需Master01節點操作，更多config文件參考：https://pkg.go.dev/k8s.io/kubernetes@v1.21.0/cmd/kubeadm/app/apis/kubeadm/v1beta2。
此kubeadm部署初始化配置更多參考：https://pkg.go.dev/k8s.io/kubernetes@v1.21.0/cmd/kubeadm/app/apis/kubeadm/v1beta2。
默認kubeadm配置可使用kubeadm config print init-defaults > config.yaml生成。

啟動服務

提前啟動KeepAlive和HAProxy，提前準備好高可用環境。

[root@master01 ~]# cat /etc/keepalived/keepalived.conf
[root@master01 ~]# cat /etc/keepalived/check_apiserver.sh    #確認Keepalived配置

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "systemctl enable haproxy.service --now && systemctl restart haproxy.service"
    ssh root@${master_ip} "systemctl enable keepalived.service --now && systemctl restart keepalived.service"
    ssh root@${master_ip} "systemctl status keepalived.service | grep Active"
    ssh root@${master_ip} "systemctl status haproxy.service | grep Active"
  done

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "ping -c1 172.24.8.100"
  done                                #等待10s執行檢查
提示：如上僅需Master01節點操作，從而實現所有節點自動啟動服務。

集群部署

相關組件包

需要在每臺機器上都安裝以下的軟件包：

  • kubeadm: 用來初始化集群的指令；
  • kubelet: 在集群中的每個節點上用來啟動 pod 和 container 等；
  • kubectl: 用來與集群通信的命令行工具。
kubeadm不能安裝或管理 kubelet 或 kubectl ，所以得保證他們滿足通過 kubeadm 安裝的 Kubernetes控制層對版本的要求。如果版本沒有滿足要求，可能導致一些意外錯誤或問題。
具體相關組件安裝見；附001.kubectl介紹及使用書

提示：Kubernetes 1.21.0版本所有兼容相應組件的版本參考：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.21.md。

正式安裝

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF"
    ssh root@${all_ip} "yum install -y kubeadm-1.21.0-0.x86_64 kubelet-1.21.0-0.x86_64 kubectl-1.21.0-0.x86_64 --disableexcludes=kubernetes"
    ssh root@${all_ip} "systemctl enable kubelet"
done

[root@master01 ~]# yum search -y kubelet --showduplicates             #查看相應版本
提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝，同時此時不需要啟動kubelet，初始化的過程中會自動啟動的，如果此時啟動了會出現報錯，忽略即可。

說明：同時安裝了cri-tools kubernetes-cni socat三個依賴：
socat：kubelet的依賴；
cri-tools：即CRI(Container Runtime Interface)容器運行時接口的命令行工具。

集群初始化

拉取鏡像

初始化過程中會pull大量鏡像，并且鏡像位于國外，可能出現無法pull的情況導致Kubernetes初始化失敗。建議提前準備鏡像，保證后續初始化。

[root@master01 ~]# kubeadm --kubernetes-version=v1.21.0 config images list         #列出所需鏡像

[root@master01 ~]# cat < kubeadm/conloadimage.sh
#!/bin/sh
#****************************************************************#
# scriptName: conloadimage.sh
# Author: xhy
# Create Date: 2021-04-15 14:03
# Modify Author: xhy
# Modify Date: 2021-04-15 17:35
# Version: 
#***************************************************************#

KUBE_VERSION=v1.21.0
CALICO_VERSION=v3.18.1
CALICO_URL=docker.io/calico
KUBE_PAUSE_VERSION=3.4.1
ETCD_VERSION=3.4.13-0
CORE_DNS_VERSION=v1.8.0
GCR_URL=k8s.gcr.io
METRICS_SERVER_VERSION=v0.4.2
INGRESS_VERSION=v0.45.0
CSI_PROVISIONER_VERSION=v1.6.0-lh1
CSI_NODE_DRIVER_VERSION=v1.2.0-lh1
CSI_ATTACHER_VERSION=v2.2.1-lh1
CSI_RESIZER_VERSION=v0.5.1-lh1
DEFAULTBACKENDVERSION=1.5
ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers
UCLOUD_URL=uhub.service.ucloud.cn/uxhy
QUAY_URL=quay.io

mkdir -p conimages/

# config node hostname
export ALL_NAMES=(master02 master03 worker01 worker02 worker03)

kubeimages=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
)

corednsimages=(coredns:${CORE_DNS_VERSION}
)

for corednsimageName in ${corednsimages[@]} ; do
echo ${corednsimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${corednsimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${corednsimageName} ${GCR_URL}/coredns/${corednsimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${corednsimageName}
ctr -n k8s.io images export conimages/${corednsimageName}.tar ${GCR_URL}/coredns/${corednsimageName}
done

for kubeimageName in ${kubeimages[@]} ; do
echo ${kubeimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${kubeimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${kubeimageName} ${GCR_URL}/${kubeimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${kubeimageName}
ctr -n k8s.io images export conimages/${kubeimageName}.tar ${GCR_URL}/${kubeimageName}
done

metricsimages=(metrics-server:${METRICS_SERVER_VERSION})

for metricsimageName in ${metricsimages[@]} ; do
echo ${metricsimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${metricsimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${metricsimageName} ${GCR_URL}/metrics-server/${metricsimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${metricsimageName}
ctr -n k8s.io images export conimages/${metricsimageName}.tar ${GCR_URL}/metrics-server/${metricsimageName}
done

calimages=(cni:${CALICO_VERSION}
pod2daemon-flexvol:${CALICO_VERSION}
node:${CALICO_VERSION}
kube-controllers:${CALICO_VERSION})

for calimageName in ${calimages[@]} ; do
echo ${calimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${calimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${calimageName} ${CALICO_URL}/${calimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${calimageName}
ctr -n k8s.io images export conimages/${calimageName}.tar ${CALICO_URL}/${calimageName}
done

ingressimages=(controller:${INGRESS_VERSION})

for ingressimageName in ${ingressimages[@]} ; do
echo ${ingressimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${ingressimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${ingressimageName} ${GCR_URL}/ingress-nginx/${ingressimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${ingressimageName}
ctr -n k8s.io images export conimages/${ingressimageName}.tar ${GCR_URL}/ingress-nginx/${ingressimageName}
done

csiimages=(csi-provisioner:${CSI_PROVISIONER_VERSION}
csi-node-driver-registrar:${CSI_NODE_DRIVER_VERSION}
csi-attacher:${CSI_ATTACHER_VERSION}
csi-resizer:${CSI_RESIZER_VERSION}
)

for csiimageName in ${csiimages[@]} ; do
echo ${csiimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${csiimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${csiimageName} longhornio/${csiimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${csiimageName}
ctr -n k8s.io images export conimages/${csiimageName}.tar longhornio/${csiimageName}
done

otherimages=(defaultbackend-amd64:${DEFAULTBACKENDVERSION})

for otherimagesName in ${otherimages[@]} ; do
echo ${otherimagesName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${otherimagesName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${otherimagesName} ${GCR_URL}/${otherimagesName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${otherimagesName}
ctr -n k8s.io images export conimages/${otherimagesName}.tar ${GCR_URL}/${otherimagesName}
done

allimages=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION}
metrics-server:${METRICS_SERVER_VERSION}
cni:${CALICO_VERSION}
pod2daemon-flexvol:${CALICO_VERSION}
node:${CALICO_VERSION}
kube-controllers:${CALICO_VERSION}
controller:${INGRESS_VERSION}
csi-provisioner:${CSI_PROVISIONER_VERSION}
csi-node-driver-registrar:${CSI_NODE_DRIVER_VERSION}
csi-attacher:${CSI_ATTACHER_VERSION}
csi-resizer:${CSI_RESIZER_VERSION}
defaultbackend-amd64:${DEFAULTBACKENDVERSION}
)

for all_name in ${ALL_NAMES[@]}
  do  
    echo ">>> ${all_name}"
    ssh root@${all_name} "mkdir /root/conimages"
    scp -rp conimages/* root@${all_name}:/root/conimages/
  done

for allimageName in ${allimages[@]}
  do
  for all_name in ${ALL_NAMES[@]}
    do
    echo "${allimageName} copy to ${all_name}"
    ssh root@${all_name} "ctr -n k8s.io images import conimages/${allimageName}.tar"
    done
  done
EOF

#確認版本，提前下載鏡像
[root@master01 ~]# bash kubeadm/conloadimage.sh
提示：如上僅需Master01節點操作，從而實現所有節點鏡像的分發。
注意相關版本，如上腳本為v1.21.0 Kubernetes版本所需鏡像。
[root@master01 ~]# ctr -n k8s.io images ls            #確認驗證
[root@master01 ~]# crictl images ls

001

Master01上初始化

[root@master01 ~]# kubeadm init --config=kubeadm/kubeadm-config.yaml --upload-certs                 #保留如下命令用于后續節點添加：
You can now join any number of the control-plane node running the following command on each as root:

  kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo 
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a 
        --control-plane --certificate-key f32602ab63d2545b8cab5d392d0e53942872fac8cfc23c8ae1ee545f4e365394

Please note that the certificate-key gives access to cluster sensitive data keep it secret!
As a safeguard uploaded-certs will be deleted in two hours; If necessary you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo 
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a

002

注意：如上token具有默認24小時的有效期，token和hash值可通過如下方式獲取：
kubeadm token list
如果 Token 過期以后，可以輸入以下命令，生成新的 Token:
kubeadm token create
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed s/^.* //
[root@master01 ~]# mkdir -p $HOME/.kube
[root@master01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

[root@master01 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF                            #設置KUBECONFIG環境變量

[root@master01 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master01 ~]# source ~/.bashrc

附加：初始化過程大致步驟如下：

  • [certs]：生成相關的各種證書
  • [control-plane]：創建Kubernetes控制節點的靜態Pod
  • [etcd]：創建ETCD的靜態Pod
  • [kubelet-start]：生成kubelet的配置文件”/var/lib/kubelet/config.yaml”
  • [kubeconfig]：生成相關的kubeconfig文件
  • [bootstraptoken]：生成token記錄下來，后續使用kubeadm join往集群中添加節點時會用到
  • [addons]：附帶的相關插件
提示：初始化僅需要在master01上執行，若初始化異?？赏ㄟ^kubeadm reset && rm -rf $HOME/.kube重置。

添加Master節點

[root@master02 ~]# kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo 
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a 
        --control-plane --certificate-key f32602ab63d2545b8cab5d392d0e53942872fac8cfc23c8ae1ee545f4e365394
[root@master02 ~]# mkdir -p $HOME/.kube
[root@master02 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master02 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@master02 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF                                           #設置KUBECONFIG環境變量
[root@master02 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master02 ~]# source ~/.bashrc
提示：master03也如上執行添加至集群的controlplane。
若添加異常可通過kubeadm reset && rm -rf $HOME/.kube重置。

安裝NIC插件

NIC插件介紹

  • Calico 是一個安全的 L3 網絡和網絡策略提供者。
  • Canal 結合 Flannel 和 Calico， 提供網絡和網絡策略。
  • Cilium 是一個 L3 網絡和網絡策略插件， 能夠透明的實施 HTTP/API/L7 策略。 同時支持路由（routing）和疊加/封裝（ overlay/encapsulation）模式。
  • Contiv 為多種用例提供可配置網絡（使用 BGP 的原生 L3，使用 vxlan 的 overlay，經典 L2 和 Cisco-SDN/ACI）和豐富的策略框架。Contiv 項目完全開源。安裝工具同時提供基于和不基于 kubeadm 的安裝選項。
  • Flannel 是一個可以用于 Kubernetes 的 overlay 網絡提供者。

+Romana 是一個 pod 網絡的層 3 解決方案，并且支持 NetworkPolicy API。Kubeadm add-on 安裝細節可以在這里找到。

  • Weave Net 提供了在網絡分組兩端參與工作的網絡和網絡策略，并且不需要額外的數據庫。
  • CNI-Genie 使 Kubernetes 無縫連接到一種 CNI 插件，例如：Flannel、Calico、Canal、Romana 或者 Weave。
提示：本方案使用Calico插件。

部署calico

確認相關配置，如MTU，網卡接口，Pod的IP地址段。

[root@master01 ~]# cat kubeadm/calico/calico.yaml | grep -A1 -E CALICO_IPV4POOL_CIDR|IP_AUTODETECTION_METHOD|veth_mtu:    #檢查配置
……
  veth_mtu: "1400"                                                  #calico建議為主機MTU減去50UCloud主機默認網卡為1454，建議calico mtu設置為1400

--
            - name: IP_AUTODETECTION_METHOD
              value: "interface=eth.*"                                 #檢查節點之間的網卡
--
            - name: CALICO_IPV4POOL_CIDR
              value: "10.10.0.0/16"                                     #檢查Pod網段

……

[root@master01 ~]# kubectl apply -f kubeadm/calico/calico.yaml
[root@master01 ~]# kubectl get pods --all-namespaces -o wide        #查看部署
[root@master01 ~]# kubectl get nodes

003

提示：官方calico參考：https://docs.projectcalico.org/manifests/calico.yaml。

修改node端口范圍

默認Kubernetes的端口范圍為30000-32767，為便于后期應用，如ingress的80、443端口，建議開放全端口。同時開放全端口范圍后，需要注意避開公共端口，如8080。

[root@master01 ~]# vi /etc/kubernetes/manifests/kube-apiserver.yaml
……
    - --service-node-port-range=1-65535
……
提示：如上需要在所有Master節點操作。

開啟非安全端口

kube-scheduler和kube-controller-manager的健康檢查使用非安全端口，因此建議打開。

root@master01:~# vi /etc/kubernetes/manifests/kube-scheduler.yaml
……
#     - --port=0                        #刪掉或注釋關閉非安全端口的配置，從而打開非安全端口
……
root@master01:~# vi /etc/kubernetes/manifests/kube-controller-manager.yaml
……
#     - --port=0                        #刪掉或注釋關閉非安全端口的配置，從而打開非安全端口
……
提示：如上需在所有Master節點操作。

添加Worker節點

添加Worker節點

[root@master01 ~]# source environment.sh

[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo 
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a"
    ssh root@${node_ip} "systemctl enable kubelet.service"
  done
提示：如上僅需Master01節點操作，從而實現所有Worker節點添加至集群，若添加異?？赏ㄟ^如下方式重置：
[root@worker01 ~]# kubeadm reset
[root@worker01 ~]# ifconfig cni0 down
[root@worker01 ~]# ip link delete cni0
[root@worker01 ~]# ifconfig flannel.1 down
[root@worker01 ~]# ip link delete flannel.1
[root@worker01 ~]# rm -rf /var/lib/cni/

確認驗證

[root@master01 ~]# kubectl get nodes                         #節點狀態
[root@master01 ~]# kubectl get cs                             #組件狀態
[root@master01 ~]# kubectl get serviceaccount                 #服務賬戶
[root@master01 ~]# kubectl cluster-info                         #集群信息
[root@master01 ~]# kubectl get pod -n kube-system -o wide    #所有服務狀態

004
005

提示：更多Kubetcl使用參考：https://kubernetes.io/docs/reference/kubectl/kubectl/
https://kubernetes.io/docs/reference/kubectl/overview/
更多kubeadm使用參考：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

Metrics部署

Metrics介紹

Kubernetes的早期版本依靠Heapster來實現完整的性能數據采集和監控功能，Kubernetes從1.8版本開始，性能數據開始以Metrics API的方式提供標準化接口，并且從1.10版本開始將Heapster替換為Metrics Server。在Kubernetes新的監控體系中，Metrics Server用于提供核心指標（Core Metrics），包括Node、Pod的CPU和內存使用指標。
對其他自定義指標（Custom Metrics）的監控則由Prometheus等組件來完成。

開啟聚合層

有關聚合層知識參考：https://blog.csdn.net/liukuan73/article/details/81352637
kubeadm方式部署默認已開啟。

獲取部署文件

[root@master01 ~]# mkdir metrics
[root@master01 ~]# cd metrics/
[root@master01 metrics]# wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
[root@master01 metrics]# vi components.yaml
……
apiVersion: apps/v1
kind: Deployment
……
spec:
  replicas: 3                                    #根據集群規模調整副本數
……
    spec:
      hostNetwork: true
      containers:
      - args:
        - --cert-dir=/tmp
        - --secure-port=4443
        - --kubelet-insecure-tls                #追加此args
        - --kubelet-preferred-address-types=InternalIPExternalIPHostnameInternalDNSExternalDNS          #追加此args
        - --kubelet-use-node-status-port
        image: k8s.gcr.io/metrics-server/metrics-server:v0.4.2
        imagePullPolicy: IfNotPresent
……

正式部署

[root@master01 metrics]# kubectl apply -f components.yaml
[root@master01 metrics]# kubectl -n kube-system get pods -l k8s-app=metrics-server
NAME                              READY   STATUS    RESTARTS   AGE
metrics-server-7bc5984686-px9lr   1/1     Running   0          66s
metrics-server-7bc5984686-qffb2   1/1     Running   0          66s
metrics-server-7bc5984686-t89z5   1/1     Running   0          66s

查看資源監控

[root@master01 ~]# kubectl top nodes
[root@master01 ~]# kubectl top pods --all-namespaces

006

提示：Metrics Server提供的數據也可以供HPA控制器使用，以實現基于CPU使用率或內存使用值的Pod自動擴縮容功能。
部署參考：https://linux48.com/container/2019-11-13-metrics-server.html
有關metrics更多部署參考：
https://kubernetes.io/docs/tasks/debug-application-cluster/resource-metrics-pipeline/
開啟開啟API Aggregation參考：
https://kubernetes.io/docs/concepts/extend-kubernetes/api-extension/apiserver-aggregation/
API Aggregation介紹參考：
https://kubernetes.io/docs/tasks/access-kubernetes-api/configure-aggregation-layer/

Nginx ingress部署

通常Service的表現形式為IP:Port，即工作在TCP/IP層。
對于基于HTTP的服務來說，不同的URL地址經常對應到不同的后端服務（RS）或者虛擬服務器（Virtual Host），這些應用層的轉發機制僅通過Kubernetes的Service機制是無法實現的。
從Kubernetes 1.1版本開始新增Ingress資源對象，用于將不同URL的訪問請求轉發到后端不同的Service，以實現HTTP層的業務路由機制。
Kubernetes使用了一個Ingress策略定義和一個具體的Ingress Controller，兩者結合并實現了一個完整的Ingress負載均衡器。使用Ingress進行負載分發時，Ingress Controller基于Ingress規則將客戶端請求直接轉發到Service對應的后端Endpoint（Pod）上，從而跳過kube-proxy的轉發功能，kube-proxy不再起作用。
簡單的理解就是：ingress使用DaemonSet或Deployment在相應Node上監聽80，然后配合相應規則，因為Nginx外面綁定了宿主機80端口（就像 NodePort），本身又在集群內，那么向后直接轉發到相應ServiceIP即可實現相應需求。ingress controller + ingress 規則 ----> services。
同時當Ingress Controller提供的是對外服務，則實際上實現的是邊緣路由器的功能。
典型的HTTP層路由的架構：

017

設置標簽

[root@master01 ~]# kubectl label nodes master0{123} ingress=enable
提示：建議對于非上次業務相關的應用（如Ingress），部署在master節點，也能復用master節點的高可用。

獲取資源

[root@master01 ~]# mkdir ingress
[root@master01 ~]# cd ingress/
[root@master01 ingress]# wget http://down.linuxsb.com/kubernetes/ingress-nginx/controller-v0.45.0/deploy/static/provider/baremetal/deploy.yaml
提示：ingress官方參考：https://github.com/kubernetes/ingress-nginx
https://kubernetes.github.io/ingress-nginx/deploy/

修改配置

為方便后續管理和排障，對相關Nginx ingress掛載時區，以便于使用主機時間。
同時對ingress做了簡單配置，如日志格式等。

[root@master01 ingress]# vi deploy.yaml
……
apiVersion: apps/v1
kind: Deployment
#kind: DaemonSet
……
spec:
  replicas: 3
……
          image: k8s.gcr.io/ingress-nginx/controller:v0.45.0
……          
          volumeMounts:
……
            - name: timeconfig
              mountPath: /etc/localtime
              readOnly: true
              ……
      volumes:
……
        - name: timeconfig
          hostPath:
            path: /etc/localtime
      nodeSelector:
        ingress: enable
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule
……
apiVersion: v1
kind: ConfigMap
metadata:
……
data:
  # 客戶端請求頭的緩沖區大小
  client-header-buffer-size: "512k"
  # 設置用于讀取大型客戶端請求標頭的最大值number和size緩沖區
  large-client-header-buffers: "4 512k"
  # 讀取客戶端請求body的緩沖區大小
  client-body-buffer-size: "128k"
  # 代理緩沖區大小
  proxy-buffer-size: "256k"
  # 代理body大小
  proxy-body-size: "50m"
  # 服務器名稱哈希大小
  server-name-hash-bucket-size: "128"
  # map哈希大小
  map-hash-bucket-size: "128"
  # SSL加密套件
  ssl-ciphers: "ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA"
  # ssl 協議
  ssl-protocols: "TLSv1 TLSv1.1 TLSv1.2"
  # 日志格式
  log-format-upstream: {"time": "$time_iso8601" "remote_addr": "$proxy_protocol_addr" "x-forward-for": "$proxy_add_x_forwarded_for" "request_id": "$req_id""remote_user": "$remote_user" "bytes_sent": $bytes_sent "request_time": $request_time "status":$status "vhost": "$host" "request_proto": "$server_protocol" "path": "$uri" "request_query": "$args" "request_length": $request_length "duration": $request_time"method": "$request_method" "http_referrer": "$http_referer" "http_user_agent": "$http_user_agent" }
……
apiVersion: v1
kind: Service
……
  name: ingress-nginx-controller
……  
spec:
  type: NodePort
  externalTrafficPolicy: Local          #追加
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: http
      nodePort: 80
    - name: https
      port: 443
      protocol: TCP
      targetPort: https
      nodePort: 443
……

[root@master01 ingress]# kubectl apply -f deploy.yaml
提示：添加默認backend需要等待default-backend創建完成controllers才能成功部署，新版本ingress不再推薦添加default backend。

確認驗證

[root@master01 ingress]# kubectl get pods -n ingress-nginx -o wide
[root@master01 ingress]# kubectl get svc -n ingress-nginx -o wide

007

提示：參考文檔：https://github.com/kubernetes/ingress-nginx/blob/master/docs/deploy/index.md。

Dashboard部署

dashboard是基于Web的Kubernetes用戶界面。可以使用dashboard將容器化應用程序部署到Kubernetes集群，對容器化應用程序進行故障排除，以及管理集群資源?？梢允褂胐ashboard來概述群集上運行的應用程序，以及創建或修改單個Kubernetes資源（例如部署、任務、守護進程等）。
可以使用部署向導擴展部署，啟動滾動更新，重新啟動Pod或部署新應用程序。
dashboard還提供有關群集中Kubernetes資源狀態以及可能發生的任何錯誤的信息。

設置標簽

[root@master01 ~]# kubectl label nodes master0{123} dashboard=enable
提示：建議對于Kubernetes自身相關的應用（如dashboard），此類非業務應用部署在master節點。

創建證書

本實驗已獲取免費一年的證書，免費證書獲取可參考：https://freessl.cn。

[root@master01 ~]# mkdir -p /root/dashboard/certs
[root@master01 ~]# cd /root/dashboard/certs
[root@master01 certs]# mv web.odocker.com.crt tls.crt
[root@master01 certs]# mv web.odocker.com.key tls.key
[root@master01 certs]# ll
total 8.0K
-rw-r--r-- 1 root root 1.9K Jun  8 11:46 tls.crt
-rw-r--r-- 1 root root 1.7K Jun  8 11:46 tls.ke
提示：也可手動如下操作創建自簽證書：

[root@master01 ~]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=ZheJiang/L=HangZhou/O=Xianghy/OU=Xianghy/CN=web.odocker.com"

手動創建secret

[root@master01 ~]# kubectl create ns kubernetes-dashboard                                            #v2版本dashboard獨立ns
[root@master01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file=/root/dashboard/certs/ -n kubernetes-dashboard
[root@master01 ~]# kubectl get secret kubernetes-dashboard-certs -n kubernetes-dashboard -o yaml    #查看新證書`

下載yaml

[root@master01 ~]# cd /root/dashboard
[root@master01 dashboard]# wget http://down.linuxsb.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml
提示：官方參考：https://github.com/kubernetes/dashboard。

修改yaml

[root@master01 dashboard]# vi recommended.yaml
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort                                #新增
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001                            #新增
  selector:
    k8s-app: kubernetes-dashboard
---
……                                                #如下全部注釋
#apiVersion: v1
#kind: Secret
#metadata:
#  labels:
#    k8s-app: kubernetes-dashboard
#  name: kubernetes-dashboard-certs
#  namespace: kubernetes-dashboard
#type: Opaque
……
kind: Deployment
……
  replicas: 3                                    #適當調整為3副本
……
    spec:
      containers:
        - name: kubernetes-dashboard
          image: kubernetesui/dashboard:v2.2.0
          imagePullPolicy: IfNotPresent         #修改鏡像下載策略
          ports:
            - containerPort: 8443
              protocol: TCP
          args:
            - --auto-generate-certificates
            - --namespace=kubernetes-dashboard
            - --tls-key-file=tls.key
            - --tls-cert-file=tls.crt
            - --token-ttl=3600                       #追加如上args
……
      nodeSelector:
#        "kubernetes.io/os": "linux"
        "dashboard": enable                        #部署在master節點
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: dashboard-metrics-scraper
  name: dashboard-metrics-scraper
  namespace: kubernetes-dashboard
spec:
  type: NodePort                                 #新增
  ports:
    - port: 8000
      targetPort: 8000
      nodePort: 30000                             #新增
  selector:                                                                                  
    k8s-app: dashboard-metrics-scraper
……
   replicas: 3                                    #適當調整為3副本
……
      nodeSelector:
#        "beta.kubernetes.io/os": linux
        "dashboard": enable                        #部署在master節點
……

正式部署

[root@master01 dashboard]# kubectl apply -f recommended.yaml
[root@master01 dashboard]# kubectl get deployment kubernetes-dashboard -n kubernetes-dashboard
[root@master01 dashboard]# kubectl get services -n kubernetes-dashboard
[root@master01 dashboard]# kubectl get pods -o wide -n kubernetes-dashboard

008

提示：master NodePort 30001/TCP映射到 dashboard pod 443 端口。

創建管理員賬戶

提示：dashboard v2版本默認沒有創建具有管理員權限的賬戶，可如下操作創建。
[root@master01 dashboard]# cat < dashboard-admin.yaml
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin
  namespace: kubernetes-dashboard

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin
  namespace: kubernetes-dashboard
EOF

[root@master01 dashboard]# kubectl apply -f dashboard-admin.yaml

ingress暴露dashboard

創建ingress tls

[root@master01 dashboard]# kubectl -n kubernetes-dashboard create secret tls kubernetes-dashboard-tls --cert=/root/dashboard/certs/tls.crt --key=/root/dashboard/certs/tls.key
[root@master01 dashboard]# kubectl -n kubernetes-dashboard describe secrets kubernetes-dashboard-tls

009

創建ingress策略

[root@master01 dashboard]# cat < dashboard-ingress.yaml
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: kubernetes-dashboard-ingress
  namespace: kubernetes-dashboard
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/use-regex: "true"
    nginx.ingress.kubernetes.io/ssl-passthrough: "true"
    nginx.ingress.kubernetes.io/rewrite-target: /
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    #nginx.ingress.kubernetes.io/secure-backends: "true"
    nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "600"
    nginx.ingress.kubernetes.io/configuration-snippet: |
      proxy_ssl_session_reuse off;
spec:
  rules:
  - host: web.odocker.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: kubernetes-dashboard
            port:
              number: 443
  tls:
  - hosts:
    - web.odocker.com
    secretName: kubernetes-dashboard-tls
EOF
[root@master01 dashboard]# kubectl apply -f dashboard-ingress.yaml
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get ingress

010

訪問dashboard

創建kubeconfig文件

使用token相對復雜，可將token添加至kubeconfig文件中，使用KubeConfig文件訪問dashboard。

[root@master01 dashboard]# ADMIN_SECRET=$(kubectl -n kubernetes-dashboard get secret | grep admin | awk {print $1}) 
[root@master01 dashboard]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E ^token | awk {print $2}) 
[root@master01 dashboard]# kubectl config set-cluster kubernetes 
  --certificate-authority=/etc/kubernetes/pki/ca.crt 
  --embed-certs=true 
  --server=172.24.8.100:16443 
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig        # 設置集群參數
 [root@master01 dashboard]# kubectl config set-credentials dashboard_user 
  --token=${DASHBOARD_LOGIN_TOKEN} 
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig       # 設置客戶端認證參數，使用上面創建的 Token
[root@master01 dashboard]# kubectl config set-context default 
  --cluster=kubernetes 
  --user=dashboard_user 
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig        # 設置上下文參數
[root@master01 dashboard]# kubectl config use-context default --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig         # 設置默認上下文

將web.odocker.com.crt證書文件導入，以便于瀏覽器使用該文件登錄。

導入證書

將web.odocker.com證書導入瀏覽器，并設置為信任，導入操作略。

測試訪問dashboard

本實驗采用ingress所暴露的域名：https://web.odocker.com
方式一：token訪問
可使用kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E ^token | awk {print $2}所獲取的token訪問。
011

方式二：kubeconfig訪問
local-ngkeconk8s-1-21-admin.kubeconfig文件訪問。
012

提示：
更多dashboard訪問方式及認證可參考附004.Kubernetes Dashboard簡介及使用。
dashboard登錄整個流程可參考：https://www.cnadn.net/post/2613.html

Longhorn存儲部署

Longhorn概述

Longhorn是用于Kubernetes的開源分布式塊存儲系統。

提示：更多介紹參考：https://github.com/longhorn/longhorn。

基礎軟件安裝

[root@master01 ~]# source environment.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "yum -y install iscsi-initiator-utils &"
  done
提示：所有節點都需要安裝。

設置標簽

[root@master01 ~]# kubectl label nodes master0{123} longhorn-ui=enabled
提示：ui圖形界面可復用master高可用，因此部署在master節點。

準備磁盤

默認longhorn使用/var/lib/longhorn/作為設備路徑，因此建議提前掛載。

[root@master01 ~]# source environment.sh
[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
        ssh root@${node_ip} "mkfs.xfs -f /dev/sdb &&
        mkdir -p /var/lib/longhorn/ &&
        echo /dev/sdb        /var/lib/longhorn        xfs        defaults        0 0 >> /etc/fstab &&
        mount -a"
  done

配置Longhorn

[root@master01 ~]# mkdir longhorn
[root@master01 ~]# cd longhorn/
[root@master01 longhorn]# wget 
https://raw.githubusercontent.com/longhorn/longhorn/master/deploy/longhorn.yaml

[root@master01 longhorn]# vi longhorn.yaml
……
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    app: longhorn-manager
  name: longhorn-manager
……
        imagePullPolicy: IfNotPresent
……
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: longhorn-ui
  name: longhorn-ui
……
      nodeSelector:
        longhorn-ui: enabled                        #追加標簽選擇
      tolerations:
        - key: node-role.kubernetes.io/master       #添加容忍
          effect: NoSchedule
#      imagePullSecrets:
#      - name:
……
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: longhorn-ui
  name: longhorn-frontend
  namespace: longhorn-system
spec:
  type: NodePort                                    #修改為nodeport
  selector:
    app: longhorn-ui
  ports:
  - port: 80
    targetPort: 8000
    nodePort: 30002
---
……

[root@master01 longhorn]# kubectl apply -f longhorn.yaml
[root@master01 longhorn]# kubectl -n longhorn-system get pods -o wide

013

提示：若部署異?？蓜h除重建，若出現無法刪除namespace，可通過如下操作進行刪除：
wget https://github.com/longhorn/longhorn/blob/master/uninstall/uninstall.yaml
rm -rf /var/lib/longhorn/
kubectl apple -f uninstall.yaml
kubectl delete -f uninstall.yaml

動態sc創建

提示：默認longhorn部署完成已創建一個sc，也可通過如下手動編寫yaml創建。
 [root@master01 longhorn]# kubectl get sc
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
……
longhorn               driver.longhorn.io      Delete          Immediate              true                   15m
[root@master01 longhorn]# cat < longhornsc.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: longhornsc
provisioner: rancher.io/longhorn
parameters:
  numberOfReplicas: "3"
  staleReplicaTimeout: "30"
  fromBackup: "" 
EOF

[root@master01 longhorn]# kubectl apply -f longhornsc.yaml

測試PV及PVC

[root@master01 longhorn]# cat < longhornpod.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: longhorn-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: longhorn
  resources:
    requests:
      storage: 500Mi

---
apiVersion: v1
kind: Pod
metadata:
  name: longhorn-pod
  namespace: default
spec:
  containers:
  - name: volume-test
    image: nginx:stable-alpine
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: volv
      mountPath: /data
    ports:
    - containerPort: 80
  volumes:
  - name: volv
    persistentVolumeClaim:
      claimName: longhorn-pvc
EOF
[root@master01 longhorn]# kubectl apply -f longhornpod.yaml
[root@master01 longhorn]# kubectl get pods
[root@master01 longhorn]# kubectl get pvc
[root@master01 longhorn]# kubectl get pv

014

Ingress暴露Longhorn

[root@master01 longhorn]# yum -y install httpd-tools
[root@master01 longhorn]# htpasswd -c auth xhy            #創建用戶名和密碼
New password: [輸入密碼]
Re-type new password:  [輸入密碼]
提示：也可通過如下命令創建：
USER=xhy; PASSWORD=x120952576; echo "${USER}:$(openssl passwd -stdin -apr1 <<< ${PASSWORD})" >> auth
[root@master01 longhorn]# kubectl -n longhorn-system create secret generic longhorn-basic-auth --from-file=auth

[root@master01 longhorn]# cat < longhorn-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: longhorn-ingress
  namespace: longhorn-system
  annotations:
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: longhorn-basic-auth
    nginx.ingress.kubernetes.io/auth-realm: Authentication Required 
spec:
  rules:
  - host: longhorn.odocker.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: longhorn-frontend
            port: 
              number: 80
EOF
[root@master01 longhorn]# kubectl apply -f longhorn-ingress.yaml
[root@master01 longhorn]# kubectl -n longhorn-system get ingress
NAME               CLASS    HOSTS                  ADDRESS                                  PORTS   AGE
longhorn-ingress      longhorn.odocker.com   172.24.8.144172.24.8.145172.24.8.146   80      45s

確認驗證

瀏覽器訪問：longhorn.odocker.com，并輸入賬號和密碼。

015

使用xhy/[密碼]登錄查看。

016

Helm部署

前置準備

Helm 將使用 kubectl 在已配置的集群上部署 Kubernetes 資源，因此需要如下前置準備：

  • 正在運行的 Kubernetes 集群；
  • 預配置的 kubectl 客戶端和 Kubernetes 集群正確交互。

二進制安裝Helm

[root@master01 ~]# wget https://get.helm.sh/helm-v3.5.4-linux-amd64.tar.gz
[root@master01 ~]# tar -zxvf helm-v3.5.4-linux-amd64.tar.gz
[root@master01 ~]# cp linux-amd64/helm /usr/local/bin/

[root@master01 ~]# helm version        #查看安裝版本
[root@master01 ~]# echo source <(helm completion bash) >> $HOME/.bashrc    #helm自動補全
提示：更多安裝方式參考官方手冊：https://helm.sh/docs/intro/install/。

Helm操作

查找chart

helm search：可以用于搜索兩種不同類型的源。
helm search hub：搜索 Helm Hub，該源包含來自許多不同倉庫的Helm chart。
helm search repo：搜索已添加到本地頭helm客戶端（帶有helm repo add）的倉庫，該搜索是通過本地數據完成的，不需要連接公網。

[root@master01 ~]# helm search hub                        #可搜索全部可用chart
[root@master01 ~]# helm search hub wordpress

添加repo

[root@master01 ~]# helm repo list                        #查看repo
[root@master01 ~]# helm repo add brigade https://brigadecore.github.io/charts
[root@master01 ~]# helm repo add stable https://kubernetes-charts.storage.googleapis.com/   #添加官方repo
[root@master01 ~]# helm repo add bitnami https://charts.bitnami.com/bitnami

[root@master01 ~]# helm search repo brigade
[root@master01 ~]# helm search repo stable                #搜索repo中的chart
[root@master01 ~]# helm repo update                        #更新repo的chart

擴展：集群擴容及縮容

集群擴容

  • master節點擴容

參考：添加Master節點 步驟

  • worker節點擴容

參考：添加Worker節點 步驟

集群縮容

  • master節點縮容
[root@master01 ~]# kubectl drain master03 --delete-emptydir-data --force --ignore-daemonsets
[root@master01 ~]# kubectl delete node master03

[root@master03 ~]# kubeadm reset -f && rm -rf $HOME/.kube
  • worker節點縮容
[root@master01 ~]# kubectl drain worker04 --delete-emptydir-data --force --ignore-daemonsets
[root@master01 ~]# kubectl delete node worker04

[root@worker04 ~]# kubeadm reset -f && rm -rf $HOME/.kube
[root@worker04 ~]# rm -rf /etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf /etc/kubernetes/controller-manager.conf /etc/kubernetes/scheduler.conf

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/126241.html

相關文章

  • 私有災備云解決方案

    摘要：災備服務支持本地災備異地災備公有云災備兩地三中心等多種服務方式，可根據業務特點和需求，靈活選擇災備方式，保證業務的和。公有云災備架構公有云災備服務支持多種業務部署方式，為云平臺業務提供不同指標，控制云平臺業務災備成本。UCloudStack 云平臺通過分布式存儲系統保證本地數據的安全性，同時通過遠程數據備份服務，為用戶提供遠程數據備份和容災備服務，可以將本地云端數據統一歸檔、備份至遠程云...

    youkede 評論0 收藏0

  • Kubernetes的幾種主流部署方式02-kubeadm部署1.14版本高可用集群

    摘要：所以，選擇把運行直接運行在宿主機中，使用容器部署其他組件。獨立部署方式所需機器資源多按照集群的奇數原則，這種拓撲的集群關控制平面最少就要臺宿主機了。 在上篇文章minikube部署中，有提到Minikube部署Kubernetes的核心就是Kubeadm，這篇文章來詳細說明下Kubeadm原理及部署步驟。寫這篇文章的時候，Kubernetes1.14剛剛發布，所以部署步驟以1.14版為...

    atinosun 評論0 收藏0

  • Kubernetes的幾種主流部署方式02-kubeadm部署1.14版本高可用集群

    摘要：所以，選擇把運行直接運行在宿主機中，使用容器部署其他組件。獨立部署方式所需機器資源多按照集群的奇數原則，這種拓撲的集群關控制平面最少就要臺宿主機了。 在上篇文章minikube部署中，有提到Minikube部署Kubernetes的核心就是Kubeadm，這篇文章來詳細說明下Kubeadm原理及部署步驟。寫這篇文章的時候，Kubernetes1.14剛剛發布，所以部署步驟以1.14版為...

    superw 評論0 收藏0

  • 私有云物理集群節點

    摘要：物理集群節點云平臺系統常見集群節點角色有種，分別是管理節點計算存儲融合節點獨立計算節點以及獨立存儲節點。云平臺分布式存儲使用所有計算節點的數據磁盤，每個節點僅支持部署一種類型的數據磁盤，如等使用作為緩存的場景除外。2.1 物理集群節點UCloudStack 云平臺系統常見集群節點角色有 4 種，分別是管理節點、計算存儲融合節點、獨立計算節點、以及獨立存儲節點。2.1.1 管理節點集群內部...

    youkede 評論0 收藏0

  • 360°透視：云原生架構及設計原則

    摘要：云原生的概念，由來自的于年首次提出，被一直延續使用至今。比如，一個優雅的互聯網應用在設計過程中，需要遵循的一些基本原則和云原生有異曲同工之處。 歡迎訪問網易云社區，了解更多網易技術產品運營經驗。 云原生（Cloud Native）的概念，由來自Pivotal的MattStine于2013年首次提出，被一直延續使用至今。這個概念是Matt Stine根據其多年的架構和咨詢經驗總結出來的...

    LiuRhoRamen 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<