資訊專欄INFORMATION COLUMN
摘要：本部分將下載并安裝到節點上，然后生成相關和，供集群組件使用。版本后的不再提供所有權限，需要建立一個來綁定復制，然后貼到是社區維護的容器集群監控和分析工具。
最近，有部分用戶飄了……
覺得Rainbond提供的既簡潔、又易用、而且生產就緒的Kubernets體驗不過癮……
想要挑戰一下Kubernetes全手動部署……
并在凌晨一點撥通了客服小哥的電話……
因此本著不重復造輪子并且關愛客服小哥身心健康的主張，我們搬來了Kairen的精彩教程——
開始Kubernetes官方提供了多種安裝方式Picking the right solution，本文將以全手動安裝方式來部署Kubernetes v1.8.x版本，學習和了解Kubernetes的構建流程。
版本明細：
Kubernetes v1.8.6
CNI v0.6.0
Etcd v3.2.9
Calico v2.6.2
Docker v17.10.0-ce
準備系統：ubuntu 16.x 或 centos 7.x
節點：
172.16.35.12 / master1 / 1 CPU / 2G
172.16.35.10 / node1 / 1 CPU / 2G
172.16.35.11 / node2 / 1 CPU / 2G
master為主要控制節點和部署節點，node為應用運行節點
所有操作均為root
安裝前需確認以下事項：
確認所有節點之間網絡互通，master1 SSH登入其他節點為passwordless
確認防火墻和SELinux已關閉，如centos:
$ systemctl stop firewalld && systemctl disable firewalld $ setenforce 0 $ vim /etc/selinux/config SELINUX=disabled
所有節點需要設置/etc/host解析到所有主機
... 172.16.35.10 node1 172.16.35.11 node2 172.16.35.12 master1
所有節點都需要安裝docker
$ curl -fsSL "https://get.docker.com/" | sh
注意：centos安裝docker完成后需要執行：
$ systemctl enable docker && systemctl start docker
編輯/lib/systemd/system/docker.service，在ExecStart=..加入：
ExecStartPost=/sbin/iptables -A FORWARD -s 0.0.0.0/0 -j ACCEPT
完成后重啟docker服務：
$ systemctl daemon-reload && systemctl restart docker
所有節點都需要設定/etc/sysctl.d/k8s.conf系統參數
$ cat </etc/sysctl.d/k8s.conf net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF $ sysctl -p /etc/sysctl.d/k8s.conf
在master1安裝CFSSL工具，用來建立TLS certificates
$ export CFSSL_URL="https://pkg.cfssl.org/R1.2"
$ wget "${CFSSL_URL}/cfssl_linux-amd64" -O /usr/local/bin/cfssl
$ wget "${CFSSL_URL}/cfssljson_linux-amd64" -O /usr/local/bin/cfssljson
$ chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson
Etcd
安裝Kubernetes之前，我們需要完成一些必要的系統配置，高可用共享配置和服務發現存儲Etcd便是其中的重要一環，節點會從Etcd中獲取所需數據。
建立集群CA和certificates這里需要生成client和server各組件certificate，代替kubernetes admin user生成client證書。
首先在master1建立/etc/etcd/ssl目錄，而后進入目錄進行以下操作：
$ mkdir -p /etc/etcd/ssl && cd /etc/etcd/ssl $ export PKI_URL="https://kairen.github.io/files/manual-v1.8/pki"
下載ca-config.json和etcd-ca-csr.json：
$ wget "${PKI_URL}/ca-config.json" "${PKI_URL}/etcd-ca-csr.json"
$ cfssl gencert -initca etcd-ca-csr.json | cfssljson -bare etcd-ca
$ ls etcd-ca*.pem
etcd-ca-key.pem etcd-ca.pem
下載etcd-csr.json并生成Etcd certificate證書：
$ wget "${PKI_URL}/etcd-csr.json"
$ cfssl gencert
-ca=etcd-ca.pem
-ca-key=etcd-ca-key.pem
-config=ca-config.json
-profile=kubernetes
etcd-csr.json | cfssljson -bare etcd
$ ls etcd*.pem
etcd-ca-key.pem etcd-ca.pem etcd-key.pem etcd.pem
如果節點IP不同，需要修改etcd-csr.json的hosts
完成后刪除不必要的文件：
$ rm -rf *.json
并確認/etc/etcd/ssl包含：
$ ls /etc/etcd/ssl etcd-ca.csr etcd-ca-key.pem etcd-ca.pem etcd.csr etcd-key.pem etcd.pemEtcd的安裝和設置
首先在master1節點下載Etcd，解壓到/opt安裝：
$ export ETCD_URL="https://github.com/coreos/etcd/releases/download"
$ cd && wget -qO- --show-progress "${ETCD_URL}/v3.2.9/etcd-v3.2.9-linux-amd64.tar.gz" | tar -zx
$ mv etcd-v3.2.9-linux-amd64/etcd* /usr/local/bin/ && rm -rf etcd-v3.2.9-linux-amd64
完成后新建Etcd Group和User，并設定Etcd目錄：
$ groupadd etcd && useradd -c "Etcd user" -g etcd -s /sbin/nologin -r etcd
下載etcd相關配置，我們將來管理Etcd：
$ export ETCD_CONF_URL="https://kairen.github.io/files/manual-v1.8/master"
$ wget "${ETCD_CONF_URL}/etcd.conf" -O /etc/etcd/etcd.conf
$ wget "${ETCD_CONF_URL}/etcd.service" -O /lib/systemd/system/etcd.service
如果沒用本文準備部分的IP，請用自己的IP代替172.16.35.12
建立var 存放數據，然后啟動Etcd服務：
$ mkdir -p /var/lib/etcd && chown etcd:etcd -R /var/lib/etcd /etc/etcd $ systemctl enable etcd.service && systemctl start etcd.service
通過以下命令驗證：
$ export CA="/etc/etcd/ssl"
$ ETCDCTL_API=3 etcdctl
--cacert=${CA}/etcd-ca.pem
--cert=${CA}/etcd.pem
--key=${CA}/etcd-key.pem
--endpoints="https://172.16.35.12:2379"
endpoint health
# output
https://172.16.35.12:2379 is healthy: successfully committed proposal: took = 641.36μs
Kubernetes Master
Master是Kubernetes的大總管，通過apiserver、Controller manager以及Scheduler管理所有節點。
本部分將下載Kubernetes并安裝到master1節點上，然后生成相關TLS certificates和CA，供集群組件使用。
下載Kubernetes組件# Download Kubernetes
$ export KUBE_URL="https://storage.googleapis.com/kubernetes-release/release/v1.8.6/bin/linux/amd64"
$ wget "${KUBE_URL}/kubelet" -O /usr/local/bin/kubelet
$ wget "${KUBE_URL}/kubectl" -O /usr/local/bin/kubectl
$ chmod +x /usr/local/bin/kubelet /usr/local/bin/kubectl
# Download CNI
$ mkdir -p /opt/cni/bin && cd /opt/cni/bin
$ export CNI_URL="https://github.com/containernetworking/plugins/releases/download"
$ wget -qO- --show-progress "${CNI_URL}/v0.6.0/cni-plugins-amd64-v0.6.0.tgz" | tar -zx
建立集群CA和certificates
與Etcd部分原理一樣，操作也大相徑庭，首先在master1建立pki目錄，并進入目錄執行：
$ mkdir -p /etc/kubernetes/pki && cd /etc/kubernetes/pki $ export PKI_URL="https://kairen.github.io/files/manual-v1.8/pki" $ export KUBE_APISERVER="https://172.16.35.12:6443"
下載ca-config.json和etcd-ca-csr.json：
$ wget "${PKI_URL}/ca-config.json" "${PKI_URL}/ca-csr.json"
$ cfssl gencert -initca ca-csr.json | cfssljson -bare ca
$ ls ca*.pem
ca-key.pem ca.pem
下載apiserver-csr.json，生成kube-apiserver certificate證書：
$ wget "${PKI_URL}/apiserver-csr.json"
$ cfssl gencert
-ca=ca.pem
-ca-key=ca-key.pem
-config=ca-config.json
-hostname=10.96.0.1,172.16.35.12,127.0.0.1,kubernetes.default
-profile=kubernetes
apiserver-csr.json | cfssljson -bare apiserver
$ ls apiserver*.pem
apiserver-key.pem apiserver.pem
如果節點IP不同，需要修改-hostname
下載front-proxy-ca-csr.json，生成Front proxy CA，Front proxy主要用在API aggregator上：
$ wget "${PKI_URL}/front-proxy-ca-csr.json"
$ cfssl gencert
-initca front-proxy-ca-csr.json | cfssljson -bare front-proxy-ca
$ ls front-proxy-ca*.pem
front-proxy-ca-key.pem front-proxy-ca.pem
下載front-proxy-client-csr.json，生成front-proxy-client證書：
$ wget "${PKI_URL}/front-proxy-client-csr.json"
$ cfssl gencert
-ca=front-proxy-ca.pem
-ca-key=front-proxy-ca-key.pem
-config=ca-config.json
-profile=kubernetes
front-proxy-client-csr.json | cfssljson -bare front-proxy-client
$ ls front-proxy-client*.pem
front-proxy-client-key.pem front-proxy-client.pem
手工方式生成CA非常麻煩，只適合少量機器，每次簽證時都需要綁定Node IP，隨著機器增加會帶來很多的不便，因此這里使用TLS Bootstrapping的方式來進行授權，由apiserver自動為符合條件的Node發送證書授權加入集群。
做法是在kubelet啟動時，向kuber-apiserver傳送TLS Bootstrapping請求，而kube-apiserver驗證kubelet請求的token是否與設定的一樣，如果一樣則自動生成Kuberlet證書和密鑰。具體作法可以參考TLS bootstrapping。
首先生成BOOTSTRAP_TOKEN，并建立bootstrap.conf的kubeconfig：
$ export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d " ") $ cat </etc/kubernetes/token.csv ${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap" EOF # bootstrap set-cluster $ kubectl config set-cluster kubernetes --certificate-authority=ca.pem --embed-certs=true --server=${KUBE_APISERVER} --kubeconfig=../bootstrap.conf # bootstrap set-credentials $ kubectl config set-credentials kubelet-bootstrap --token=${BOOTSTRAP_TOKEN} --kubeconfig=../bootstrap.conf # bootstrap set-context $ kubectl config set-context default --cluster=kubernetes --user=kubelet-bootstrap --kubeconfig=../bootstrap.conf # bootstrap set default context $ kubectl config use-context default --kubeconfig=../bootstrap.conf
如果想用CA的方式來認證，可以參考Kubelet certificate
下載admin-csr.json，并生成admin certificate證書：
$ wget "${PKI_URL}/admin-csr.json"
$ cfssl gencert
-ca=ca.pem
-ca-key=ca-key.pem
-config=ca-config.json
-profile=kubernetes
admin-csr.json | cfssljson -bare admin
$ ls admin*.pem
admin-key.pem admin.pem
然后執行一下命令生成名為admin.conf的kubeconfig：
# admin set-cluster
$ kubectl config set-cluster kubernetes
--certificate-authority=ca.pem
--embed-certs=true
--server=${KUBE_APISERVER}
--kubeconfig=../admin.conf
# admin set-credentials
$ kubectl config set-credentials kubernetes-admin
--client-certificate=admin.pem
--client-key=admin-key.pem
--embed-certs=true
--kubeconfig=../admin.conf
# admin set-context
$ kubectl config set-context kubernetes-admin@kubernetes
--cluster=kubernetes
--user=kubernetes-admin
--kubeconfig=../admin.conf
# admin set default context
$ kubectl config use-context kubernetes-admin@kubernetes
--kubeconfig=../admin.conf
下載manager-csr.json，并生成kube-controller-manager certificate證書：
$ wget "${PKI_URL}/manager-csr.json"
$ cfssl gencert
-ca=ca.pem
-ca-key=ca-key.pem
-config=ca-config.json
-profile=kubernetes
manager-csr.json | cfssljson -bare controller-manager
$ ls controller-manager*.pem
如果節點IP不同，需要修改manager-csr.json的hosts
然后執行命令生成名為controller-manager.conf的kubeconfig：
# controller-manager set-cluster
$ kubectl config set-cluster kubernetes
--certificate-authority=ca.pem
--embed-certs=true
--server=${KUBE_APISERVER}
--kubeconfig=../controller-manager.conf
# controller-manager set-credentials
$ kubectl config set-credentials system:kube-controller-manager
--client-certificate=controller-manager.pem
--client-key=controller-manager-key.pem
--embed-certs=true
--kubeconfig=../controller-manager.conf
# controller-manager set-context
$ kubectl config set-context system:kube-controller-manager@kubernetes
--cluster=kubernetes
--user=system:kube-controller-manager
--kubeconfig=../controller-manager.conf
# controller-manager set default context
$ kubectl config use-context system:kube-controller-manager@kubernetes
--kubeconfig=../controller-manager.conf
下載scheduler-csr.json，生成kube-scheduler certificate證書：
$ wget "${PKI_URL}/scheduler-csr.json"
$ cfssl gencert
-ca=ca.pem
-ca-key=ca-key.pem
-config=ca-config.json
-profile=kubernetes
scheduler-csr.json | cfssljson -bare scheduler
$ ls scheduler*.pem
scheduler-key.pem scheduler.pem
如果節點IP不同，需要修改scheduler-csr.json的hosts
然后執行一下命令生成名為scheduler.conf的kubeconfig：
# scheduler set-cluster
$ kubectl config set-cluster kubernetes
--certificate-authority=ca.pem
--embed-certs=true
--server=${KUBE_APISERVER}
--kubeconfig=../scheduler.conf
# scheduler set-credentials
$ kubectl config set-credentials system:kube-scheduler
--client-certificate=scheduler.pem
--client-key=scheduler-key.pem
--embed-certs=true
--kubeconfig=../scheduler.conf
# scheduler set-context
$ kubectl config set-context system:kube-scheduler@kubernetes
--cluster=kubernetes
--user=system:kube-scheduler
--kubeconfig=../scheduler.conf
# scheduler set default context
$ kubectl config use-context system:kube-scheduler@kubernetes
--kubeconfig=../scheduler.conf
下載kubelet-csr.json，并生成master node certificate證書：
$ wget "${PKI_URL}/kubelet-csr.json"
$ sed -i "s/$NODE/master1/g" kubelet-csr.json
$ cfssl gencert
-ca=ca.pem
-ca-key=ca-key.pem
-config=ca-config.json
-hostname=master1,172.16.35.12
-profile=kubernetes
kubelet-csr.json | cfssljson -bare kubelet
$ ls kubelet*.pem
kubelet-key.pem kubelet.pem
$NODE需要隨節點名稱不同而改變
然后執行一下命令生成名為kubelet.conf的kubeconfig：
# kubelet set-cluster
$ kubectl config set-cluster kubernetes
--certificate-authority=ca.pem
--embed-certs=true
--server=${KUBE_APISERVER}
--kubeconfig=../kubelet.conf
# kubelet set-credentials
$ kubectl config set-credentials system:node:master1
--client-certificate=kubelet.pem
--client-key=kubelet-key.pem
--embed-certs=true
--kubeconfig=../kubelet.conf
# kubelet set-context
$ kubectl config set-context system:node:master1@kubernetes
--cluster=kubernetes
--user=system:node:master1
--kubeconfig=../kubelet.conf
# kubelet set default context
$ kubectl config use-context system:node:master1@kubernetes
--kubeconfig=../kubelet.conf
Service account不需要CA認證，也就不需要CA來做Service account key的檢查，這里我們建立一組private和public的密鑰供Service account key使用：
$ openssl genrsa -out sa.key 2048 $ openssl rsa -in sa.key -pubout -out sa.pub $ ls sa.* sa.key sa.pub
完成后刪除不必要文件：
$ rm -rf *.json *.csr
確認/etc/kubernetes和/etc/kubernetes/pki包含以下文件：
$ ls /etc/kubernetes/ admin.conf bootstrap.conf controller-manager.conf kubelet.conf pki scheduler.conf token.csv $ ls /etc/kubernetes/pki admin-key.pem apiserver-key.pem ca-key.pem controller-manager-key.pem front-proxy-ca-key.pem front-proxy-client-key.pem kubelet-key.pem sa.key scheduler-key.pem admin.pem apiserver.pem ca.pem controller-manager.pem front-proxy-ca.pem front-proxy-client.pem kubelet.pem sa.pub scheduler.pem安裝Kubernetes 核心元件
下載Kubernetes核心組件Yaml文件，這里我們利用Kubernetes Statics Pod來建立Master核心組件，因此下載所有Static Pod文件到etc/kubernetes/manifests目錄“
$ export CORE_URL="https://kairen.github.io/files/manual-v1.8/master"
$ mkdir -p /etc/kubernetes/manifests && cd /etc/kubernetes/manifests
$ for FILE in apiserver manager scheduler; do
wget "${CORE_URL}/${FILE}.yml.conf" -O ${FILE}.yml
done
同樣的，如果IP與本文IP準備不同的話，需要修改apiserver.yml、manager.yml、`
scheduler.yml`apiserver中的NodeRestriction請參考Using Node Authorization
生成一個用來加密Etcd的key
$ head -c 32 /dev/urandom | base64 SUpbL4juUYyvxj3/gonV5xVEx8j769/99TSAf8YT/sQ=
在/etc/kubernetes/目錄建立encryption.yml的加密YAML文件：
$ cat </etc/kubernetes/encryption.yml kind: EncryptionConfig apiVersion: v1 resources: - resources: - secrets providers: - aescbc: keys: - name: key1 secret: SUpbL4juUYyvxj3/gonV5xVEx8j769/99TSAf8YT/sQ= - identity: {} EOF
Etcd加密可參考Encrypting data at rest
在/etc/kubernetes/目錄建立audit-policy.yml的auditing policay YAML文件：
$ cat </etc/kubernetes/audit-policy.yml apiVersion: audit.k8s.io/v1beta1 kind: Policy rules: - level: Metadata EOF
audit policy請參考Audit
下載kubelet.service相關文件來管理kubelet：
$ export KUBELET_URL="https://kairen.github.io/files/manual-v1.8/master"
$ mkdir -p /etc/systemd/system/kubelet.service.d
$ wget "${KUBELET_URL}/kubelet.service" -O /lib/systemd/system/kubelet.service
$ wget "${KUBELET_URL}/10-kubelet.conf" -O /etc/systemd/system/kubelet.service.d/10-kubelet.conf
若cluster-dns或cluster-domain有變動，需要修改10-kubelet.conf
最后建立var并啟動kubelet服務：
$ mkdir -p /var/lib/kubelet /var/log/kubernetes $ systemctl enable kubelet.service && systemctl start kubelet.service
完成后需要一段時間來下載鏡像文件并啟動組件：
$ watch netstat -ntlp tcp 0 0 127.0.0.1:10248 0.0.0.0:* LISTEN 23012/kubelet tcp 0 0 127.0.0.1:10251 0.0.0.0:* LISTEN 22305/kube-schedule tcp 0 0 127.0.0.1:10252 0.0.0.0:* LISTEN 22529/kube-controll tcp6 0 0 :::6443 :::* LISTEN 22956/kube-apiserve
看到上述信息即表明服務啟動正常，如果出現問題可通過docker cli查看
完成后，復制admin kubeconfig并通過以下命令驗證：
$ cp /etc/kubernetes/admin.conf ~/.kube/config
$ kubectl get cs
NAME STATUS MESSAGE ERROR
etcd-0 Healthy {"health": "true"}
scheduler Healthy ok
controller-manager Healthy ok
$ kubectl get node
NAME STATUS ROLES AGE VERSION
master1 NotReady master 1m v1.8.6
$ kubectl -n kube-system get po
NAME READY STATUS RESTARTS AGE
kube-apiserver-master1 1/1 Running 0 4m
kube-controller-manager-master1 1/1 Running 0 4m
kube-scheduler-master1 1/1 Running 0 4m
確認服務能夠執行logs等命令：
$ kubectl -n kube-system logs -f kube-scheduler-master1 Error from server (Forbidden): Forbidden (user=kube-apiserver, verb=get, resource=nodes, subresource=proxy) ( pods/log kube-apiserver-master1)
出現403 Forbidden問題表明kube-apiserver user并沒有nodes的權限
由于上述權限問題，我們需要建立一個apiserver-to-kubelet-rbac.yml來定義權限，以供我們執行logs、exec等命令：
$ cd /etc/kubernetes/
$ export URL="https://kairen.github.io/files/manual-v1.8/master"
$ wget "${URL}/apiserver-to-kubelet-rbac.yml.conf" -O apiserver-to-kubelet-rbac.yml
$ kubectl apply -f apiserver-to-kubelet-rbac.yml
# 測試 logs
$ kubectl -n kube-system logs -f kube-scheduler-master1
...
I1031 03:22:42.527697 1 leaderelection.go:184] successfully acquired lease kube-system/kube-scheduler
Kubernetes Node
Node運行容器實例的節點，即工作節點。本部分我們會下載Kubernetes binary并建立node 的certificate來提供給節點注冊認證用。Kubernetes使用Node Authorizer來提供Authorization mode，這種授權模式會替Kubelet生成API request。
開始前，我們先在master1將需要的ca和cert復制到Node節點上：
$ for NODE in node1 node2; do
ssh ${NODE} "mkdir -p /etc/kubernetes/pki/"
ssh ${NODE} "mkdir -p /etc/etcd/ssl"
# Etcd ca and cert
for FILE in etcd-ca.pem etcd.pem etcd-key.pem; do
scp /etc/etcd/ssl/${FILE} ${NODE}:/etc/etcd/ssl/${FILE}
done
# Kubernetes ca and cert
for FILE in pki/ca.pem pki/ca-key.pem bootstrap.conf; do
scp /etc/kubernetes/${FILE} ${NODE}:/etc/kubernetes/${FILE}
done
done
下載Kubernetes 元件
首先獲取所有需要執行的文件：
# Download Kubernetes
$ export KUBE_URL="https://storage.googleapis.com/kubernetes-release/release/v1.8.6/bin/linux/amd64"
$ wget "${KUBE_URL}/kubelet" -O /usr/local/bin/kubelet
$ chmod +x /usr/local/bin/kubelet
# Download CNI
$ mkdir -p /opt/cni/bin && cd /opt/cni/bin
$ export CNI_URL="https://github.com/containernetworking/plugins/releases/download"
$ wget -qO- --show-progress "${CNI_URL}/v0.6.0/cni-plugins-amd64-v0.6.0.tgz" | tar -zx
設定Kubernetes node
下載Kubernetes相關文件，包括drop-in file、systemd service等：
$ export KUBELET_URL="https://kairen.github.io/files/manual-v1.8/node"
$ mkdir -p /etc/systemd/system/kubelet.service.d
$ wget "${KUBELET_URL}/kubelet.service" -O /lib/systemd/system/kubelet.service
$ wget "${KUBELET_URL}/10-kubelet.conf" -O /etc/systemd/system/kubelet.service.d/10-kubelet.conf
如果cluster-dns或cluster-domain有改變的話，需要修改10-kubelet.conf
然后在所有node建立var，并啟動kubelet服務：
$ mkdir -p /var/lib/kubelet /var/log/kubernetes /etc/kubernetes/manifests $ systemctl enable kubelet.service && systemctl start kubelet.service授權Kubernetes Node
重復完成所有節點后，在master1節點建立ClusterRoleBinding（因為我們采用的是TLS Bootstrapping）：
$ kubectl create clusterrolebinding kubelet-bootstrap
--clusterrole=system:node-bootstrapper
--user=kubelet-bootstrap
在master進行驗證，我們可以看到節點處于pending：
$ kubectl get csr NAME AGE REQUESTOR CONDITION node-csr-YWf97ZrLCTlr2hmXsNLfjVLwaLfZRsu52FRKOYjpcBE 2s kubelet-bootstrap Pending node-csr-eq4q6ffOwT4yqYQNU6sT7mphPOQdFN6yulMVZeu6pkE 2s kubelet-bootstrap Pending
通過kubectl，允許節點加入集群：
$ kubectl get csr | awk "/Pending/ {print $1}" | xargs kubectl certificate approve
certificatesigningrequest "node-csr-YWf97ZrLCTlr2hmXsNLfjVLwaLfZRsu52FRKOYjpcBE" approved
certificatesigningrequest "node-csr-eq4q6ffOwT4yqYQNU6sT7mphPOQdFN6yulMVZeu6pkE" approved
$ kubectl get csr
NAME AGE REQUESTOR CONDITION
node-csr-YWf97ZrLCTlr2hmXsNLfjVLwaLfZRsu52FRKOYjpcBE 30s kubelet-bootstrap Approved,Issued
node-csr-eq4q6ffOwT4yqYQNU6sT7mphPOQdFN6yulMVZeu6pkE 30s kubelet-bootstrap Approved,Issued
$ kubectl get no
NAME STATUS ROLES AGE VERSION
master1 NotReady master 21m v1.8.6
node1 NotReady node 8s v1.8.6
node2 NotReady node 8s v1.8.6
Kubernetes Core Addons 部署
完成以上所有步驟，我們還需要安裝一些插件，比如kube-dns、kube-proxy等等。
Kube-proxy addonKube-proxy是實現Service的關鍵組件，kube-proxy會在每個節點上執行，然后監聽API Server的Service和Endpoint變化，并根據變化執行iptables實現網絡轉發。
這里我們需要DaemonSet來執行，并需要生成一些certificate。
首先在master1下載kube-proxy-csr.json，并生成kube-proxy certificate證書：
$ export PKI_URL="https://kairen.github.io/files/manual-v1.8/pki"
$ cd /etc/kubernetes/pki
$ wget "${PKI_URL}/kube-proxy-csr.json" "${PKI_URL}/ca-config.json"
$ cfssl gencert
-ca=ca.pem
-ca-key=ca-key.pem
-config=ca-config.json
-profile=kubernetes
kube-proxy-csr.json | cfssljson -bare kube-proxy
$ ls kube-proxy*.pem
kube-proxy-key.pem kube-proxy.pem
然后通過以下命令生成名為`kube-proxy.conf·的kubeconfig：
# kube-proxy set-cluster
$ kubectl config set-cluster kubernetes
--certificate-authority=ca.pem
--embed-certs=true
--server="https://172.16.35.12:6443"
--kubeconfig=../kube-proxy.conf
# kube-proxy set-credentials
$ kubectl config set-credentials system:kube-proxy
--client-key=kube-proxy-key.pem
--client-certificate=kube-proxy.pem
--embed-certs=true
--kubeconfig=../kube-proxy.conf
# kube-proxy set-context
$ kubectl config set-context system:kube-proxy@kubernetes
--cluster=kubernetes
--user=system:kube-proxy
--kubeconfig=../kube-proxy.conf
# kube-proxy set default context
$ kubectl config use-context system:kube-proxy@kubernetes
--kubeconfig=../kube-proxy.conf
刪除不必要的文件：
$ rm -rf *.json
確認/etc/kubernetes有以下文件：
$ ls /etc/kubernetes/ admin.conf bootstrap.conf encryption.yml kube-proxy.conf pki token.csv audit-policy.yml controller-manager.conf kubelet.conf manifests scheduler.conf
在master1上將kube-proxy相關文件復制到Node節點上：
$ for NODE in node1 node2; do
echo "--- $NODE ---"
for FILE in pki/kube-proxy.pem pki/kube-proxy-key.pem kube-proxy.conf; do
scp /etc/kubernetes/${FILE} ${NODE}:/etc/kubernetes/${FILE}
done
done
完成后，在master1通過kubectl建立kube-proxy daemon：
$ export ADDON_URL="https://kairen.github.io/files/manual-v1.8/addon"
$ mkdir -p /etc/kubernetes/addons && cd /etc/kubernetes/addons
$ wget "${ADDON_URL}/kube-proxy.yml.conf" -O kube-proxy.yml
$ kubectl apply -f kube-proxy.yml
$ kubectl -n kube-system get po -l k8s-app=kube-proxy
NAME READY STATUS RESTARTS AGE
kube-proxy-bpp7q 1/1 Running 0 47s
kube-proxy-cztvh 1/1 Running 0 47s
kube-proxy-q7mm4 1/1 Running 0 47s
Kube-dns addon
Kube DNS是Kubernetes集群內部Pod之間通信的重要插件，允許Pod通過Domain Name鏈接Service，主要由Kube DNS與Sky DNS組合而成，通過Kube DNS監聽Service與Endpoint變化，來提供給Sky DNS信息以更新解析位址。
安裝只需要在master1通過kubectl建立kube-dns deployment即可：
$ export ADDON_URL="https://kairen.github.io/files/manual-v1.8/addon"
$ wget "${ADDON_URL}/kube-dns.yml.conf" -O kube-dns.yml
$ kubectl apply -f kube-dns.yml
$ kubectl -n kube-system get po -l k8s-app=kube-dns
NAME READY STATUS RESTARTS AGE
kube-dns-6cb549f55f-h4zr5 0/3 Pending 0 40s
Calico Network 安裝與設定
Calico是一款純3層協議(不需要Overlay 網路)，已與各種云原生平臺有良好的整合，在每個節點節點利用Linux Kernel實現高效的vRouter來負責數據轉發，而當數據中心復雜度增加時，可以用BGP route reflector來達成。
首先在master1通過kubectl建立Calico policy controller：
$ export CALICO_CONF_URL="https://kairen.github.io/files/manual-v1.8/network"
$ wget "${CALICO_CONF_URL}/calico-controller.yml.conf" -O calico-controller.yml
$ kubectl apply -f calico-controller.yml
$ kubectl -n kube-system get po -l k8s-app=calico-policy
NAME READY STATUS RESTARTS AGE
calico-policy-controller-5ff8b4549d-tctmm 0/1 Pending 0 5s
如果節點IP不同，需要修改calico-controller.yml的ETCD_ENDPOINTS
在`master1·下載Calico CLI工具：
$ wget https://github.com/projectcalico/calicoctl/releases/download/v1.6.1/calicoctl $ chmod +x calicoctl && mv calicoctl /usr/local/bin/
然后在所有節點下載Calico，并執行以下命令：
$ export CALICO_URL="https://github.com/projectcalico/cni-plugin/releases/download/v1.11.0"
$ wget -N -P /opt/cni/bin ${CALICO_URL}/calico
$ wget -N -P /opt/cni/bin ${CALICO_URL}/calico-ipam
$ chmod +x /opt/cni/bin/calico /opt/cni/bin/calico-ipam
接著在所有節點下載CNI plugins以及calico-node.service：
$ mkdir -p /etc/cni/net.d
$ export CALICO_CONF_URL="https://kairen.github.io/files/manual-v1.8/network"
$ wget "${CALICO_CONF_URL}/10-calico.conf" -O /etc/cni/net.d/10-calico.conf
$ wget "${CALICO_CONF_URL}/calico-node.service" -O /lib/systemd/system/calico-node.service
如果節點IP不同，需要修改10-calico.conf的etcd_endpoints如果部署機器是虛擬機，需要修改calico-node.service，并在IP_AUTODETECTION_METHOD (包含IP6)部分指定綁定的網卡，以免預設綁定到NAT網路上
之后在所有節點啟動Calico-node：
$ systemctl enable calico-node.service && systemctl start calico-node.service
在master1查看Calico nodes：
$ cat <~/calico-rc export ETCD_ENDPOINTS="https://172.16.35.12:2379" export ETCD_CA_CERT_FILE="/etc/etcd/ssl/etcd-ca.pem" export ETCD_CERT_FILE="/etc/etcd/ssl/etcd.pem" export ETCD_KEY_FILE="/etc/etcd/ssl/etcd-key.pem" EOF $ . ~/calico-rc $ calicoctl get node -o wide NAME ASN IPV4 IPV6 master1 (64512) 172.16.35.12/24 node1 (64512) 172.16.35.10/24 node2 (64512) 172.16.35.11/24
查看pending的pod是否已執行：
$ kubectl -n kube-system get po NAME READY STATUS RESTARTS AGE calico-policy-controller-5ff8b4549d-tctmm 1/1 Running 0 4m kube-apiserver-master1 1/1 Running 0 20m kube-controller-manager-master1 1/1 Running 0 20m kube-dns-6cb549f55f-h4zr5 3/3 Running 0 5m kube-proxy-fnrkb 1/1 Running 0 6m kube-proxy-l72bq 1/1 Running 0 6m kube-proxy-m6rfw 1/1 Running 0 6m kube-scheduler-master1 1/1 Running 0 20m
省事的做法是用Standard Hosted方式安裝。
Kubernetes Extra Addons 部署本部分說明如何部署官方常用的addons，例如dashboard、heapster等。
Dashboard addonDashboard是Kubernetes官方開發的儀表板，讓我們以可以i 通過web-based方式管理kubernetes集群。
在master1通過kubectl建立kubernetes dashboard即可：
$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml $ kubectl -n kube-system get po,svc -l k8s-app=kubernetes-dashboard NAME READY STATUS RESTARTS AGE po/kubernetes-dashboard-747c4f7cf-md5m8 1/1 Running 0 56s NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE svc/kubernetes-dashboard ClusterIP 10.98.120.209443/TCP 56s
這邊會額外建立一個名稱為open-api的Cluster Role Binding，放拜年測試使用，一般情況下不開啟（開啟會存取所有API）。
$ cat <1.7版本后的Dashboard不再提供所有權限，需要建立一個service account來綁定cluster-admin role：
$ kubectl -n kube-system create sa dashboard $ kubectl create clusterrolebinding dashboard --clusterrole cluster-admin --serviceaccount=kube-system:dashboard $ SECRET=$(kubectl -n kube-system get sa dashboard -o yaml | awk "/dashboard-token/ {print $3}") $ kubectl -n kube-system describe secrets ${SECRET} | awk "/token:/{print $2}" eyJhbGciOiJSUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtdG9rZW4tdzVocmgiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiYWJmMTFjYzMtZjRlYi0xMWU3LTgzYWUtMDgwMDI3NjdkOWI5Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZCJ9.Xuyq34ci7Mk8bI97o4IldDyKySOOqRXRsxVWIJkPNiVUxKT4wpQZtikNJe2mfUBBD-JvoXTzwqyeSSTsAy2CiKQhekW8QgPLYelkBPBibySjBhJpiCD38J1u7yru4P0Pww2ZQJDjIxY4vqT46ywBklReGVqY3ogtUQg-eXueBmz-o7lJYMjw8L14692OJuhBjzTRSaKW8U2MPluBVnD7M2SOekDff7KpSxgOwXHsLVQoMrVNbspUCvtIiEI1EiXkyCNRGwfnd2my3uzUABIHFhm0_RZSmGwExPbxflr8Fc6bxmuz-_jSdOtUidYkFIzvEWw2vRovPgs3MXTv59RwUw復制token，然后貼到Kubernetes dashboardHeapster addonHeapster是Kubernetes社區維護的容器集群監控和分析工具。Heapster會從Kubernetes apiserver取得所有Node數據，然后再通過Node獲取kubelet上的數據，最后再將所有收集到數據送到Heapster后臺儲存InfluxDB，最后利用Grafana抓取InfluxDB數據源來進行展示。
在master1通過kubectl來建立kubernetes monitor即可：
$ export ADDON_URL="https://kairen.github.io/files/manual-v1.8/addon" $ wget ${ADDON_URL}/kube-monitor.yml.conf -O kube-monitor.yml $ kubectl apply -f kube-monitor.yml $ kubectl -n kube-system get po,svc NAME READY STATUS RESTARTS AGE ... po/heapster-74fb5c8cdc-62xzc 4/4 Running 0 7m po/influxdb-grafana-55bd7df44-nw4nc 2/2 Running 0 7m NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ... svc/heapster ClusterIP 10.100.242.225簡單部署Nginx 服務80/TCP 7m svc/monitoring-grafana ClusterIP 10.101.106.180 80/TCP 7m svc/monitoring-influxdb ClusterIP 10.109.245.142 8083/TCP,8086/TCP 7m ··· Kubernetes可以選擇使用指令直接建立應用和服務，或者我們可以寫YAML、JSON文件來配置，如下所示：
$ kubectl run nginx --image=nginx --port=80 $ kubectl expose deploy nginx --port=80 --type=LoadBalancer --external-ip=172.16.35.12 $ kubectl get svc,po NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE svc/kubernetes ClusterIP 10.96.0.1443/TCP 1h svc/nginx LoadBalancer 10.97.121.243 172.16.35.12 80:30344/TCP 22s NAME READY STATUS RESTARTS AGE po/nginx-7cbc4b4d9c-7796l 1/1 Running 0 28s 192.160.57.181 ,172.16.35.12 80:32054/TCP 21s 這里type可以選擇NodePort和LoadBalancer在本地裸機部署，兩者差異在于NodePort只映射Host port到Container port，而LoadBalancer則繼承NodePort額外映射Host target port到Container port擴展服務數量最后，我們可以通過以下方式來擴展服務數量：
$ kubectl scale deploy nginx --replicas=2 $ kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE nginx-158599303-0h9lr 1/1 Running 0 25s 10.244.100.5 node2 nginx-158599303-k7cbt 1/1 Running 0 1m 10.244.24.3 node1
相關閱讀
技術 Kubernetes Autoscaling是如何工作的？ 2018/05/07
技術 用戶評測 | Docker管理面板系列——云幫(Rainbond 出色的k8s管理面板) 2018/05/09
技術 如何把應用轉移到Kubernetes 2018/05/04
技術 Kubernetes伸縮到2500個節點中遇到的問題和解決方法 2018/04/24
技術 kubernetes容器網絡接口(CNI) midonet網絡插件的設計與實現 2017/05/04
技術 在生產環境使用Kuberntes一年后，我們總結了這些經驗和教訓 2017/02/23
技術 關于K8s容器集群日志收集的總結 2016/12/15
技術 Kubernetes集群中的高性能網絡策略 2016/12/08
行業 開了香檳的Kubernetes并不打算放慢成功的腳步 2018/05/09
行業 上手kubernetes之前，你應該知道這6件事 2018/05/03
行業 為什么說Kubernetes是云服務的未來？ 2016/10/21
開源PaaS Rainbond提供生產就緒的Kubernetes，在線體驗請注冊公有云（新用戶7天免費）
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/32677.html
摘要：此文已由作者劉超授權網易云社區發布。所以當我們評估大數據平臺牛不牛的時候，往往以單位時間內跑的任務數目以及能夠處理的數據量來衡量。的問題調度在大數據領域是核心中的核心，在容器平臺中是重要的，但不是全部。 此文已由作者劉超授權網易云社區發布。 歡迎訪問網易云社區，了解更多網易技術產品運營經驗 最近總在思考，為什么在支撐容器平臺和微服務的競爭中，Kubernetes 會取得最終的勝出，事實...
摘要：項目現已正式發布這是一個基于云和容器部署的分布式塊存儲新方式。這可能是與大多數現有的分布式存儲系統相比，最具特色的功能。快速入門指南易于安裝和使用。使用或術語，管理器容器是一項全球性服務。目前，我們不保留額外的元數據來指示使用哪些。 Longhorn項目現已正式發布！這是一個基于云和容器部署的分布式塊存儲新方式。Longhorn遵循微服務的原則，利用容器將小型獨立組件構建為分布式塊存儲...
摘要：在年月的報告中，認為，在中國市場，容器技術的使用是近期的熱點。本地廠商由于能夠貼近客戶實際需求，而在選擇中占據優勢，例如阿里云靈雀云等中國本地廠商。容器使事情變得不那么復雜，成為新的常態。容器的采用幅度將遠遠超出僅以為主要容器類型的情況。 在2019年2月 China Summary Translation: Market Guide for Container Management ...
摘要：啟動并設置為開機自啟動安裝服務這部分配置與上一篇筆記完全相同。我們創建這個文件并填入如下內容安裝完和之后將其啟動并設置為開機自啟動以上，角色的功能已經安裝完成。 上一篇筆記中，我嘗試了使用 k8s 1.6 版本安裝一個最簡單的集群。這一次，我希望能夠增加 node 的數量并且安裝網絡插件，然后配置內部的域名解析功能。 在起初的設想中，我仍然希望不配置各個組件間的認證，只關心功能的正常運...
摘要：創建集群如果你是初次接觸，我們建議你預先創建好一個新的和子網，與生產環境隔離。節點的可用區選擇會根據的可用區選擇變化，現已支持針對節點的平臺硬件隔離組最大數標簽等設置。創建集群如果你是初次接觸Kubernetes，我們建議你預先創建好一個新的VPC和子網，與生產環境隔離。創建集群之前，你需要先了解下Kubernetes中的Node CIDR、Pod CIDR、Service CIDR等基本概...
閱讀 363·2024-11-06 13:38
閱讀 741·2024-09-10 13:19
閱讀 866·2024-08-22 19:45
閱讀 1363·2021-11-19 09:40
閱讀 2598·2021-11-18 13:14
閱讀 4267·2021-10-09 10:02
閱讀 2285·2021-08-21 14:12
閱讀 1268·2019-08-30 15:54
