【從零開(kāi)始安裝kubernetes-1.7.3】2.flannel、docker以及Harbor的配

DangoSky 發(fā)布于2019-06-28 15:55 / 3045人閱讀

摘要：安裝配置安裝上傳安裝如果缺少依賴(lài)，注解是由于沒(méi)使用，所以必須在里配置這個(gè)參數(shù)，才能訪(fǎng)問(wèn)。但是由于國(guó)內(nèi)對(duì)國(guó)外網(wǎng)絡(luò)訪(fǎng)問(wèn)的不可靠以及為了速度上的優(yōu)化和管理上的方便，我們選擇自己搭建一個(gè)私有的倉(cāng)庫(kù)，也就是。

5 Flannel網(wǎng)絡(luò) 5.1 準(zhǔn)備工作

上傳二進(jìn)制文件

tar -zxvf flannel-v0.8.0-rc1-linux-amd64.tar.gz
cp flanneld /usr/bin/
cp mk-docker-opts.sh /usr/bin/

清除網(wǎng)絡(luò)中遺留的docker 網(wǎng)絡(luò) (docker0, flannel0 等)

ifconfig

如果存在請(qǐng)刪除，以免發(fā)生不必要的未知錯(cuò)誤

ip link delete docker0

5.2 添加CA證書(shū)到系統(tǒng)信任庫(kù)

使用動(dòng)態(tài)CA配置
update-ca-trust force-enable

拷貝ca根證書(shū)到指定目錄
cp /etc/kubernetes/ssl/ca.pem /etc/pki/ca-trust/source/anchors/

生效
update-ca-trust extract

5.3 配置flannel的ip段

etcd節(jié)點(diǎn)執(zhí)行

etcdctl --endpoint https://192.168.116.123:2379 set /flannel/network/config "{"Network":"10.254.0.0/16"}"

5.4 配置flannel

設(shè)置flanneld.service

vi /usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service
    
[Service]
Type=notify
EnvironmentFile=/etc/sysconfig/flanneld
EnvironmentFile=-/etc/sysconfig/docker-network
ExecStart=/usr/bin/flanneld-start $FLANNEL_OPTIONS
ExecStartPost=/usr/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure
[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

vi /etc/sysconfig/flanneld

修改如下信息：

FLANNEL_ETCD_ENDPOINTS="https://192.168.116.123:2379"
FLANNEL_ETCD_PREFIX="/flannel/network"
FLANNEL_OPTIONS="--iface=eno1"

eno1為物理網(wǎng)卡的網(wǎng)卡名

vi /etc/sysconfig/docker-network

DOCKER_NETWORK_OPTIONS=

可以為空

vi /usr/bin/flanneld-start

#!/bin/sh

exec /usr/bin/flanneld 
        -etcd-endpoints=${FLANNEL_ETCD_ENDPOINTS:-${FLANNEL_ETCD}} 
        -etcd-prefix=${FLANNEL_ETCD_PREFIX:-${FLANNEL_ETCD_KEY}} 
        "$@"

賦執(zhí)行權(quán)限

chmod +x /usr/bin/flanneld-start

確保docker已停止

systemctl stop docker

啟動(dòng)flanneld服務(wù)

systemctl daemon-reload 
systemctl enable flanneld
systemctl start flanneld

查看flannel

ip a

docker0應(yīng)該和flannel0在同一ip段，且兩臺(tái)機(jī)器間的docker0地址可以相互ping通。

6 安裝docker 6.1 配置安裝docker

上傳

docker-ce-17.03.1.ce-1.el7.centos.x86_64.rpm docker-ce-selinux-17.03.1.ce-1.el7.centos.noarch.rpm

安裝

rpm -ivh docker-ce-17.03.1.ce-1.el7.centos.x86_64.rpm docker-ce-selinux-17.03.1.ce-1.el7.centos.noarch.rpm

如果缺少依賴(lài)，

yum localinstall docker-ce-17.03.1.ce-1.el7.centos.x86_64.rpm docker-ce-selinux-17.03.1.ce-1.el7.centos.noarch.rpm

vi /usr/lib/systemd/system/docker.service

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target

[Service]
Type=notify
ExecStart=/usr/bin/dockerd --insecure-registry=192.168.116.123:80 $DOCKER_NETWORK_OPTIONS
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s

[Install]
WantedBy=multi-user.target

注解：--insecure-registry=192.168.116.123:80 是由于Harbor沒(méi)使用https，所以必須在docker里配置這個(gè)參數(shù)，才能訪(fǎng)問(wèn)Harbor。

6.2 設(shè)置docker0網(wǎng)橋的ip地址

mkdir –p /usr/lib/systemd/system/docker.service.d
cd /usr/lib/systemd/system/docker.service.d

mk-docker-opts.sh -i

source /run/flannel/subnet.env 

vi /usr/lib/systemd/system/docker.service.d/flannel.conf
[Service]
EnvironmentFile=-/run/flannel/docker

6.3 啟動(dòng)docker

systemctl daemon-reload
systemctl enable docker
systemctl start docker

6.4 查看docker0 flannel0

7.Harbor部署 7.1 上傳文件

docker-compose-Linux-x86_64
harbor-offline-installer-v1.1.1.tgz
pod-infrastructure.tar

cp docker-compose-Linux-x86_64 /usr/bin/docker-compose
chmod +x /usr/bin/docker-compose
tar -xzvf harbor-offline-installer-v1.1.1.tgz

7.2 配置harbor

cd harbor
vi harbor.cfg

我這里Harbor沒(méi)有配置Https，所以只需要修改 hostname為Harbor所在主機(jī)的ip即可，我Harbor是裝在master上，所以
hostname=192.168.116.123

cd /root/harbor
./install.sh

7.3 啟動(dòng)harbor

cd /root/harbor/
docker-compose stop
docker-compose up –d

查看docker-compose ps

[root@master-123 harbor]# docker-compose ps

       Name                     Command               State                                Ports                               
------------------------------------------------------------------------------------------------------------------------------
harbor-adminserver   /harbor/harbor_adminserver       Up                                                                       
harbor-db            docker-entrypoint.sh mysqld      Up      3306/tcp                                                         
harbor-jobservice    /harbor/harbor_jobservice        Up                                                                       
harbor-log           /bin/sh -c crond && rm -f  ...   Up      127.0.0.1:1514->514/tcp                                          
harbor-ui            /harbor/harbor_ui                Up                                                                       
nginx                nginx -g daemon off;             Up      0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp 
registry             /entrypoint.sh serve /etc/ ...   Up      5000/tcp

Flannel的作用

我對(duì)flannel在kubernetes中的簡(jiǎn)單理解就是，flannel將本來(lái)2個(gè)宿主機(jī)中不可以相互通信的pod放到了一個(gè)虛擬網(wǎng)絡(luò)內(nèi)，使得kubernetes集群內(nèi)所有pod仿佛是在同一個(gè)內(nèi)網(wǎng)，可以相互通信。
可以參考鏈接：http://dockone.io/article/618

Harbor的作用

Harbor作為一個(gè)私有倉(cāng)庫(kù)，首先本身的作用肯定是存儲(chǔ)鏡像，也就是docker里的image，在kubernetes中，我們?cè)谂渲胮od時(shí)，都會(huì)為pod指定image的地址，當(dāng)創(chuàng)建pod的時(shí)候，node會(huì)自動(dòng)將image拉取下來(lái)，然后本地運(yùn)行，形成pod。但是由于國(guó)內(nèi)對(duì)國(guó)外網(wǎng)絡(luò)訪(fǎng)問(wèn)的不可靠以及為了速度上的優(yōu)化和管理上的方便，我們選擇自己搭建一個(gè)私有的倉(cāng)庫(kù)，也就是Harbor。
在有了Harbor以后，我們可以自己上傳鏡像到Harbor，然后pod就只用拉取Harbor里的鏡像，并且Harbor還提供同步復(fù)制的功能，很容易就能實(shí)現(xiàn)高可用配置。