centos7搭建docker私人倉庫（kubernetes）

mingzhong 發(fā)布于2019-05-28 17:05 / 907人閱讀

摘要：我們平時鏡像都是習(xí)慣于放在公共倉庫的，比如。但在企業(yè)里，我們經(jīng)常會需要搭建公司自己的鏡像倉庫。這樣可以將數(shù)據(jù)持久化，當(dāng)容器掛掉時鏡像不會丟失。下面會講解如何創(chuàng)建一個協(xié)議的高可用倉庫。于是我為集群添加了一個節(jié)點(diǎn)，來做集群的鏡像倉庫。

我們平時鏡像都是習(xí)慣于放在公共倉庫的，比如Dockerhub, Daocloud。但在企業(yè)里，我們經(jīng)常會需要搭建公司自己的鏡像倉庫。
這篇文章講解如何用docker提供的registry鏡像來搭建自己的鏡像倉庫。

不添加ssl認(rèn)證的倉庫

下面用registry:2.6.2鏡像創(chuàng)建docker倉庫。
將宿主機(jī)的5000端口映射到容器的5000端口。
將宿主機(jī)/mnt/registry掛在到容器的/var/lib/registry目錄，容器里的這個目錄就是存放鏡像的地方。這樣可以將數(shù)據(jù)持久化，當(dāng)容器掛掉時鏡像不會丟失。

mkdir /mnt/registry

docker run -d 
  -p 5000:5000 
  --restart=always 
  --name registry 
  -v /mnt/registry:/var/lib/registry 
  registry:2.6.2

docker倉庫是需要ssl認(rèn)證的，由于現(xiàn)在沒有添加ssl認(rèn)證，需要在docker客戶端添加參數(shù)：

vim /etc/sysconfig/docker

# 在OPTIONS下添加--insecure-registry=:5000
OPTIONS="--selinux-enabled --log-driver=json-file --signature-verification=false --insecure-registry=10.34.31.13:5000"

# 重啟docker
systemctl restart docker

我們可以測試一下新建的倉庫是否可用。

docker push 10.34.31.13:5000/hello-world:v1

但這樣形式的倉庫可用性不高，比如我們有多個鏡像倉庫要使用，我們需要經(jīng)常去修改--insecure-registry參數(shù)。
下面會講解如何創(chuàng)建一個https協(xié)議的高可用倉庫。

創(chuàng)建一個帶ssl認(rèn)證的高可用倉庫

安裝openssl

yum install -y openssl

修改openssl.cnf文件

vim /etc/pki/tls/openssl.cnf

# 找到v3_ca,在下面添加宿主機(jī)的IP地址
[ v3_ca ]
subjectAltName = IP:10.34.31.13

如果沒有修改這個文件，最后生成的ssl證書使用時會報錯如下：

x509: cannot validate certificate 10.34.31.13 because it doesn"t contain any IP SANs

生成ssl證書

mkdir /certs
openssl req -newkey rsa:4096 -nodes -sha256 
            -keyout /certs/domain.key -x509 -days 1000 
            -out /certs/domain.cert

# 生成證書的過程中需要填寫以下參數(shù),在Conmmon那一欄填寫你為dokcer倉庫準(zhǔn)備的域名
Country Name (2 letter code) [AU]:CN
State or Province Name (full name) [Some-State]:
Locality Name (eg, city) []:
Organization Name (eg, company) [Internet Widgits Pty Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (e.g. server FQDN or YOUR name) []:10.34.31.13:5000
Email Address []:

創(chuàng)建docker倉庫

# 這里啟動方式跟上面差別不大，多了掛載/certs文件夾和添加了兩個certificate參數(shù)
docker run -d 
  --restart=always 
  --name registry 
  -v /certs:/certs 
  -v /var/lib/registry:/var/lib/registry 
  -e REGISTRY_HTTP_ADDR=0.0.0.0:5000 
  -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.cert 
  -e REGISTRY_HTTP_TLS_KEY=/certs/domain.key 
  -p 5000:5000 
  registry:2.6.2

配置docker客戶端

# 以后需要使用這個倉庫的機(jī)器，在客戶端像這樣配置一下就可以了
mkdir /etc/docker/certs.d/10.34.31.13:5000
cp /certs/domain.cert /etc/docker/certs.d/10.34.31.13:5000/ca.crt

# 現(xiàn)在就可以測試一下了
docker push 10.34.31.13:5000/hello-world:v1

使用kubernetes部署docker倉庫

上面的容器是由doker直接啟動的，由于我使用的是kubernetes集群，所以我希望一切容器都能由kubernetes來管理。
于是我為kubernetes集群添加了一個node節(jié)點(diǎn)，來做k8s集群的鏡像倉庫。

生成ssl證書
參考上面，在準(zhǔn)備的node節(jié)點(diǎn)上生成ssl證書。

給node添加標(biāo)簽
因?yàn)槲抑幌朐谶@臺節(jié)點(diǎn)上運(yùn)行registry容器，所以需要給這臺節(jié)點(diǎn)添加標(biāo)簽，便于k8s部署能只選到這臺節(jié)點(diǎn)。

# n3是這個節(jié)點(diǎn)的hostname.如果沒有添加k8s客戶端權(quán)限，可以在master節(jié)點(diǎn)上執(zhí)行。
kubectl label node n3 bind-registry=ture

創(chuàng)建registry目錄，用于持久化images數(shù)據(jù)

mkdir /var/lib/registry

部署registry。dockerhub-dp.yaml我會在最后面貼出來。

kubectl create -f dockerhub-dp.yaml

配置docker客戶端
這個跟上面一個思路，端口稍有不同。

# 以后需要使用這個倉庫的機(jī)器，在客戶端像這樣配置一下就可以了
mkdir /etc/docker/certs.d/10.34.31.13:30003
cp /certs/domain.cert /etc/docker/certs.d/10.34.31.13:5000/ca.crt

為了訪問方便，我將registry service的端口設(shè)置為了NodePort,但k8s限制這個端口只能設(shè)置為30000以上，所有我這里設(shè)置為了30003。

dockerhub-dp.yaml

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  name: docker-local-hub
  namespace: kube-system
  labels:
    app: registry
spec:
  replicas: 1
  selector:
    matchLabels:
      app: registry
  template:
    metadata:
      labels:
        app: registry
    spec:
      containers:
      - name: registry
        image: registry:2.6.2
        ports:
        - containerPort: 5000
        env:
        - name: REGISTRY_HTTP_TLS_CERTIFICATE
          value: "/certs/domain.cert"
        - name: REGISTRY_HTTP_TLS_KEY
          value: "/certs/domain.key"
        volumeMounts:
        - mountPath: /var/lib/registry
          name: docker-hub
        - mountPath: /certs
          name: certs
      nodeSelector:
        bind-registry: "ture"
      volumes:
      - name: docker-hub
        hostPath:
          path: /var/lib/registry
          type: Directory
      - name: certs
        hostPath:
          path: /certs
          type: Directory
---
apiVersion: v1
kind: Service
metadata:
  name: docker-local-hub
  namespace: kube-system
  labels:
    app: registry
spec:
  selector:
    app: registry
  ports:
  - port: 5000
    targetPort: 5000
    nodePort: 30003
  type: NodePort