Jenkins部署k8s應(yīng)用

IT那活兒發(fā)布于2023-01-11 13:20 / 1851人閱讀

Jenkins Pipeline 流水線部署 Kubernetes 應(yīng)用

使用 kubeadm 來創(chuàng)建一個單 master 節(jié)點的 kubernets 集群

kubeadm init --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.20.11

查看節(jié)點狀態(tài)和 pod 都已經(jīng)正常

kubectl get pod -A
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system   coredns-f9fd979d6-9t6qp 1/1    Running   0    89s
kube-system   coredns-f9fd979d6-hntm8   1/1    Running 0   89s
kube-system   etcd-jenkins      1/1 Running   0 106s
kube-system   kube-apiserver-jenkins       1/1   Running     0      106s
kube-system   kube-controller-manager-jenkins  1/1     Running    0 106s
kube-system   kube-proxy-8pzkz 1/1    Running   0      89s
kube-system   kube-scheduler-jenkins 1/1 Running 0   89s

去除 master 節(jié)點上的污點，允許其他的 pod 調(diào)度在 master 節(jié)點上，不然后面 Jenkins 所創(chuàng)建的 pod 將無法調(diào)度在該節(jié)點上。

kubectl taint nodes $(hostname) node-role.kubernetes.io/master:NoSchedule-

Jenkins master

建議使用docker-compose來部署。運行在kubernetes集群集群中也沒什么毛病，但是將Jenkins master獨立于kubernetes集群部署比較方便.

docker-compose.yaml:
version: 3.6
services:
  jenkins:
    image: jenkins/jenkins:2.263.4-lts-slim
    container_name: jenkins
    restart: always
    volumes:
      - ./jenkins_home:/var/jenkins_home
    network_mode: host
    user: root
    environment:
      - JAVA_OPTS=-Duser.timezone=Asia/Shanghai

使用docker-compose up來啟動，成功啟動后會提示，日志輸出的密鑰就是admin用戶的默認(rèn)密碼，使用它來第一次登錄 Jenkins。

登錄上去之后，建議選擇 “選擇插件” 來安裝，盡可能少地安裝插件，按需安裝即可。在Jenkins的插件管理那里安裝上kubernetes插件。

接下來開始配置Jenkin與kubernetes

配置 kubernets 的地方是在系統(tǒng)管理 > 節(jié)點管理 > Configure Clouds。點擊 Add a new cloud，來添加一個 kubernetes 集群。

在 Jenkins 的憑據(jù)那里添加上 kubeconfig 文件，憑據(jù)的類型選擇為 Secret file，然后將上面使用 kubeadm 部署生成的 kubeconfig 上傳到這里。

點擊連接測試，如果提示 Connected to Kubernetes v1.19.8 就說明已經(jīng)成功連接上了 kubernetes 集群。

Jenkinsfile

流水線 Jenkinsfile，下面是一個簡單的任務(wù)，用于構(gòu)建 webp-server-go 項目的 docker 鏡像。

// Kubernetes pod template to run.
def JOB_NAME = "${env.JOB_NAME}"
def BUILD_NUMBER = "${env.BUILD_NUMBER}"
def POD_NAME = "jenkins-${JOB_NAME}-${BUILD_NUMBER}"
podTemplate(
# 這里定義 pod 模版
)
{ node(POD_NAME) {
    container(JOB_NAME) {
      stage("Build image") {
        sh """#!/bin/bash
          git clone https://github.com/webp-sh/webp_server_go /build
          cd /build
          docker build -t webps:0.3.2-rc.1 .
        """
      }
    }
  }
}

pod 模版如下，將模板的內(nèi)容復(fù)制粘貼到上面的 Jenkinsfile 中。在容器中構(gòu)建鏡像，使用 dind 的方案：將 pod 所在宿主機的 docker sock 文件掛載到 pod 的容器內(nèi)，pod 容器內(nèi)只要安裝好 docker-cli 工具就可以像宿主機那樣直接使用 docker 了。

podTemplate(
  cloud: "kubernetes",
  namespace: "default",
  name: POD_NAME,
  label: POD_NAME,
  yaml: """
apiVersion: v1
kind: Pod
spec:
  containers:
  - name: ${JOB_NAME}
    image: "debian:buster-docker"
    imagePullPolicy: IfNotPresent
    tty: true
    volumeMounts:
    - name: dockersock
      mountPath: /var/run/docker.sock
  - name: jnlp
    args: ["$(JENKINS_SECRET)", "$(JENKINS_NAME)"]
    image: "jenkins/inbound-agent:4.3-4-alpine"
    imagePullPolicy: IfNotPresent
  volumes:
  - name: dockersock
    hostPath:
      path: /var/run/docker.sock
""",
)

構(gòu)建 debian:buster-docker 鏡像，使用它來在 pod 的容器內(nèi)構(gòu)建 docker 鏡像，使用的 Dockerfile 如下：

FROM debian:buster
RUN apt update
    && apt install -y --no-install-recommends
        vim
        curl
        git
        make
        ca-certificates
        gnupg
    && rm -rf /var/lib/apt/lists/*
RUN curl -fsSL "https://download.docker.com/linux/debian/gpg" | apt-key add -qq - >/dev/null
    && echo "deb [arch=amd64] https://download.docker.com/linux/debian buster stable" > /etc/apt/sources.list.d/docker.list
    && apt update -qq
    && apt-get install -y -qq --no-install-recommends docker-ce-cli
    && rm -rf /var/lib/apt/lists/*