跟我學(xué) K8S--代碼: 調(diào)試 Kubernetes

lewinlee 發(fā)布于2019-07-01 16:44 / 3502人閱讀

摘要：里面有個工具，叫，可以比較方便的調(diào)試應(yīng)用。項目的目錄下有個好用的腳本，它是通過在容器里啟動各服務(wù)的。考慮可以在本地進(jìn)程啟動服務(wù)，這樣便可以當(dāng)作一個應(yīng)用去調(diào)試了。本文寫作時分支最新為。

openstack 搞了2年，對動態(tài)語言的 debug 和 pdb念念不忘，總尋思著看 kubernetes代碼能不能和 openstack 一樣 pdb 一步步看下去。golang 里面有個debug 工具，叫 dlv，可以比較方便的調(diào)試 go 應(yīng)用。

kubernetes 項目的 hack 目錄下有個好用的 shell 腳本local-up-cluster.sh，它是通過_output/local/bin/linux/amd64/hyperkube在容器里啟動k8s各服務(wù)的。考慮可以在本地進(jìn)程啟動 kubernetes 服務(wù)，這樣便可以當(dāng)作一個 go 應(yīng)用去調(diào)試了。本文寫作時kubernetes master 分支最新 commit id 為9884215f7976e8cc294fdbb62f8c2a6af9bca728。

linux 環(huán)境信息

這里不再贅述，我用的是 centos 7.4 虛擬機(jī)，配置是4C/16G/100G

$ cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)

go 環(huán)境安裝

Kubernetes requires go1.10.2 or greater.
Please install go1.10.2 or later.

go版本要求大于1.10.2

# 具體參見 https://golang.org/doc/install
wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz （具體參見）

tar -C /usr/local/ -xzf go1.10.3.linux-amd64.tar.gz

# 測試是否安裝成功
$ go version
go version go1.10.3 linux/amd64

# 配置 go 環(huán)境 (建議直接將 export 內(nèi)容寫入到/etc/profile下)
mkdir /go
export GOPATH=/go
export PATH=$PATH:/usr/local/go/bin
export PATH=$PATH:/go/bin

# 安裝 dlv
go get -u github.com/derekparker/delve/cmd/dlv
export PATH=$PATH:$GOPATH/bin

# 下載 kubernetes 代碼放到 $GOPATH/src/k8s.io目錄下 (代碼較大，如果只要最新一次提交的代碼來加速下載，指定--depth=1)
git clone https://github.com/kubernetes/kubernetes

# 提供一個習(xí)慣訪問的 shell 腳本，可以不操作（因為后面啟動的local-up-cluster 使用的是cluster 目錄下的kubectl.sh 來操作k8s 環(huán)境）
cat</usr/local/bin/kubectl
#!/bin/bash

/go/src/k8s.io/kubernetes/cluster/kubectl.sh $@
EOF

chmod +x /usr/local/bin/kubectl

etcd 安裝

etcd version 3.2.18 or greater required.

etcd 版本要求大于3.2.18

# 具體參見 https://github.com/coreos/etcd/releases
wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz  

tar xzvf etcd-v3.3.9-linux-amd64.tar.gz -C /usr/local/

# 拷貝 bin 文件到/usr/local/bin下
cp /usr/local/etcd-v3.3.9-linux-amd64/etcd /usr/local/etcd-v3.3.9-linux-amd64/etcdctl /usr/local/bin

# 測試是否安裝成功
etcd —version

docker 安裝

# 安裝 docker repo（配了中科大源）
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i "s/download.docker.com/mirrors.ustc.edu.cn/docker-ce/g" /etc/yum.repos.d/docker-ce.repo
yum makecache

# 安裝 docker-ce
sudo yum install -y docker-ce

# 啟動 docker
systemctl start docker
systemctl enable docker

docker 鏡像

由于安裝鏡像存在墻，提前準(zhǔn)備好 (感謝 anjia0532 提供的同步鏡像倉庫)

docker pull anjia0532/pause-amd64:3.1
docker tag  anjia0532/pause-amd64:3.1 k8s.gcr.io/pause:3.1

docker pull anjia0532/k8s-dns-kube-dns-amd64:1.14.10
docker tag anjia0532/k8s-dns-kube-dns-amd64:1.14.10 k8s.gcr.io/k8s-dns-kube-dns-amd64:1.14.10

docker pull anjia0532/k8s-dns-dnsmasq-nanny-amd64:1.14.10
docker tag anjia0532/k8s-dns-dnsmasq-nanny-amd64:1.14.10 k8s.gcr.io/k8s-dns-dnsmasq-nanny-amd64:1.14.10

docker pull anjia0532/k8s-dns-sidecar-amd64:1.14.10
docker tag anjia0532/k8s-dns-sidecar-amd64:1.14.10 k8s.gcr.io/k8s-dns-sidecar-amd64:1.14.10

修改 kubernetes 代碼

由于 local-up-cluster.sh 默認(rèn)使用的是 hyperkube 鏡像在容器中啟動 kuebrnetes 服務(wù)，但是這樣不能使用 dlv 去調(diào)試代碼，那么需要在 host 進(jìn)程啟動，有兩種方案都可以試試，由于local-up-cluster.sh 會在本地編譯好代碼并放入到 _output/bin 中，那么可以直接通過寫 systemd 配置文件的方式在本地啟動服務(wù); 還有一種是我選擇的，修改local-up-cluster.sh代碼，如下：

注意: 這個只在commit id: 30b89d830b7fd0827576853d6a0db44b66a90d3d 以后可用。之前的會編譯不成功，是因為cmd下沒有 kube-schduler 包，該目錄在plugins/cmd/kube-sheduler下，需要重寫規(guī)則。

啟動集群

通過執(zhí)行l(wèi)ocal-up-cluster.sh腳本啟動集群

# 切換到 kubernetes 根目錄
$ pwd
/go/src/k8s.io/kubernetes
·
$ ./hack/local-up-cluster.sh
Kubelet cgroup driver defaulted to use: cgroupfs
API SERVER insecure port is free, proceeding...
API SERVER secure port is free, proceeding…
 ... ...
Alternatively, you can write to the default kubeconfig:
  export KUBERNETES_PROVIDER=local

  cluster/kubectl.sh config set-cluster local --server=https://localhost:6443 --certificate-authority=/var/run/kubernetes/server-ca.crt
  cluster/kubectl.sh config set-credentials myself --client-key=/var/run/kubernetes/client-admin.key --client-certificate=/var/run/kubernetes/client-admin.crt
  cluster/kubectl.sh config set-context local --cluster=local --user=myself
  cluster/kubectl.sh config use-context local
  cluster/kubectl.sh

 # 驗證集群是否成功
 $ kubectl get componentstatus
 NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok
scheduler            Healthy   ok
etcd-0               Healthy   {"health":"true"}

這里有個 tip, 在代碼中有個判斷 [ "x$GO_OUT" == "x” ], 也就是說如果第一次編譯生成 bin 包后，往后只要指定 GO_OUT 再次執(zhí)行就可以不再編譯。

我這里是: export GO_OUT=/go/src/k8s.io/kubernetes/_output/bin

調(diào)試舉例

# 查找 并 kill 相關(guān)進(jìn)程
$ ps -ef | grep kubelet
root       538 26665  0 17:14 pts/1    00:00:00 grep --color=auto --exclude-dir=.bzr --exclude-dir=CVS --exclude-dir=.git --exclude-dir=.hg --exclude-dir=.svn kubelet
root     31690 30984  0 17:14 pts/0    00:00:00 sudo -E /go/src/k8s.io/kubernetes/_output/bin/kubelet --v=3 --vmodule= --chaos-chance=0.0 --container-runtime=docker --hostname-override=127.0.0.1 --cloud-provider= --cloud-config= --address=127.0.0.1 --kubeconfig /var/run/kubernetes/kubelet.kubeconfig --feature-gates=AllAlpha=false --cpu-cfs-quota=true --enable-controller-attach-detach=true --cgroups-per-qos=true --cgroup-driver=cgroupfs --eviction-hard=memory.available<100Mi,nodefs.available<10%,nodefs.inodesFree<5% --eviction-soft= --eviction-pressure-transition-period=1m --pod-manifest-path=/var/run/kubernetes/static-pods --fail-swap-on=false --cluster-dns=10.0.0.10 --cluster-domain=cluster.local --port=10250
root     31693 31690  3 17:14 pts/0    00:00:01 /go/src/k8s.io/kubernetes/_output/bin/kubelet --v=3 --vmodule= --chaos-chance=0.0 --container-runtime=docker --hostname-override=127.0.0.1 --cloud-provider= --cloud-config= --address=127.0.0.1 --kubeconfig /var/run/kubernetes/kubelet.kubeconfig --feature-gates=AllAlpha=false --cpu-cfs-quota=true --enable-controller-attach-detach=true --cgroups-per-qos=true --cgroup-driver=cgroupfs --eviction-hard=memory.available<100Mi,nodefs.available<10%,nodefs.inodesFree<5% --eviction-soft= --eviction-pressure-transition-period=1m --pod-manifest-path=/var/run/kubernetes/static-pods --fail-swap-on=false --cluster-dns=10.0.0.10 --cluster-domain=cluster.local --port=10250

$ kill -9 31690
$ kill -9 31693

# 我移除了部分配置項，否則報錯
$ dlv --headless -l 127.0.0.1:1234 exec /go/src/k8s.io/kubernetes/_output/bin/kubelet -- --v=3 --vmodule= --chaos-chance=0.0 --container-runtime=docker --hostname-override=127.0.0.1 --cloud-provider= --cloud-config= --address=127.0.0.1 --kubeconfig /var/run/kubernetes/kubelet.kubeconfig --feature-gates=AllAlpha=false --cpu-cfs-quota=true --enable-controller-attach-detach=true --cgroups-per-qos=true --cgroup-driver=cgroupfs  --eviction-soft= --eviction-pressure-transition-period=1m --pod-manifest-path=/var/run/kubernetes/static-pods --fail-swap-on=false --cluster-dns=10.0.0.10 --cluster-domain=cluster.local --port=10250

# 開始調(diào)試
dlv connect 127.0.0.1:1234
(dlv) b main.main
(dlv) c
(dlv) args
(dlv) p

備注：

這只是我初步實現(xiàn)的一個方案，并沒有結(jié)合它深度使用，后續(xù)有新技能再更新上來

如果照著我的步驟卡住了，考慮下是不是配個梯子( https://www.zfl9.com/ss-local... )