云原生可觀察性系列一：Tetragon實踐

IT那活兒發(fā)布于2023-01-11 13:19 / 2248人閱讀

點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

前言

基于云原生可觀察性技術(shù)越來越流行，各個大小廠都在推出適合自己的可觀察性平臺。

在云原生領(lǐng)域中，Cilium是容器管理上最著名的網(wǎng)絡(luò)編排、可觀察性、網(wǎng)絡(luò)安全的開源軟件。

Cilium所在公司在今年5月份在已有的Cilium 功上能外，擴展了一個基于 eBPF 的安全可觀測性 & 運行時增強開源組件Tetragon（https://isovalent.com/blog/post/2022-05-16-tetragon），適合于場景是安全領(lǐng)域。

Tetragon 官方提供了少量的文檔說明（https://github.com/cilium/tetragon），沒有詳細安裝使用文檔，剛推出來，并沒有多少人在使用，我們部署過程中，填了一些坑：

表格中涉及的兩個網(wǎng)址鏈接：

https://docs.cilium.io/en/stable/operations/system_requirements/

https://github.com/aquasecurity/btfhub/blob/main/docs/supported-distros.md

部署安裝

1. 安裝helm環(huán)境，下載地址https://github.com/kubernetes/helm/releases，下完后上傳到k8s主節(jié)點解壓。

2. 部署tetragon，使用heml一鍵安裝。

進入helm安裝目錄：

$ cd $HELM_HOME

helm添加cilium：

$ helm repo add cilium https://helm.cilium.io
$ helm repo update

helm一鍵安裝tetragon：

$ helm install tetragon cilium/tetragon -n kube-system

查看DaemonSet是否準備就緒，若未出現(xiàn)下面輸出表示部署失敗，需要查看容器日志報錯：

$ kubectl rollout status -n kube-system ds/tetragon -w
[root@master ~]# kubectl rollout status -n kube-system ds/tetragon -w
daemon set "tetragon" successfully rolled out

查看tetragon容器日志，由于pod控制器類型未ds，會在每個節(jié)點都部署一個容器：

$ kubectl get pods -n kube-system | grep tetragon
[root@master ~]# kubectl get pods -n kube-system | grep tetragon
tetragon-nnsvj 2/2     Running 2 (84m ago) 16h
tetragon-tct2n 2/2     Running 3 (81m ago) 16h
tetragon-x9hzc 2/2     Running 2 (84m ago) 16h

tetragon未成功部署可用下列命名查看容器日志或容器創(chuàng)建過程：

$ kubectl logs tetragon-x9hzc -n kube-system
$ kubectl describe pods tetragon-x9hzc -n kube-system

3. 部署官方所給的演示應(yīng)用程序

虛擬機可能無法連接到github，建議直接在本機上github復(fù)制yaml。

$ kubectl create -f 
https://raw.githubusercontent.com/cilium/cilium/v1.11/examples/minikube/http-sw-app.yaml

進行后續(xù)步驟前，請驗證所有pod是否已創(chuàng)建成功：

$ kubectl get pods
[root@master ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
deathstar-6c94dcc57b-fzltf 1/1 Running 1 (101m ago) 17h
deathstar-6c94dcc57b-tdc6p 1/1 Running 1 (101m ago) 17h
tiefighter 1/1 Running 1 (101m ago) 17h
xwing 1/1 Running 1 (101m ago) 17h
Bash

4. 監(jiān)控安全可觀察性事件（ json 輸出）

通過查看pod tetragon下的export-stdout容器日志，檢測到可觀察性事件：

$ kubectl logs -n kube-system -l app.kubernetes.io/name=tetragon -c export-stdout -f

5. 監(jiān)控安全可觀察性事件（ tetragon 客戶端輸出）

該方式需要安裝tetragon客戶端，linuxamd64系統(tǒng)下載地址為：

https://github.com/cilium/tetragon/releases/download/tetragon-cli/tetragon-linux-amd64.tar.gz
https://github.com/cilium/tetragon/releases/download/tetragon-cli/tetragon-linux-amd64.tar.gz.sha256sum

其他系統(tǒng)請另行去github該項目下查找下載地址。

上傳到虛擬機后并解壓：

$ sha256sum --check tetragon-linux-amd64.tar.gz.sha256sum
$ tar -C /usr/local/bin -xzvf tetragon-linux-amd64.tar.gz

6. 測試監(jiān)控流程執(zhí)行

使用下列命令監(jiān)控可觀察性事件，不要使用github下所給的命令，因為github下所給的命令只會查看一個pod的日志，導(dǎo)致可能事件沒有輸出：

$ kubectl logs -n kube-system -l app.kubernetes.io/name=tetragon -c export-stdout -f | tetragon observe

打開另一個終端測試，進入測試程序pod xwing執(zhí)行命令：

$ kubectl exec -it xwing bash
[root@master ~]# kubectl exec -it xwing bash
bash-4.3# whoami
root
bash-4.3# exit
exit

此時到第一個終端中，可以看到下列輸出：

process default/xwing /bin/bash
process default/xwing /usr/bin/whoami
exit    default/xwing /usr/bin/whoami 0

7. 測試監(jiān)控文件訪問

部署監(jiān)控程序內(nèi)容TracingPolicy，無法訪問的話建議直接用瀏覽器打開該網(wǎng)址復(fù)制：

$ kubectl apply -f https://raw.githubusercontent.com/cilium/tetragon/main/crds/examples/sys_write_follow_fd_prefix.yaml

下面來監(jiān)控來自pod xwing的事件，一樣的不建議使用官方文檔所給的命令：

$ kubectl logs -n kube-system -l app.kubernetes.io/name=tetragon -c export-stdout -f | tetragon observe --namespace default --pod xwing

在另一個終端，進入容器并編輯文件：

$ kubectl exec -it xwing bash
vi /etc/passwd

觀察第一個終端，應(yīng)該輸出以下內(nèi)容：

process default/xwing /bin/bash
process default/xwing /usr/bin/vi /etc/passwd
exit    default/xwing /usr/bin/vi /etc/passwd 0

若要禁用TracingPolicy，解部署即可。

$ kubectl delete -f sys_write_follow_fd_prefix.yaml

8. 測試監(jiān)控網(wǎng)絡(luò)可觀察性

查看tcp連接事件，需要部署tcp連接TracingPolicy：

$ kubectl apply -f 
https://raw.githubusercontent.com/cilium/tetragon/main/crds/examples/tcp-connect.yaml

監(jiān)控pod中的事件：

$ kubectl logs -n kube-system -l app.kubernetes.io/name=tetragon -c export-stdout -f | 
tetragon observe --namespace default --pod xwing

在另一個終端中，生成tcp連接；本次測試使用的為curl命令：

$ kubectl exec -it xwing -- curl http://cilium.io

在監(jiān)控的pod中可以看到以下輸出內(nèi)容：

process default/xwing /usr/bin/curl http://cilium.io
connect default/xwing /usr/bin/curl tcp XXX.XX.196.131:55980 -> XXX.XX.14.52:80
sendmsg default/xwing /usr/bin/curl tcp XXX.XX.196.131:55980 -> XXX.XX.14.52:80 bytes 73
close   default/xwing /usr/bin/curl tcp XXX.XX.196.131:55980 -> XXX.XX.14.52:80
exit default/xwing /usr/bin/curl http://cilium.io 0