Kublet PLEG不健康問題排障

蘇丹發布于2019-07-01 17:05 / 2897人閱讀

摘要：環境管控的集群?，F象某個頻繁出現錯誤，頻率在分鐘就會出現一次。排查發現有一個一直處于狀態，也就是說殺不死。用，強制刪除。再到上檢查這個容器是否真的被停止，，看到容器處于狀態。觀察狀態，問題依舊。

環境：Rancher管控的K8S集群。

現象：某個Node頻繁出現“PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s”錯誤，頻率在5-10分鐘就會出現一次。

排查：

kubectl get pods --all-namespaces 發現有一個istio-ingressgateway-6bbdd58f8c-nlgnd一直處于Terminating狀態，也就是說殺不死。

到Node上docker logs --tail 100 kubelet也看到這個Pod的狀態異常：

I0218 01:21:17.383650   10311 kubelet.go:1775] skipping pod synchronization - [PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s]
...
E0218 01:21:30.654433   10311 generic.go:271] PLEG: pod istio-ingressgateway-6bbdd58f8c-nlgnd/istio-system failed reinspection: rpc error: code = DeadlineExceeded desc = context deadline exceeded

用kubelet delete pod嘗試刪除，命令掛住。

用kubectl delete pod --force --grace-period=0，強制刪除Pod。

再到Node上檢查這個容器是否真的被停止，docker ps -a| grep ingressgateway-6bbdd58f8c-nlgnd，看到容器處于Exited狀態。

觀察Node狀態，問題依舊。

把Pod關聯的Deployment刪除，把一只處于Terminating的Pod用kubectl delete pod --force --grace-period=0的方式刪除。

重新部署Deployment。

問題解決。

相關issue

GPU云服務器云服務器健康檢查常見問題 PLEG Kublet 排障

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/32886.html

UK8S 集群常見問題容器云 UK8S

摘要：為什么在節點直接起容器網絡不通為什么在節點直接起容器網絡不通為什么在節點直接起容器網絡不通使用自己的插件，而直接用起的容器并不能使用該插件，因此網絡不通。 UK8S 集群常見問題本篇目錄1. UK8S 完全兼容原生 Kubernetes API嗎？2. UK8S 人工支持3. UK8S對Node上發布的容器有限制嗎？如何修改？4. 為什么我的容器一起來就退出了？5. Docker 如何調整日...

ernest.wang 2022-07-12 17:25 評論0 收藏1762
微服務簡介

摘要：微服務簡介微服務架構是一種架構概念，旨在通過將功能分解到各個離散的服務中以實現對解決方案的解耦。每個微服務僅關注于完成一件任務并很好地完成該任務。服務異常自動隔離。微服務架構挑戰服務規模大，部署運維管理難度大。微服務簡介微服務架構（Microservice Architecture）是一種架構概念，旨在通過將功能分解到各個離散的服務中以實現對解決方案的解耦。微服務是一種架構風格，...

darcrand 2019-06-24 18:05 評論0 收藏0
【容器云 UK8S】常見問題及排障指南：入門必讀之Pod 常見命令，Controller 常見命令和

摘要：入門必讀提供了一系列的命令行工具來輔助我們調試和定位問題，本指南列舉一些常見的命令來幫助應用管理者快速定位和解決問題。這里以為例，介紹的常用命令其他的命令類型與其一致。入門必讀Kubernetes 提供了一系列的命令行工具來輔助我們調試和定位問題，本指南列舉一些常見的命令來幫助應用管理者快速定位和解決問題。定位問題在開始處理問題之前，我們需要確認問題的類型，是 Pod ，Service ，或...

Tecode 2022-06-28 19:00 評論0 收藏0
從零開始學習 Docker

摘要：此命令下載測試鏡像并在容器中運行它。國內很多云服務商都提供了加速器服務，例如阿里云加速器注冊用戶并且申請加速器，會獲得如這樣的地址。獲取鏡像阿里云鏡像庫上有大量的高質量的鏡像可以用，這里我們就說一下怎么獲取這些鏡像并運行。 showImg(https://segmentfault.com/img/remote/1460000012924583); 這篇文章是我學習 Docker 的記錄...

lily_wang 2019-06-28 16:14 評論0 收藏0
容器打印日志到控制臺阻塞的排障

摘要：原文今日生產環境發現有些容器停止響應了，但是容器沒有死，也能正常使用。在容器內部使用發現的一直處于運行狀態但用沒有發現有新的日志輸出，且訪問該應用肯定會輸出日志的接口也是沒有任何日志輸出，因此懷疑阻塞住了。原文今日生產環境發現有些容器停止響應了，但是容器沒有死，docker exec -it /bin/bash也能正常使用。在容器內部使用jstack 發現log4j2的Cons...

aaron 2019-06-28 17:05 評論0 收藏0