k8s與監控--從kubernetes監控談prometheus的federation機制

curlyCheng 發布于2019-07-01 16:40 / 3123人閱讀

摘要：也就是說整個監控系統不是部署在中。非的怎么監控是今天需要討論的問題。官方給出的配置聯邦機制也實現了的擴展。我們的集群外監控的方案就基于此。在同一個數據中心，每個監控其他的。上一級的監控數據中心級別的。

前言

有時候對于一個公司，k8s集群或是所謂的caas只是整個技術體系的一部分，往往這個時候監控系統不僅僅要k8s集群以及k8s中部署的應用，而且要監控傳統部署的項目。也就是說整個監控系統不是部署在k8s cluster中。非in-cluster的prometheus怎么監控k8s是今天需要討論的問題。
在上一篇文章解讀了prometheus提供的監控k8s的配置文件，我們知道主要是采集node，cadvisor，service，endpoint，ingress和pod 6個方面。集群外部署，我們通過更改配置文件，

kubernetes_sd_configs:
  - role: node
    api_server: https://10.xx.xx.231:6443
    bearer_token: eyJhbGciOiJSUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt14dmTJfPP5XNYiwPBW-ffe84w1zA0PaIUISUXGWUr5Ak9dFkJz4-ho0pPRKuPj-KZ8C4APt4NVKFXnO3WisR63ShCYqYYrOAjerCZIfrokMdvhPG1S6Dw_swWtYTSbBVXMeyHrC9OqvXz3jdi4vnKYJgA
    tls_config:
      insecure_skip_verify: true

也能利用prometheus的service discovery功能監控一些指標，比如node，cadvisor，但是其他的無法全部獲取metrics了,因為自動發現了一些k8s中service網絡層的地址，這個是從外部無法訪問的。我們的解決方案是prometheus的federation模式來解決該問題。

Prometheus的Federation簡介

聯邦允許一個prometheus server 從另外一個prometheus server 獲取metrics。
官方給出的配置：

- job_name: "federate"
  scrape_interval: 15s

  honor_labels: true
  metrics_path: "/federate"

  params:
    "match[]":
      - "{job="prometheus"}"
      - "{__name__=~"job:.*"}"

  static_configs:
    - targets:
      - "source-prometheus-1:9090"
      - "source-prometheus-2:9090"
      - "source-prometheus-3:9090"

聯邦機制也實現了promethues的擴展。大致上縱向和橫向兩種思路。

由此出發，就能形成一種樹狀的prometheus集群，實現了高可用和分片。我們的集群外prometheus監控k8s的方案就基于此。

通過Federation監控k8s

采取上一篇文章的配置文件，在k8s集群中部署一個prometheus server，集群外的prometheus server 定期獲取集群中prometheus的數據。
然后通過設置match即可

"match[]":
      - "{job="prometheus"}"
      - "{__name__=~"job:.*"}"

總結

此外聯邦模式可以實現prometheus監控prometheus。遵循以下兩點：

網格模式。在同一個數據中心，每個prometheus監控其他的prometheus。

上下級模式。上一級的prometheus監控數據中心級別的prometheus。

GPU云服務器云服務器 k8s kubernetes 管理與監控監控與警報 kubernetes為什么叫k8s

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/32633.html

k8s與監控--從kubernetes監控談prometheus的federation機制

摘要：也就是說整個監控系統不是部署在中。非的怎么監控是今天需要討論的問題。官方給出的配置聯邦機制也實現了的擴展。我們的集群外監控的方案就基于此。在同一個數據中心，每個監控其他的。上一級的監控數據中心級別的。前言有時候對于一個公司，k8s集群或是所謂的caas只是整個技術體系的一部分，往往這個時候監控系統不僅僅要k8s集群以及k8s中部署的應用，而且要監控傳統部署的項目。也就是說整個監控系...

wangym 2019-07-01 17:27 評論0 收藏0
容器監控實踐—Prometheus的配置與服務發現

摘要：一概述的配置可以用命令行參數或者配置文件，如果是在集群內，一般配置在中以下均為版本查看可用的命令行參數，可以執行也可以指定對應的配置文件，參數一般為如果配置有修改，如增添采集，可以重新加載它的配置。目前主要支持種服務發現模式，分別是。本文將分析Prometheus的常見配置與服務發現，分為概述、配置詳解、服務發現、常見場景四個部分進行講解。一. 概述 Prometheus的配置可以...

longshengwang 2019-07-01 17:36 評論0 收藏0
容器監控實踐—Prometheus的配置與服務發現

摘要：一概述的配置可以用命令行參數或者配置文件，如果是在集群內，一般配置在中以下均為版本查看可用的命令行參數，可以執行也可以指定對應的配置文件，參數一般為如果配置有修改，如增添采集，可以重新加載它的配置。目前主要支持種服務發現模式，分別是。本文將分析Prometheus的常見配置與服務發現，分為概述、配置詳解、服務發現、常見場景四個部分進行講解。一. 概述 Prometheus的配置可以...

hiyang 2019-07-01 17:06 評論0 收藏0
K8S 生態周報| 2019-04-15~2019-04-21

摘要：生態周報內容主要包含我所接觸到的生態相關的每周值得推薦的一些信息。歡迎訂閱知乎專欄生態。正式發布是畢業項目，可用于監控系統及服務狀態。并且可以通過配置規則來觸發報警等。「K8S 生態周報」內容主要包含我所接觸到的 K8S 生態相關的每周值得推薦的一些信息。歡迎訂閱知乎專欄「k8s生態」。 Prometheus v2.9.0 正式發布 Prometheus 是 CNCF 畢業項目，可用...

fevin 2019-06-28 17:13 評論0 收藏0
容器監控實踐—Prometheus基本架構

摘要：根據配置文件，對接收到的警報進行處理，發出告警。在默認情況下，用戶只需要部署多套，采集相同的即可實現基本的。通過將監控與數據分離，能夠更好地進行彈性擴展。參考文檔本文為容器監控實踐系列文章，完整內容見系統架構圖 1.x版本的Prometheus的架構圖為：showImg(https://segmentfault.com/img/remote/1460000018372350?w=14...

gghyoo 2019-07-01 17:36 評論0 收藏0