Prometheus的黑盒監控

IT那活兒發布于2023-01-11 13:19 / 447人閱讀

Prometheus的黑盒監控

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

背景

在白盒監控中我們需要將export程序安裝到被監控的主機上從而實現對主機各種資源及其狀態的數據采集工作。

但某些情況下操作技術以及其他原因，不是所有的export都能部署到被監控的主機環境中，針對這樣的場景Prometheus提供了黑盒解決方案，blackbox無需安裝到被監控的主機目標中，只需要將其安裝在proethus和被監控目標互通的環境中，通過HTTP、HTTPS、DNS、TCP、ICMP等方式對網絡進行探測監控還可以探測SSL證書過期時間，主要用來關注現象，重點在于對正在發生的故障進行告警。

應用場景

1. HTTP探測

定義 Request Header 信息；
判斷 Http status / Http Respones Header / Http Body 內容。

2. TCP 測試

業務組件端口狀態監聽；
應用層協議定義與監聽。

3. ICMP 測試

主機探活機制。

4. POST 測試

接口聯通性。

5. SSL證書過期時間

安裝部署

# cd /app/software/

# tar -zxvf blackbox_export-0.17.0.linux-amd64.tar.gz -C /app/

# cd /app/

# mv blackbox-export-0.17.0.linux-amd64 blackbox-export

# ln -sv ./blackbox-export /app/blackbox

# cd /app/blackbox

# nohup ./blackbox_export --config.file blackbox.yml --web.listen-address ":9155" &

# ss -nutlp | grep 9155

tcp LISTEN 0 128 *:9155 *:* users:(("blackbox_export",pid=2053,fd=3))

檢查

http://192.168.XX.*：9155

Prometheus集成

blackbox通過relable機制來與prometheus進行集成，relabel_config覆蓋目標的_address_標簽以指定導出器的主機名，在采集數據前通過relabel_configs來對采集任務進行動態配置。

第一個重新標記relabel通過將address標簽即當前目標地址寫入_param_target標簽來創建參數。
第二個relabel將獲取的_param_target的值，覆蓋寫道instance標簽中。
覆蓋target實例的_address_標簽值為blockbox_exporter實例的訪問地址。

labels:

        group: blackbox_exporter

    relabel_configs:

      - source_labels: [__address__]

        target_label: __param_target

      - source_labels: [__param_target]

        target_label: instance

      - target_label: __address__

        replacement: 192.168.xx.15:9115

  - job_name: "blackbox_exporter_192.168.xx.19:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.19:9115

  - job_name: "blackbox_exporter_192.168.xx.16:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.16:9115

  - job_name: "blackbox_exporter_192.168.xx.18:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.18:9115

  - job_name: "blackbox_exporter_192.168.xx.15:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.15:9115

  - job_name: "blackbox_exporter_192.168.xx.17:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.17:9115

展示：

通過在grafana官網下載blackbox的監控json導入。

總結

黑盒監控相較于白盒監控最大的不同在于黑盒監控是以故障為導向當故障發生時，黑盒監控能快速發現故障，所以我們監控時候以粒度比較細的，如端口、接口、線路等進行監控可以快速實現和定制化我們需要的相關監控策略。

END

本文作者：孫強強

本文來源：IT那活兒（上海新炬王翦團隊）

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129454.html

微服務架構給IT系統和團隊帶來了什么顯著的變化

摘要：京東云監控響應實踐京東云運維平臺為數萬臺機器提供監控，部署，機器管理，權限管理，安全管理，審計和運營分析等功能，為京東云所有的業務在各類異構網絡環境下提供標準和統一的運維支撐能力。 showImg(https://segmentfault.com/img/bVbsKlQ); 微服務本身并沒有一個嚴格的定義，不過從很多人的反饋來看，大家都達成了這樣一個共識：微服務是一種簡單的應用，大概有...

mayaohua 2019-08-19 11:42 評論0 收藏0
#yyds干貨盤點# Prometheus Exporter（五）BlackBox Exporte

摘要：本文已經收錄在合集都可以采集那些指標常用合集中。允許通過和對接口進行黑盒探測監控。我們來看這個示例文件，其他是經常搭配服務發現來進行工作的，比如搭配基于的服務發現來進行。小結其實在監控系統中非常實用，尤其是監控和監控。本文已經收錄在 Prometheus 合集 Prometheus 都可以采集那些指標？-- ...

番茄西紅柿 2021-11-29 10:50 評論0 收藏2637
強如 Disruptor 也發生內存溢出？

摘要：結合的日志發現就算是發生了老年代也已經回收不了，內存已經到頂。定位由于生產上的內存文件非常大，達到了幾十。也是由于我們的內存設置太大有關。同時后臺也開始打印內存溢出了，這樣便復現出問題。結果發現類型的對象占用了將近的內存。 showImg(https://segmentfault.com/img/remote/1460000016186784?w=2048&h=1365); 前言 Ou...

amuqiao 2019-08-19 11:02 評論0 收藏0
k8s與監控--從kubernetes監控談prometheus的federation機制

摘要：也就是說整個監控系統不是部署在中。非的怎么監控是今天需要討論的問題。官方給出的配置聯邦機制也實現了的擴展。我們的集群外監控的方案就基于此。在同一個數據中心，每個監控其他的。上一級的監控數據中心級別的。前言有時候對于一個公司，k8s集群或是所謂的caas只是整個技術體系的一部分，往往這個時候監控系統不僅僅要k8s集群以及k8s中部署的應用，而且要監控傳統部署的項目。也就是說整個監控系...

wangym 2019-07-01 17:27 評論0 收藏0
k8s與監控--從kubernetes監控談prometheus的federation機制

摘要：也就是說整個監控系統不是部署在中。非的怎么監控是今天需要討論的問題。官方給出的配置聯邦機制也實現了的擴展。我們的集群外監控的方案就基于此。在同一個數據中心，每個監控其他的。上一級的監控數據中心級別的。前言有時候對于一個公司，k8s集群或是所謂的caas只是整個技術體系的一部分，往往這個時候監控系統不僅僅要k8s集群以及k8s中部署的應用，而且要監控傳統部署的項目。也就是說整個監控系...

curlyCheng 2019-07-01 16:40 評論0 收藏0