Prometehus自動發(fā)現(xiàn)Docker Swarm Overlay網(wǎng)絡(luò)中的容器

wangtdgoodluck 發(fā)布于2019-06-28 17:58 / 1604人閱讀

摘要：原文地址介紹如何使用的機(jī)制，自動發(fā)現(xiàn)并抓取網(wǎng)絡(luò)中的容器所提供的指標(biāo)。我們需要一種動態(tài)發(fā)現(xiàn)容器的方法。使用的機(jī)制，半自動的發(fā)現(xiàn)容器。文章最開始說到的半自動就是這個意思，我們得事先知道記錄有哪些，然后讓去發(fā)現(xiàn)這些記錄背后對應(yīng)的容器有哪些。

原文地址

介紹如何使用Prometheus的dns service discovery機(jī)制，自動發(fā)現(xiàn)并抓取Docker swarm overlay網(wǎng)絡(luò)中的容器所提供的指標(biāo)。

使用docker service create/docker stack deploy能夠很方便管理多個docker host，并且對應(yīng)用做擴(kuò)縮容。那么我們?nèi)绾巫ト∵@些動態(tài)創(chuàng)建的容器應(yīng)用所提供的指標(biāo)呢？

在《使用Prometheus+Grafana監(jiān)控JVM》一文里我們使用了static_config靜態(tài)配置指標(biāo)抓取目標(biāo)，這顯然在docker swarm環(huán)境里是不合適的。我們需要一種動態(tài)發(fā)現(xiàn)容器的方法。

解決思路如下：

使用《一種生產(chǎn)環(huán)境Docker Overlay Network的配置方案》提到的方法配置overlay網(wǎng)絡(luò)，并且把docker service、stack、standalone container都掛到這個overlay網(wǎng)絡(luò)里。

把Prometheus也掛到這個overlay網(wǎng)絡(luò)里。

使用Prometheus的DNS service discovery機(jī)制，半自動的發(fā)現(xiàn)容器。

本文所提到的腳本可以在這里下載

下面構(gòu)建一個實(shí)驗環(huán)境以說明方法。

第一步：構(gòu)建overlay network

根據(jù)《一種生產(chǎn)環(huán)境Docker Overlay Network的配置方案》里提到的方法，創(chuàng)建Docker swarm，和一個overlay網(wǎng)絡(luò)，名字叫做test-overlay：

docker network create -d overlay --attachable test-overlay

第二步：啟動容器

為了方便起見，使用prometheus-mock-data來模擬一個提供指標(biāo)的應(yīng)用，這樣就能夠避免繁瑣的jmx-exporter。

1) 新建一個目錄，名字叫做docker-swarm-demo

2) 新建一個文件scrape-data.txt，這個文件就是我們要提供的假指標(biāo)，內(nèi)容如下：

# HELP x mock metric
# TYPE x gauge
x 1
---
# HELP x mock metric
# TYPE x gauge
x 2
---
# HELP x mock metric
# TYPE x gauge
x 3
---
# HELP x mock metric
# TYPE x gauge
x 4

3) 為了演示docker service和standalone container都能被采集到，會啟動這兩種形式的容器：

4) 使用docker service create啟動一個service，replicas=3（注意--name參數(shù)）：

docker service create 
    --name mock 
    --replicas 3 
    --network test-overlay 
    --limit-memory 96M 
    --mount type=bind,src=$(pwd)/scrape-data.txt,dst=/home/java-app/etc/scrape-data.txt 
    chanjarster/prometheus-mock-data:latest

4) 使用docker run啟動一個standalone container（注意--name參數(shù)）：

docker run -d 
    -v $(pwd)/scrape-data.txt:/home/java-app/etc/scrape-data.txt 
    --network test-overlay 
    --name standalone-mock 
    chanjarster/prometheus-mock-data:latest

第三步：啟動Prometheus

1) 在之前新建目錄docker-swarm-demo里創(chuàng)建文件prom-config.yml，內(nèi)容如下：

scrape_configs:
  - job_name: "swarm-service"
    scrape_interval: 30s
    dns_sd_configs:
      - names:
        - tasks.mock
        - standalone-mock
        type: A
        port: 8080
    relabel_configs:
      - source_labels: ["__meta_dns_name"]
        target_label: "service"

注意到上面的兩個關(guān)鍵配置：

設(shè)定了兩個DNS A記錄，tasks.mock和standalone-mock。

tasks.mock是Docker自動為docker service mock創(chuàng)建的，而standalone-mock就是容器名。文章最開始說到的半自動就是這個意思，我們得事先知道DNS A記錄有哪些，然后讓Prometheus去發(fā)現(xiàn)這些DNS A記錄背后對應(yīng)的容器有哪些。

把__meta_dns_name的值設(shè)置到指標(biāo)的service 這個label里。

2) 啟動Prometheus：

docker run -d 
    --name=prometheus 
    --network test-overlay 
    -p 9090:9090 
    -v $(pwd):/prometheus-config 
    -v $(pwd)/prom-data:/prometheus 
    prom/prometheus --config.file=/prometheus-config/prom-config.yml

3) 訪問 http://localhost:9090 看看Prometheus是否啟動成功，在輸入框里輸入x然后執(zhí)行，應(yīng)該可以看到如下圖的結(jié)果：

其中3個instance是屬于tasks.mock的，還有一個則是standalone container（如果沒有看到4個instance，那么等一會兒再試）。