基礎監控；服務器基礎指標（cpu load、內存、用戶線程數、端口連接數、存儲）
語言相關比如jvm以及go、php等
基礎中間件監控；redis、mysql、rabbitmq
應用監控；應用接口調用頻率、應用接口響應時間、應用接口異常次數
根據監控指標可配置定制化的閾值告警
Prometheus（普羅米修斯）是一個prometheus是一個最初在SoundCloud上構建的開源系統監控和警報工具包 。從2012年開始，許多公司和組織開始使用Prometheus，該項目擁有非常活躍的開發人員和用戶社區。目前它是一個獨立的開源項目，并且不依賴與任何公司為了強調這一點，并澄清項目的治理結構，Prometheus在2016年加入Cloud Native Computing Foundation，作為kubernetes之后的第二個托管項目。1、多維數據模型(時序列數據有metric和一組key/value組成)
2、在多維度上靈活的查詢語言(PromQl)
3、不依賴分布式存儲（內置數據庫），單主節點工作.
4、基于HHTP的pull方式采集時間序列數據
5、可以通過pushgateway進行時序列數據推送(pushing)
6、可以通過服務發現或者靜態配置去獲取要采集的目標服務器
Prometheus通過HTTP接口的方式從各種客戶端獲取數據，這些客戶端必須符合Prometheus監控數據格式；
通常有兩種方式：
1、侵入式埋點監控（直接采集），通過在客戶端集成，如果Kubernetes API直接通過引入Prometheus go client，提供/metrics接口查詢kubernetes API各種指標；這一類Exporter直接內置了對Prometheus監控的支持，比如cAdvisor，Kubernetes，Etcd，Gokit等，都直接內置了用于向Prometheus暴露監控數據的端點。
2、通過exporter方式（間接采集），在外部將原來各種中間件的監控支持轉化為Prometheus的監控數據格式，如redis exporter將Reids指標轉化為Prometheus能夠識別的HTTP請求；間接采集，原有監控目標并不直接支持Prometheus，因此我們需要通過Prometheus提供的Client Library編寫該監控目標的監控采集程序。例如：Mysql Exporter，JMX Exporter，Consul Exporter等。
HTTP返回Header和Body如上圖所示，指標前面兩行#是注釋，標識指標的含義和類型。指標和指標的值通過空格分割，開發者通常不需要自己拼接這種個數的數據， Prometheus提供了各種語言的SDK支持。
Prometheus并沒有采用json的數據格式，而是采用text/plain純文本的方式，這是它的特殊之處。prometheus生態系統由多個組件組成，其中許多組件是可選的。
prometheus server：主要獲取和存儲時間序列數據
exporters：主要是作為agent收集數據發送到prometheus server，不同的數據收集由不同的exporters實現，如監控主機有node-exporters，mysql有MySQL server exporters。
pushgateway：允許短暫和批處理的jobs推送它們的數據到prometheus；由于這類工作的存在時間不夠長，所以需要他們主動將數據推送到pushgateway，然后由pushgateway將數據發送的prometheus。
alertmanager：實現prometheus的告警功能。
prometheus直接或通過pushgateway抓取數據。（短周期任務數據）
將數據存儲在本地，并對這些數據運行規則，以便從現有數據聚合和記錄新時間序列，或者生成警報。
Prometheus targets:采集mysql數據，
1. 下載最新版的Prometheus 2.17.1
wget -P /usr/local/src https://github.com/prometheus/prometheus/releases/download/v2.17.1/prometheus-2.17.1.linux-amd64.tar.gz
tar -zxvf /usr/local/src/prometheus-2.17.1.linux-amd64.tar.gz -C /usr/local
ln -s /usr/local/src/prometheus-2.17.1.linux-amd64 /usr/local/prometheus
useradd -g prometheus -s /sbin/nologinprometheus
4. 給Prometheus主目錄賦用戶Prometheus權限
chown -R prometheus:prometheus /usr/local/prometheus/
cat >/etc/systemd/system/prometheus.service<[Unit]
Description=Prometheus
Documentation=https://prometheus.io/ After=network.target
[Service] Type=simple User=prometheus
ExecStart=/usr/local/prometheus/prometheus
config.file=/usr/local/prometheus/prometheus.yml
storage.tsdb.path=/var/lib/prometheus
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
注意：將配置文件中的ip地址改成你的被監控客戶端的ip，(node_exporter的)端口號默認是9100。
./prometheus --config.file=prometheus.yml查看日志
瀏覽器輸入http://192.168.**.***:9090/
下載并解壓node_exporter
wget -P /usr/local/srchttps://github.com/prometheus/node_exporter/releases/download/v1.0.0-rc.0/node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
tar -zxvf /usr/local/src/node_exporter-1.0.0-rc.0.linux-amd64.tar.gz -C /usr/local
建立軟連接
ln -s /usr/local/node_exporter-1.0.0-rc.0.linux-amd64/ /usr/local/node_exporter
添加用戶名和用戶組
group add prometheus
useradd -g prometheus -s /sbin/nologinprometheus
給node_exporter主目錄賦權限
chown -R prometheus:prometheus /usr/local/node_exporter/
啟動并設置開機自啟
systemctl start node_exporter
systemctl enable node_exporter
檢查node_exporter是否已啟動node_exporter默認的端口是9100
systemctl status node_exporter
ss -ntl |grep 9100
直接關閉防火墻
systemctl stop firewalld
systemctl disable firewalld
在prometheus的web上檢查是否監控到了本機
global:
scrape_interval: 15s //全局配置，多久搜集一次
evaluation_interval: 15s //全局配置，多久搜集一次
rule_files: //規則文件
# - "first.rules"
# - "second.rules"
scrape_configs: //搜集的配置
- job_name: prometheus //監控的服務名稱
static_configs:
- targets: [localhost:9090] //監控入口
多個地址依次添加即可。
六. Prometheus+Grafana 打造監控系統
下載Grafana的rpm包
wgethttps://dl.grafana.com/oss/release/grafana-6.7.2-1.x86_64.rpm
安裝Grafana
yum install grafana-6.7.2-1.x86_64.rpm
啟動grafana，并設置其開機自啟
systemctl restart grafana-server
systemctl enable grafana-server
瀏覽器打開Grafana主頁 http://192.168.48.150:3000/
配置數據源類型Prometheus，并設置相關參數
總結：上文提到 Prometheus 是一款基于時序數據庫的監控系統，時序數據庫常簡寫為 TSDB（Time Series Database）。很多流行的監控系統都在使用時序數據庫來保存數據，這是因為時序數據庫的特點和監控系統不謀而合。本次分享到此結束，如有錯誤之處，還請多多指出。
