摘要:集群三步安裝概述應當是使用監控系統的最佳實踐了,首先它一鍵構建整個監控系統,通過一些無侵入的手段去配置如監控數據源等故障自動恢復,高可用的告警等。。
kubernetes集群三步安裝 概述
prometheus operator應當是使用監控系統的最佳實踐了,首先它一鍵構建整個監控系統,通過一些無侵入的手段去配置如監控數據源等
故障自動恢復,高可用的告警等。。
不過對于新手使用上還是有一丟丟小門檻,本文就結合如何給envoy做監控這個例子來分享使用prometheus operator的正確姿勢
至于如何寫告警規則,如何配置prometheus查詢語句不是本文探討的重點,會在后續文章中給大家分享,本文著重探討如何使用prometheus operator
prometheus operator安裝sealyun離線安裝包內已經包含prometheus operator,安裝完直接使用即可
配置監控數據源原理:通過operator的CRD發現監控數據源service
apiVersion: apps/v1 kind: Deployment metadata: name: envoy labels: app: envoy spec: replicas: 1 selector: matchLabels: app: envoy template: metadata: labels: app: envoy spec: volumes: - hostPath: # 為了配置方便把envory配置文件掛載出來了 path: /root/envoy type: DirectoryOrCreate name: envoy containers: - name: envoy volumeMounts: - mountPath: /etc/envoy name: envoy readOnly: true image: envoyproxy/envoy:latest ports: - containerPort: 10000 # 數據端口 - containerPort: 9901 # 管理端口,metric是通過此端口暴露 --- kind: Service apiVersion: v1 metadata: name: envoy labels: app: envoy # 給service貼上標簽,operator會去找這個service spec: selector: app: envoy ports: - protocol: TCP port: 80 targetPort: 10000 name: user - protocol: TCP # service暴露metric的端口 port: 81 targetPort: 9901 name: metrics # 名字很重要,ServiceMonitor 會找端口名
envoy配置文件:
監聽的地址一定需要修改成0.0.0.0,否則通過service獲取不到metric
/root/envoy/envoy.yaml
admin: access_log_path: /tmp/admin_access.log address: socket_address: protocol: TCP address: 0.0.0.0 # 這里一定要改成0.0.0.0,而不能是127.0.0.1 port_value: 9901 static_resources: listeners: - name: listener_0 address: socket_address: protocol: TCP address: 0.0.0.0 port_value: 10000 filter_chains: - filters: - name: envoy.http_connection_manager config: stat_prefix: ingress_http route_config: name: local_route virtual_hosts: - name: local_service domains: ["*"] routes: - match: prefix: "/" route: host_rewrite: sealyun.com cluster: service_google http_filters: - name: envoy.router clusters: - name: service_sealyun connect_timeout: 0.25s type: LOGICAL_DNS # Comment out the following line to test on v6 networks dns_lookup_family: V4_ONLY lb_policy: ROUND_ROBIN hosts: - socket_address: address: sealyun.com port_value: 443 tls_context: { sni: sealyun.com }使用ServiceMonitor
envoyServiceMonitor.yaml:
apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: labels: app: envoy name: envoy namespace: monitoring # 這個可以與service不在一個namespace中 spec: endpoints: - interval: 15s port: metrics # envoy service的端口名 path: /stats/prometheus # 數據源path namespaceSelector: matchNames: # envoy service所在namespace - default selector: matchLabels: app: envoy # 選擇envoy service
create成功后我們就可以看到envoy的數據源了:
然后就可以看到metric了:
然后就可以在grafana上進行一些配置了,promethues相關使用不是本文討論的對象
告警配置 alert manager配置[root@dev-86-201 envoy]# kubectl get secret -n monitoring NAME TYPE DATA AGE alertmanager-main Opaque 1 27d
我們可以看到這個secrect,看下里面具體內容:
[root@dev-86-201 envoy]# kubectl get secret alertmanager-main -o yaml -n monitoring apiVersion: v1 data: alertmanager.yaml: Imdsb2JhbCI6IAogICJyZXNvbHZlX3RpbWVvdXQiOiAiNW0iCiJyZWNlaXZlcnMiOiAKLSAibmFtZSI6ICJudWxsIgoicm91dGUiOiAKICAiZ3JvdXBfYnkiOiAKICAtICJqb2IiCiAgImdyb3VwX2ludGVydmFsIjogIjVtIgogICJncm91cF93YWl0IjogIjMwcyIKICAicmVjZWl2ZXIiOiAibnVsbCIKICAicmVwZWF0X2ludGVydmFsIjogIjEyaCIKICAicm91dGVzIjogCiAgLSAibWF0Y2giOiAKICAgICAgImFsZXJ0bmFtZSI6ICJEZWFkTWFuc1N3aXRjaCIKICAgICJyZWNlaXZlciI6ICJudWxsIg== kind: Secret
base64解碼一下:
"global": "resolve_timeout": "5m" "receivers": - "name": "null" "route": "group_by": - "job" "group_interval": "5m" "group_wait": "30s" "receiver": "null" "repeat_interval": "12h" "routes": - "match": "alertname": "DeadMansSwitch" "receiver": "null"
所以配置alertmanager就非常簡單了,就是創建一個secrect即可
如alertmanager.yaml:
global: smtp_smarthost: "smtp.qq.com:465" smtp_from: "474785153@qq.com" smtp_auth_username: "474785153@qq.com" smtp_auth_password: "xxx" # 這個密碼是開啟smtp授權后生成的,下文有說怎么配置 smtp_require_tls: false route: group_by: ["alertmanager","cluster","service"] group_wait: 30s group_interval: 5m repeat_interval: 3h receiver: "fanux" routes: - receiver: "fanux" receivers: - name: "fanux" email_configs: - to: "474785153@qq.com" send_resolved: true
delete掉老的secret,根據自己的配置重新生成secret即可
kubectl delete secret alertmanager-main -n monitoring kubectl create secret generic alertmanager-main --from-file=alertmanager.yaml -n monitoring郵箱配置,以QQ郵箱為例
開啟smtp pop3服務
照著操作即可,后面會彈框一個授權碼,配置到上面的配置文件中
然后就可以收到告警了:
prometheus operator自定義PrometheusRule crd去描述告警規則
[root@dev-86-202 shell]# kubectl get PrometheusRule -n monitoring NAME AGE prometheus-k8s-rules 6m
直接edit這個rule即可,也可以再自己去創建個PrometheusRule
kubectl edit PrometheusRule prometheus-k8s-rules -n monitoring
如我們在group里加一個告警:
spec: groups: - name: ./example.rules rules: - alert: ExampleAlert expr: vector(1) - name: k8s.rules rules:
重啟prometheuspod:
kubectl delete pod prometheus-k8s-0 prometheus-k8s-1 -n monitoring
然后在界面上就可以看到新加的規則:
探討可加QQ群:98488045
公眾號:文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/27643.html
摘要:集群三步安裝概述應當是使用監控系統的最佳實踐了,首先它一鍵構建整個監控系統,通過一些無侵入的手段去配置如監控數據源等故障自動恢復,高可用的告警等。。 kubernetes集群三步安裝 概述 prometheus operator應當是使用監控系統的最佳實踐了,首先它一鍵構建整個監控系統,通過一些無侵入的手段去配置如監控數據源等故障自動恢復,高可用的告警等。。 不過對于新手使用上還是有一...
摘要:,托管于騰訊云容器平臺容器編排工具。適配我們目前的服務部署在騰訊云托管,節點使用核的網絡增強型機器,所有的后端服務都以部署,集群外部署高可用支持集群內服務發現,數據庫以為主,消息隊列采用。 距離2017年的見聞技術架構調整接近2年,隨著業務線的發展,見聞技術部的項目數量、項目架構類型、基礎設施規模、服務變更頻率都在不斷地增長,帶給SRE的挑戰是如何能更快地助力于開發人員更快更穩定地部署...
摘要:同時有權限控制日志審計整體配置過期時間等功能。將成為趨勢前置條件要求的版本應該是因為和支持的限制的核心思想是將的部署與它監控的對象的配置分離,做到部署與監控對象的配置分離之后,就可以輕松實現動態配置。 一.單獨部署 二進制安裝各版本下載地址:https://prometheus.io/download/ Docker運行 運行命令:docker run --name promet...
摘要:在第三部分中,我們將了解如何在服務網格中啟用分布式跟蹤。在此部署模型中,被部署為服務的在本例中為客戶端。會在服務調用之間添加一些追蹤,并發送到或您的跟蹤提供商目前支持和。這些示例的上游服務是。 本博客是深入研究Envoy Proxy和Istio.io 以及它如何實現更優雅的方式來連接和管理微服務系列文章的一部分。 這是接下來幾個部分的想法(將在發布時更新鏈接): 斷路器(第一部分) ...
摘要:如果你是學生,計劃參加,現在是審查項目構想,并與導師開始討論的最佳時機。和大會日期會議日程通告日期年月日會議活動舉辦日期年月至日和贊助方案和多元化獎學金現正接受申請和即將首次合體落地中國和購票窗口,立即購票 showImg(https://segmentfault.com/img/bVbpnJA?w=1280&h=545); Google Summer of Code(GSoC)是面向...
閱讀 623·2023-04-26 02:08
閱讀 2654·2021-11-18 10:02
閱讀 3460·2021-11-11 16:55
閱讀 2341·2021-08-17 10:13
閱讀 2901·2019-08-30 15:53
閱讀 685·2019-08-30 15:44
閱讀 2545·2019-08-30 11:10
閱讀 1755·2019-08-29 16:57