摘要:基于友好的開源協議,目前是監控展示的首選。配置報警的收件組和詳細內容。而報警收件人的配置在專門的頁面上已經配置的報警規則,并展示其觸發狀態。借用的一句話哈哈哈本文為容器監控實踐系列文章,完整內容見
概述
Grafana 是一個開源的,可以用于大規模指標數據的可視化項目,甚至還能對指標進行報警。基于友好的 Apache License 2.0 開源協議,目前是prometheus監控展示的首選。優點如下:
配置方便:支持Dashboard、Panel、Row等組合,且支持折線圖、柱狀圖等多種圖例
圖表漂亮:可以選擇暗黑系或純白系,你也可以自己定義顏色
模板很多:grafana模板很活躍,有很多用戶貢獻的面板,直接導入就能用
支持多種數據源:grafana作為展示面板,支持很多數據源,如Graphite、ES、Prometheus等
權限管理簡單:有admin、viewer等多種角色管控
如果默認的grafana不能滿足你的需求,要二次開發,官方也提供了很多支持:
協議為Apache License 2.0:商業友好,隨便改吧,改完拿去賣也行。
完善的API調用:權限、面板、用戶、報警都支持api調用。
多種鑒權方式:OAuth、LADP、Proxy多種方式,你可以接入自己公司的鑒權系統
插件開發:如果你不想直接改代碼,可以做自己的插件
go+Angular+react:常用的技術棧,方便二次開發
prometheus + grafana 做為監控組合很方便,很強大,改造了鑒權之后更加香。一開始我們還嘗試使用grafana自帶的報警功能,可惜比較雞肋,無法用于生產,報警的issue一大堆官方也不想修改,作罷
部署步驟一:安裝grafana
Grafana提供了很多種部署方式,如果你的展示報警是在K8S集群外,可以二進制直接部署,如果grafana本身在集群內,或者管理端也是k8s集群,可以用yaml部署:
Deployment配置:
apiVersion: apps/v1 kind: Deployment metadata: namespace: kube-system name: grafana spec: replicas: 1 selector: matchLabels: app: grafana template: metadata: namespace: kube-system annotations: grafana-version: "1.0" name: grafana labels: app: grafana spec: containers: - name: grafana image: grafana/grafana:5.1.0 imagePullPolicy: Always securityContext: runAsUser: 0 env: - name: GF_SECURITY_ADMIN_PASSWORD value: "admin" ports: - name: grafana containerPort: 3000 resources: requests: memory: "100Mi" cpu: "100m" limits: memory: "2048Mi" cpu: "1024m"
Service配置:
apiVersion: v1 kind: Service metadata: namespace: kube-system name: grafana annotations: prometheus.io/scrape: "true" labels: name: grafana spec: selector: app: grafana type: LoadBalancer ports: - name: grafana protocol: TCP port: 3000
grafana配置文件的字段含義:
app_mode:應用名稱,默認是production [path] data:一個grafana用來存儲sqlite3、臨時文件、回話的地址路徑 logs:grafana存儲logs的路徑 [server] http_addr:監聽的ip地址,,默認是0.0.0.0 http_port:監聽的端口,默認是3000 protocol:http或者https,,默認是http domain:這個設置是root_url的一部分,當你通過瀏覽器訪問grafana時的公開的domian名稱,默認是localhost enforce_domain:如果主機的header不匹配domian,則跳轉到一個正確的domain上,默認是false root_url:這是一個web上訪問grafana的全路徑url,默認是%(protocol)s://%(domain)s:%(http_port)s/ router_logging:是否記錄web請求日志,默認是false cert_file:如果使用https則需要設置 cert_key:如果使用https則需要設置 [database] grafana默認需要使用數據庫存儲用戶和dashboard信息,默認使用sqlite3來存儲,你也可以換成其他數據庫 type:可以是mysql、postgres、sqlite3,默認是sqlite3 path:只是sqlite3需要,定義sqlite3的存儲路徑 host:只是mysql、postgres需要,默認是127.0.0.1:3306 name:grafana的數據庫名稱,默認是grafana user:連接數據庫的用戶 password:數據庫用戶的密碼 ssl_mode:只是postgres使用 [security] admin_user:grafana默認的admin用戶,默認是admin admin_password:grafana admin的默認密碼,默認是admin login_remember_days:多少天內保持登錄狀態 secret_key:保持登錄狀態的簽名 disable_gravatar: [users] allow_sign_up:是否允許普通用戶登錄,如果設置為false,則禁止用戶登錄,默認是true,則admin可以創建用戶,并登錄grafana allow_org_create:如果設置為false,則禁止用戶創建新組織,默認是true auto_assign_org:當設置為true的時候,會自動的把新增用戶增加到id為1的組織中,當設置為false的時候,新建用戶的時候會新增一個組織 auto_assign_org_role:新建用戶附加的規則,默認是Viewer,還可以是Admin、Editor [auth.anonymous] enabled:設置為true,則開啟允許匿名訪問,默認是false org_name:為匿名用戶設置組織名稱 org_role:為匿名用戶設置的訪問規則,默認是Viewer [auth.github] 針對github項目的,很明顯,呵呵 enabled = false allow_sign_up = false client_id = some_id client_secret = some_secret scopes = user:email auth_url = https://github.com/login/oauth/authorize token_url = https://github.com/login/oauth/access_token api_url = https://api.github.com/user team_ids = allowed_domains = allowed_organizations = [auth.google] 針對google app的,呵呵 enabled = false allow_sign_up = false client_id = some_client_id client_secret = some_client_secret scopes = https://www.googleapis.com/auth/userinfo.profile https://www.googleapis.com/auth/userinfo.email auth_url = https://accounts.google.com/o/oauth2/auth token_url = https://accounts.google.com/o/oauth2/token api_url = https://www.googleapis.com/oauth2/v1/userinfo allowed_domains = [auth.basic] enabled:當設置為true,則http api開啟基本認證 [auth.ldap] enabled:設置為true則開啟LDAP認證,默認是false config_file:如果開啟LDAP,指定LDAP的配置文件/etc/grafana/ldap.toml [auth.proxy] 允許你在一個HTTP反向代理上進行認證設置 enabled:默認是false header_name:默認是X-WEBAUTH-USER header_property:默認是個名稱username auto_sign_up:默認是true。開啟自動注冊,如果用戶在grafana DB中不存在 [analytics] reporting_enabled:如果設置為true,則會發送匿名使用分析到stats.grafana.org,主要用于跟蹤允許實例、版本、dashboard、錯誤統計。默認是true google_analytics_ua_id:使用GA進行分析,填寫你的GA ID即可 [dashboards.json] 如果你有一個系統自動產生json格式的dashboard,則可以開啟這個特性試試 enabled:默認是false path:一個全路徑用來包含你的json dashboard,默認是/var/lib/grafana/dashboards [session] provider:默認是file,值還可以是memory、mysql、postgres provider_config:這個值的配置由provider的設置來確定,如果provider是file,則是data/xxxx路徑類型,如果provider是mysql,則是user:password@tcp(127.0.0.1:3306)/database_name,如果provider是postgres,則是user=a password=b host=localhost port=5432 dbname=c sslmode=disable cookie_name:grafana的cookie名稱 cookie_secure:如果設置為true,則grafana依賴https,默認是false session_life_time:session過期時間,默認是86400秒,24小時 以下是官方文檔沒有,配置文件中有的 [smtp] enabled = false host = localhost:25 user = password = cert_file = key_file = skip_verify = false from_address = admin@grafana.localhost [emails] welcome_email_on_sign_up = false templates_pattern = emails/*.html [log] mode:可以是console、file,默認是console、file,也可以設置多個,用逗號隔開 buffer_len:channel的buffer長度,默認是10000 level:可以是"Trace", "Debug", "Info", "Warn", "Error", "Critical",默認是info [log.console] level:設置級別 [log.file] level:設置級別 log_rotate:是否開啟自動輪轉 max_lines:單個日志文件的最大行數,默認是1000000 max_lines_shift:單個日志文件的最大大小,默認是28,表示256MB daily_rotate:每天是否進行日志輪轉,默認是true max_days:日志過期時間,默認是7,7天后刪除
注意的幾個點:
對所有的資源都做request、limit限制,防止耗盡主機資源
grafana的一些配置可以通過變量傳入:如admin的密碼GF_SECURITY_ADMIN_PASSWORD
如果要對grafana的數據進行持久化,建議掛volume或者外部存儲,持久化的內容一般都是面板配置。監控面板的配置可以導入導出
securityContext:因為版本問題,如果提示grafana的權限不足,可以配置runAsUser: 0
創建了grafana之后,可以通過service暴露的端口地址查看頁面:
登錄成功后,會顯示需要初始化的內容
步驟二:配置數據源
grafana支持多種數據源,可以在“type”的下拉框選項中看到,這里我們選擇prometheus作為數據源。HTTP的訪問方式選擇proxy,URL填寫grafana能訪問到的地址。
因為grafana和prometheus都在同一個k8s集群中,這里用svc地址
點擊“save and test”測試連接性。
步驟三:創建面板
有了數據源,接下來就是如何更好地展示數據,grafana支持多種類型的圖表,如Graph、singlestat、Table等。可以組合出多種形式。這里先創建一個Demo,保存現有模板的快捷鍵是Ctrl + S
你的所有面板都可以在左上角的下拉框中找到:
我們還可以導入現有的面板(Dashboard),大家貢獻的模板地址:https://grafana.com/dashboards
選擇左上角的?號,然后import,有兩種形式的導入:
URL直接導入:粘貼對應模板的url,前提是grafana必須能訪問外網。
上傳json文件:一般是遷移時使用,把現有的json導出,再導入
grafana的面板、圖表有很多配置,接下來我們說幾個常用的配置項
常用配置示例:K8S的節點數量趨勢圖
編輯圖表時默認進入的是Metric,內容包括:
Data Source:填寫剛剛配置過的數據源的名稱,這里是prometheus
A和B指的是這張圖有幾條線,這里是A一條線、右側的小眼睛代表是否隱藏該線
A線中,輸入框填寫的是查詢語句,這里指合法的promsql,legend format指A線的顯示名稱
除了Metric之外,還有幾個選項,含義分別是:
General:一般是將其他項都配置好后再回頭設置General,而在General配置標簽中一般只會用到“Title”,就是圖表的標題,如這里的Node數量
Title:圖表標題; Description:圖表描述; Span:圖表間隔,無需設定,在前端可手動調整圖表大小; Height:圖表高度,無需設定,在前端可手動調整圖表高度; Transparent:背景是否透明,默認情況下不勾選,如果覺得不需要深灰色背景,可以勾選此項; Templating和Drilldown / detail link用處不大,忽略即可。
Metric:比較重要,配指標表達式和指標線的地方,上邊已經舉例
Axes:配置數據軸的地方,如偏移縮放,格式轉換
Legend:圖例,是否限制以及顯示的方式
Display: 展示相關的配置,如線條寬度,排序方式、空值處理
Alert: 報警配置,grafana算是少有的展示圖表支持報警的,但他的報警只支持到單圖表,無法嵌套模板,有點雞肋。如左上角有篩選node的下拉框,圖表又傳入了變量時,如果配置報警,是配置失敗的。報錯為:“Template variables are not supported in alert queries”
TimeRange: 配置單圖表的展示時間,如24h內的數據
Override relative time: 覆蓋右上角選擇的時間,設置要顯示的時間范圍,這里我設置24h(單位自己可選)。 Add time shift: 這里是偏移量設置,比如填寫2h表示不顯示最近2h的數據。 Hide time ocerride info: 上邊相對時間設置之后在graph中會顯示本圖表的時間信息,在此處選擇后可以把顯示的信息隱藏掉
更多詳細的配置可以查看:https://grafana.com/docs/features/panels/graph/
變量配置:
對于一些復雜場景,可能需要傳入變量,如有多臺機器,每臺機器都要展示其cpu內存等指標。而機器列表又是動態的,這個時候就可以使用變量,示例:
首先在該面板的setting中選擇variables,注意是該面板的設置,不是全局設置
填寫名稱,下拉框選項的數據獲取表達式,刷新周期,是否有ALL選項等,然后保存
接下來在具體的圖表中使用該變量
在metric中,將變量$Node寫在表達式中做匹配即可。
grafana的變量支持高級匹配,如$Node.*代表以Node開頭的字符,利用變量的方式,可以實現多級篩選,滿足更復雜的需求,如pod資源的查看
關于變量的更多信息:what-is-a-variable
報警配置grafana在v4.0版本開始引入了報警功能。
還是以Node節點數為例,我們配置一條規則:
當可用節點數小于3時,報警給demo@126.com
alert支持avg、sum等表達式,不過持續時間依賴數據本身的采集頻率。需要多測試一下。
Notifications:配置報警的收件組和詳細內容。而報警收件人的配置在專門的Alerting頁面上
Alert Rules:已經配置的報警規則,并展示其觸發狀態。
報警郵件的樣式:
模板變量報警
以上的報警配置方式只適合沒有變量傳入的圖表,如果遇到上邊提到的選擇node,傳入變量的圖表,就沒辦法支持了。
相關issue:https://github.com/grafana/gr...
官方對這個功能解釋了一堆,最新版本仍然沒有支持。借用issue的一句話哈哈哈
It would be grate to add templates support in alerts. Otherwise the feature looks useless a bit.
本文為容器監控實踐系列文章,完整內容見:container-monitor-book
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/33186.html
showImg(https://segmentfault.com/img/remote/1460000014421849); 概述 一個宿主機上可以運行多個容器化應用,容器化應用運行于宿主機上,我們需要知道該容器的運行情況,包括 CPU使用率、內存占用、網絡狀況以及磁盤空間等等一系列信息,而且這些信息隨時間變化,我們稱其為時序數據,本文將實操 如何搭建一個可視化的監控中心 來收集這些承載著具體應...
摘要:二可視化是一個開源的圖表可視化系統,簡單說圖表配置比較方便生成的圖表比較漂亮。 一. 概述 Prometheus自帶了一個web服務,包括一個默認的dashboard,可以使用表達式查詢并進行圖表可視化,默認服務的地址為:http://prometheus_ip:9090 如下圖: showImg(https://segmentfault.com/img/remote/14600000...
摘要:二可視化是一個開源的圖表可視化系統,簡單說圖表配置比較方便生成的圖表比較漂亮。 一. 概述 Prometheus自帶了一個web服務,包括一個默認的dashboard,可以使用表達式查詢并進行圖表可視化,默認服務的地址為:http://prometheus_ip:9090 如下圖: showImg(https://segmentfault.com/img/remote/14600000...
摘要:二可視化是一個開源的圖表可視化系統,簡單說圖表配置比較方便生成的圖表比較漂亮。 一. 概述 Prometheus自帶了一個web服務,包括一個默認的dashboard,可以使用表達式查詢并進行圖表可視化,默認服務的地址為:http://prometheus_ip:9090 如下圖: showImg(https://segmentfault.com/img/remote/14600000...
摘要:在和未普及之前,要實現的搭建確實要費一番工夫的,不過現在則很簡單就可以實現的監控了。下載鏡像使用方式下載極為方便,只需要執行如下命令即可,當然前提是需要安裝了。 一、背景 對于LNMP環境下的開發者來說,mysql是非常重要的一環,同時mysql的性能監控也是開發者所需要關注的一環;如果大家使用阿里云的RDS會感覺到其監控功能非常好用,但如果開發者使用的是自建數據庫,該怎么去搭建則需則...
閱讀 1000·2021-11-22 13:52
閱讀 1441·2021-11-19 09:40
閱讀 3122·2021-11-16 11:44
閱讀 1263·2021-11-15 11:39
閱讀 3893·2021-10-08 10:04
閱讀 5333·2021-09-22 14:57
閱讀 3096·2021-09-10 10:50
閱讀 3177·2021-08-17 10:13