斌哥的 Docker 進階指南—監控方案的實現

X_AirDu 發布于2019-06-28 15:10 / 3404人閱讀

摘要：本文轉自劉斌博文如何選擇監控方案，文中劉斌從技術的角度深入解釋了監控的數據采集原理，介紹了現有開源的監控方案，以及能夠對進行監控功能的主流服務工具。下一章，劉斌將為大家介紹監控的開原方案，主流服務，及其特點。

過去的一年中，關于 Docker 的話題從未斷過，而如今，從嘗試 Docker 到最終決定使用 Docker 的轉化率依然在逐步升高，關于 Docker 的討論更是有增無減。另一方面，大家的注意力也漸漸從 “Docker 是什么”轉移到“實踐 Docker”與“監控 Docker”上。

本文轉自劉斌博文「如何選擇 Docker 監控方案」，文中劉斌從技術的角度深入解釋了 Docker 監控的數據采集原理，介紹了現有開源的監控方案，以及能夠對 Docker 進行監控功能的主流 SaaS 服務工具。

上一篇文章中介紹了 Docker 監控目的及技術基礎，本篇文章將介紹，Docker 監控方案的實現。

Docker 監控方案的實現

自己動手 + 開源軟件

SaaS

評價標準

功能

信息詳細程度

查詢的靈活程度

報警 + API

靈活性

定制

成本

學習、開發

維護

運維

部署復雜程度

高可用

需要考慮的基本要素如上所示，不多述。

自己動手

靈活性強

成本高

這里的成本包括開發成本，開發成本可能包括招人和培訓，開發時間和填坑時間。開發完了還需要維護成本，而且隨著Docker的升級，可能還需要對metric的采集實現進行升級，以及各種bugfix。

自己動手打造監控方案

采集

存儲

展示

報警（動作）

StatsD 是 Flickr 公司首先提出來的，后來由 Esty 公司發揚光大的一個輕量級的指標采集模塊。

簡單來講，StatsD 就是一個簡單的網絡守護進程，基于 Node.js 平臺（Esty實現，其實也有其他語言版本），通過 UDP 或者 TCP 方式偵聽各種統計信息，包括計數器和定時器，可以用來采集操作系統、不同數據庫、中間件的數據指標，進行緩存、聚合，并發送到Graphite 等存儲和可視化系統中。

StatsD 具有以下優點：

簡單

首先安裝部署簡單，且StatsD 協議是基于文本的，可以直接寫入和讀取，方便實現各種客戶端和SDK。

Cloud Insight的探針也是采用這些方式，我們有些SDK也是基于StatsD的，目前有Ruby、Python和Java的，在 GitHub 上可以看到。

低耦合性

StatsD 守護進程采取 UDP 這種無狀態的協議，收集指標和應用程序本身之間沒有依賴，不會阻塞應用，不管StatsD的狀態是運行中，還是沒在運行，都不會影響應用程序，應用程序也不關心StatsD是否收到數據。

易集成

StatsD非常容易整合其他組件，可以自己編寫采集業務邏輯，發送到StatsD守護進程即可。也就是說用戶的工作很簡單，只需要按定義好的規則采集數據發送到Stats，然后用Graphite存儲、展示，通過使用Riemann進行報警。

Tcollector

來源于OpenTSDB

Tcollector 是一個采集指標數據并保存到OpenTSDB的框架，你可以使用該框架自己編寫采集的業務邏輯。類似StatsD，運行在客戶端，收集本地的metric信息，推送到OpenTSDB。

Collectd

System statistics collection daemon

存儲到RRD

插件機制（input/output）

簡單報警功能

Collectd即是一個守護進程，也是一個框架，類似StatsD，它性能非常好，采用C語言編寫。Collectd不直接支持從Docker中取數據，但是我們可以自己編寫插件來采集性能指標數據。

Collectd有強大的插件機制，已經實現了包括amqp、rrdtool、graphite、http、kafka、redis、mongodb、OpenTSDB以及CSV文件等在內的各種插件。

在4.3版本之后還支持簡單的基于閾值檢查的報警機制。

cAdvisor是一個用于收集、聚合處理和輸出容器運行指標的守護進程。而且cAdvisor基本算是一個獲取Docker性能數據的標配了吧。

一句命令就可以啟動cAdvisor容器，訪問8080端口即可看到性能指標數據。cAdvisor可以通過storage_driver參數將數據存到influxdb，同時也可以將metric輸出為Prometheus的格式，所以很多自定義Docker監控系統都會采取cAdvisor + Prometheus 的組合。

存儲TSDB

OpenTSDB

Influxdb

RRDTool

Graphite

關于時序列數據庫，可以看附錄中相關的介紹文章。推薦使用OpenTSDB或者Influxdb，簡單對比一下各自特點如下：

OpenTSDB

Java & HBase

易擴展（集群功能強大）

機器多，運維稍顯麻煩

Influxdb

Golang

集群功能不太成熟

有類SQL的查詢語句

單臺即可工作

這兩者都支持自由模式和多維度，非常適合用于采用tag機制的數據模式建模。
開源可視化工具

Graphite

Influxdb + Grafana

Prometheus

光有數據是不夠的，raw data沒有任何意義，我們需要良好的可視化組件來展示數據和數據的內在意義，發揮數據的作用。

我們也可以將數據存儲和展示交給其他開源軟件。

如果你的數據采集和存儲都是自己來完成的，只想使用一個外部的圖形化界面的話，選Grafana應該沒錯，Grafana展現形式非常豐富，配置也很靈活。

以上，先到這里。

下一章，劉斌將為大家介紹 Docker 監控的開原方案，主流 SaaS 服務，及其特點。

超好用的監控軟件 Cloud Insight 不僅能監控 Docker，還能對 Nagios 進行更好的可視化哦~

閱讀更多技術文章，請訪問 OneAPM 官方博客。

本文轉自 OneAPM 官方博客

GPU云服務器云服務器 docker 最常用的監控方案基于docker的混合云部署方案 docker使用指南 webrtc實現單向的視頻監控

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/26564.html

斌哥的 Docker 進階指南

摘要：斌哥是誰劉斌，擁有多年編程經驗，曾參與翻譯過第一本書入門與實踐應用安全權威指南等多本技術書籍，主講過入門與實踐課程的后臺工程師。主要的解決方式就是以或者為單位進行監控通過等方式。過去的一年中，關于 Docker 的話題從未斷過，而如今，從嘗試 Docker 到最終決定使用 Docker 的轉化率依然在逐步升高，關于 Docker 的討論更是有增無減。另一方面，大家的注意力也漸漸從 D...

Ververica 2019-06-28 15:10 評論0 收藏0
必看！java后端，亮劍誅仙（最全知識點）

摘要：鑒于目前大多數服務器環境都是，提前接觸能夠相輔相成。正則也是必須要掌握的一個知識點。有多種創建多線程的方式，不過目前使用線程池的多一些。原創：小姐姐味道（微信公眾號ID：xjjdog），歡迎分享，轉載請保留出處。你可能有所感悟。零散的資料讀了很多，但是很難有提升。到處是干貨，但是并沒什么用，簡單來說就是缺乏系統化。另外，噪音太多，雷同的框架一大把，我不至于全都要去學了吧。這里，我...

陳江龍 2019-08-19 10:34 評論0 收藏0
Docker Swarm在生產環境中的進階指南

摘要：應該如何解決本文將給出若干提示，如何在生產環境中使用。路由匹配服務發現負載均衡跨容器通訊非常可靠。在單個端口上運行一個服務，節點的任意主機都可以訪問，負載均衡完全在后臺實現。上周數人云給大家分享了——《你可能需要的關于Docker Swarm的經驗分享》今天給大家帶來這位作者大大的后續文章——《Docker Swarm在生產環境中的進階指南》當在本地開發環境中使用Docker，或者...

galaxy_robot 2019-06-28 15:46 評論0 收藏0
【戴嘉樂】（進階）基于IPFS和Ngrok構建自維護資源網關

摘要：五參考文獻區塊鏈利用構建自己的去中心化分布式系統相關文章和視頻推薦戴嘉樂入門基于和構建自維護資源網關圓方圓學院匯集大批區塊鏈名師，打造精品的區塊鏈技術課程。作者簡介：戴嘉樂( Mr.Maple ) | 前百度高級研發工程師 | IPFS應用實踐者&布道師|個人網站：https://www.daijiale.cn聯系方式：微信號：daijiale6239。一、背景上篇文章[《（入門...

xiyang 2019-06-27 18:54 評論0 收藏0
從小白程序員一路晉升為大廠高級技術專家我看過哪些書籍？（建議收藏）

摘要：大家好，我是冰河有句話叫做投資啥都不如投資自己的回報率高。馬上就十一國慶假期了，給小伙伴們分享下，從小白程序員到大廠高級技術專家我看過哪些技術類書籍。大家好，我是...

sf_wangchong 2021-09-29 09:35 評論0 收藏0