中型企業(yè)的運(yùn)維平臺(tái)

jaysun 發(fā)布于2019-05-28 16:55 / 1292人閱讀

摘要：大部分小企業(yè)的運(yùn)維就是加一些腳本就可以搞定了。極端大型的企業(yè)，比如，比如騰訊，百度等，都有一套非常完善和復(fù)雜的運(yùn)維平臺(tái)。做一個(gè)這樣的運(yùn)維平臺(tái)是不容易的。

這是一個(gè)未經(jīng)驗(yàn)證的假設(shè)，just a dump of my current thought。

大部分小企業(yè)的運(yùn)維就是 ssh 加一些 fabric 腳本就可以搞定了。極端大型的企業(yè)，比如 google twitter，比如騰訊 SNG，百度等，都有一套非常完善和復(fù)雜的運(yùn)維平臺(tái)。我認(rèn)為，這里存在一個(gè)潛在的市場(chǎng)機(jī)會(huì)，那就是對(duì)于那些中型企業(yè)（比如機(jī)器數(shù)量大于100，小于1000），他們的集群規(guī)模已經(jīng)使得手工加腳本管理變得有些痛苦，但是還不足夠痛苦到老板愿意花錢(qián)雇一個(gè)全職的運(yùn)維開(kāi)發(fā)的團(tuán)隊(duì)的地步。如果我們可以把 google 規(guī)模的運(yùn)維平臺(tái)，讓這些中型企業(yè)“低成本”的方式接入，收取小于一個(gè)全職運(yùn)維開(kāi)發(fā)團(tuán)隊(duì)工資的費(fèi)用，那么就可以有利可圖。

假設(shè)一：google式的集群管理平臺(tái)比中型公司自己拿開(kāi)源方案攢出來(lái)的要好用

一鍵式發(fā)布。全景式儀表盤(pán)。各種自動(dòng)故障替換。
提供強(qiáng)大功能的同時(shí)，不帶來(lái)特別高的管理復(fù)雜性（出問(wèn)題了調(diào)試定位困難），也不帶來(lái)特別高的學(xué)習(xí)使用成本。
做一個(gè)這樣的運(yùn)維平臺(tái)是不容易的。

假設(shè)二：可以低成本的接入

如果接入意味著每一個(gè)功能都需要運(yùn)維寫(xiě)一堆腳本，設(shè)置開(kāi)發(fā)要按照集群管理方式進(jìn)行源代碼的改造，那么就不能叫低成本接入。如果監(jiān)控告警需要按照規(guī)矩在代碼里埋特定的上報(bào)代碼，需要配置一堆復(fù)雜的參數(shù)，那么也不能叫低成本接入。

關(guān)鍵技術(shù)一：統(tǒng)一的版本交付方式
運(yùn)維平臺(tái)無(wú)非就是干這么幾件事情，配置文件修改，進(jìn)程起停，以及監(jiān)控告警。進(jìn)程起停最困難的一個(gè)步驟是讓把進(jìn)程需要的版本包安裝好。在沒(méi)有 docker 之前，這是一件非常困難的事情。一個(gè)進(jìn)程有無(wú)數(shù)的依賴(lài)包，python/ruby/java 這個(gè)級(jí)別的，也有操作系統(tǒng)級(jí)別的 deb/rpm。docker 使得版本交付變成了集裝箱的模式，一個(gè)容器把所有的依賴(lài)包都包含進(jìn)去了。進(jìn)程拉起變成了一個(gè)很容易標(biāo)準(zhǔn)化的操作。

關(guān)鍵技術(shù)二：動(dòng)態(tài)服務(wù)路由托管技術(shù)
運(yùn)維里最困難的就是不同ip之間的服務(wù)依賴(lài)管理。當(dāng)一個(gè)ip要被下掉的時(shí)候，一堆相關(guān)聯(lián)的依賴(lài)服務(wù)需要更新配置文件。smartstack 是 airbnb 開(kāi)源的動(dòng)態(tài)路由托管方案，可以讓兩個(gè)ip之間不再緊耦合的綁定在一起。一個(gè)ip要下掉，只需要在動(dòng)態(tài)路由里做一下替換就可以了。詳情可以看他們的博客：http://nerds.airbnb.com/smartstack-service-discovery-cloud/
如果你認(rèn)為這種做法是劍走偏鋒，只適合小公司那你就錯(cuò)了。google開(kāi)源的容器管理方案用的是同樣的技術(shù)：https://github.com/GoogleCloudPlatform/kubernetes/blob/master/docs/ser...
當(dāng)進(jìn)程和端口全部托管給運(yùn)維平臺(tái)之后，運(yùn)維平臺(tái)可以拿這個(gè)把整個(gè)發(fā)布變更的自動(dòng)化體系都建立起來(lái)。

關(guān)鍵技術(shù)三：通用監(jiān)控平臺(tái)
以 datadog 為代表的新一代監(jiān)控公司，提供了靈活schema的時(shí)間序列采集存儲(chǔ)和告警方案。一套監(jiān)控平臺(tái)，可以給你的cpu使用率告警，也可以給你的網(wǎng)站的訪(fǎng)問(wèn)量異常下跌告警。無(wú)論業(yè)務(wù)領(lǐng)域如何，通用監(jiān)控平臺(tái)提供的多維度，多值列的采集存儲(chǔ)方案，可以讓你只要把數(shù)據(jù)報(bào)上來(lái)就可以把一切監(jiān)控好。
底層的核心技術(shù)是一個(gè) data pipeline，加上一個(gè)基于 lucene/elasticsearch 的時(shí)間序列數(shù)據(jù)庫(kù)。監(jiān)控是最容易被中型公司外包出去的業(yè)務(wù)，所以這方面的創(chuàng)業(yè)公司也最多。但是中國(guó)的國(guó)情是網(wǎng)絡(luò)傳輸成本大于計(jì)算成本，所以如何在客戶(hù)計(jì)算中心內(nèi)完成采集，計(jì)算存儲(chǔ)，而不是把源數(shù)據(jù)都發(fā)過(guò)來(lái)是一個(gè)關(guān)鍵問(wèn)題。

關(guān)鍵技術(shù)四：通用異常檢測(cè)
傳統(tǒng)的監(jiān)控平臺(tái)需要運(yùn)維配置各種閾值。理想中的智能數(shù)據(jù)中心，用戶(hù)只需要把數(shù)據(jù)源指定好。剩下的采集，上報(bào)存儲(chǔ)，異常檢測(cè)都是自動(dòng)的。根據(jù)各種算法，利用數(shù)據(jù)的相關(guān)性和周期性自動(dòng)給出異常告警，無(wú)需運(yùn)維再去配置閾值。

總結(jié)：
當(dāng)市場(chǎng)不再被幾個(gè)巨型巨頭占據(jù)，一批中型公司崛起的時(shí)候，當(dāng)這些中型公司的架構(gòu)開(kāi)始向 micro-service，scale out 的方向發(fā)展的時(shí)候，當(dāng) docker 等技術(shù)讓“低成本”標(biāo)準(zhǔn)化接入變成可能的時(shí)候，這三個(gè)條件將迸發(fā)出一個(gè)運(yùn)維平臺(tái)服務(wù)（ops platform as a service）的市場(chǎng)。