筆者從事運(yùn)營商行業(yè)開發(fā)運(yùn)營工作近20年，歷經(jīng)開發(fā)、運(yùn)維、產(chǎn)品等工作崗位。從項(xiàng)目需求分析到開發(fā)代碼交付，再到應(yīng)用上線后的運(yùn)營維護(hù)，均全流程，無死角的擼了一遍。

這其中，運(yùn)維崗待的時(shí)間最長。運(yùn)維人員的苦逼日常，閉上眼睛至今仍像小電影樣的浮現(xiàn)在我的面前。

那些運(yùn)維的日子里，每日不是在加班處理業(yè)務(wù)投訴工單，就是連續(xù)通宵故障處理，沒完沒了的割接、演練、上線中度過。活生生把我從一個(gè)青春活力的白胖子，熬成了一個(gè)苦大仇深的黑胖子。日漸稀少的發(fā)量是我心中永遠(yuǎn)的痛……

運(yùn)維工作除了保障日常系統(tǒng)穩(wěn)定運(yùn)行之外，這些因新業(yè)務(wù)上線帶來的問題單都是需要人一個(gè)一個(gè)的解決的，每一個(gè)問題的解決都是運(yùn)維人通宵達(dá)旦的付出。

回想當(dāng)年維護(hù)的填坑歲月，苦逼場景還是清晰浮現(xiàn)眼前。在那個(gè)缺少工具平臺的年代，你工作的年限，所謂的經(jīng)驗(yàn)，只能是你處理問題的思路更優(yōu)，但是處理解決故障的過程每一步都不能少。

即便是做了N多年的老鳥，碰到上述的業(yè)務(wù)報(bào)障，也只能一個(gè)號碼一個(gè)號碼地去查用戶資料、查業(yè)務(wù)辦理記錄、查工單執(zhí)行記錄、查報(bào)錯(cuò)日志……

再根據(jù)各種資料表、臺帳表、日志信息中的蛛絲馬跡判斷用戶投訴問題產(chǎn)生的原因。

每一個(gè)運(yùn)維苦逼，都不會(huì)忘記他人生第一個(gè)問題的處理過程，這個(gè)過程即忐忑又興奮，搞完之后還有寫一部福爾摩斯探案之業(yè)務(wù)運(yùn)維捉奸記的雄心壯志。

但當(dāng)你日復(fù)一日，年復(fù)一年的做著換湯不換藥的事情時(shí)，那種暴躁感，無時(shí)無刻不包裹著你，讓你即壓抑又面紅耳赤……

無數(shù)個(gè)上線，排障的夜晚都有“世界這么大，我想去看看”的沖動(dòng)。無奈空癟的錢包，不斷掐醒自己的同時(shí)，告訴自己，冷靜，冷靜，要冷靜……

作為一個(gè)有思想的的運(yùn)維人員，必須得想想辦法，不能總是摁著一個(gè)小電影看不是，總干些重復(fù)勞動(dòng)，我就問自己，手痛不？

望著自己手上的老繭，我下定決心，懷揣找人要小電影的心情，去找開發(fā)的小伙伴商量。咱能不能做些自動(dòng)或者半自動(dòng)的處理界面，把投訴報(bào)障工單里需要登錄各平臺查詢的信息，根據(jù)需要自助查詢展示出來。

以此咱就不用每次查一大堆東西，登錄完CRM，登錄ACT，登錄完ACT，登錄JF，再加上相關(guān)業(yè)務(wù)日志，平臺日志。每查詢間的切換耗時(shí)，都可以讓哥看完一個(gè)小電影了。

如果展示的時(shí)候還能把關(guān)鍵信息標(biāo)識加亮展示出來就更好了，再進(jìn)一步，如果能把處理方案，做成依托平臺的動(dòng)態(tài)知識庫直接給咱一個(gè)提示，或者干脆一鍵自動(dòng)處理完報(bào)障，那就更爽了……哈哈哈，事隔多年，我仍清晰記得自己當(dāng)時(shí)說得兩眼放光，仿佛見到佛祖一樣的興奮場景。

我唾沫橫飛地自淫了半小時(shí)，一臉期待地看著開發(fā)小伙伴。他很淡然的將臉從電腦屏幕前向我斜了5度，順帶瞟了一眼，說：“好啊，你和老大說一下，把我手頭這些催命的開發(fā)需求往后挪挪？”

我：“……”

在我轉(zhuǎn)動(dòng)眼球的間隙，小伙伴又轉(zhuǎn)回剛才的5度角繼續(xù)敲代碼，隨帶飄了一句說：“都是賣身的，規(guī)矩大家都懂哈，先找媽咪！”

想起如果能工具化之后，自己可以有大把時(shí)間擼自己喜歡做的事情，我又借著興奮勁兒去找“媽咪”項(xiàng)目經(jīng)理商量。

把剛才和開發(fā)小伙伴叨叨的話，又和媽咪叨叨了一遍，“咱能不能這樣…這樣…這樣？”

媽咪很冷靜，一看就是見過大場面的人，先肯定了我，說“你的想法很好”，接著話鋒一轉(zhuǎn)，“不過運(yùn)維工作內(nèi)容的變動(dòng)多，需求不明確啊！你說的這些工單，每次上線可能導(dǎo)致的問題點(diǎn)都不一樣，要查的東西不一樣，處理過程更不一樣。沒有明確的處理邏輯，怎么弄個(gè)固定流程出來開發(fā)？總不能出一個(gè)問題開發(fā)一個(gè)功能吧。再說，開發(fā)有周期，等功能開發(fā)好上線了，這個(gè)問題熱點(diǎn)都過了，功能不是白費(fèi)了嗎？”

現(xiàn)在想想當(dāng)年媽咪的口活就是好，他這炮彈樣兒的美顏靈魂N連問，讓我瞬間軟了，呃……

自此，一顆為運(yùn)維人做些什么的種子在我的心中埋下了根。本著為運(yùn)維人做些什么的想法，我后來從運(yùn)維崗轉(zhuǎn)到了產(chǎn)品崗。

理想是豐滿的，現(xiàn)實(shí)是骨感的。在自己為運(yùn)維人做些什么的種子長大的過程的，自己也折騰了不少bug出來，讓曾經(jīng)的運(yùn)維同事掀了桌子，但那一刻更堅(jiān)定了自己的初衷。

說個(gè)題外話，雖然開發(fā)和運(yùn)維都很苦逼，但認(rèn)真比對一下，我認(rèn)為沒有工具依托的運(yùn)維是個(gè)更苦逼，更委屈的活兒。問題都不是自己產(chǎn)生的，不但要幫著擦屁股，還要挨罵的永遠(yuǎn)是運(yùn)維人。這種心里的憋屈，沒有體驗(yàn)過的人是不能感同身受的......

在做產(chǎn)品開發(fā)的日子里，每當(dāng)自己稍閑下來的時(shí)候，為運(yùn)維人做些什么的躁動(dòng)仍然燃燒著我，那種感覺就像看了小電影，老婆沒在身邊的感覺一樣。有沒有什么產(chǎn)品方案能減輕一些運(yùn)維人員的苦力，壓力？

基于產(chǎn)品的角度，我重新梳理運(yùn)維工作的現(xiàn)狀和需求痛點(diǎn)，對于日常工作在一線的運(yùn)維人員，需要構(gòu)建一套具備運(yùn)維自助能力平臺，以此滿足日益增長的運(yùn)維需求。

1. 運(yùn)維人員往往不具備開發(fā)環(huán)境，開發(fā)所需要的版本管理、開發(fā)資料在運(yùn)維人員使用的安全環(huán)境中，便捷性是得不到保障的。

2. 運(yùn)維人員的開發(fā)能力大部分聚焦在使用數(shù)據(jù)庫的SQL語句及相關(guān)腳本語言。而開發(fā)一個(gè)完整的系統(tǒng)，從登錄到權(quán)限管理、菜單頁面、后臺功能，再小的麻雀須要五臟俱全，否則難以推廣使用。

3. 基于事務(wù)式的運(yùn)維任務(wù)很多是臨時(shí)性的，很多同類的任務(wù)處理頻次往往隨著一次系統(tǒng)的變更而爆發(fā)，一個(gè)并不長的周期之后，隨著系統(tǒng)的逐漸完善又逐漸降低或再不需要處理，這是咬牙式純項(xiàng)目開發(fā)帶來的一個(gè)窘境。

4. 運(yùn)維人員的工作種類繁多，日常的投訴工單處理、生產(chǎn)數(shù)據(jù)的生命周期管理、各種運(yùn)維報(bào)表（kpi日報(bào)、周報(bào)、月報(bào)等）、系統(tǒng)監(jiān)控巡檢、突發(fā)故障處理等等，留給運(yùn)維人員的余額時(shí)間不足。

5. 目前市面上的自動(dòng)化運(yùn)維工具或平臺主要針對的是paas層的運(yùn)維管理，對于基于業(yè)務(wù)層拉通后的OPS運(yùn)維難以解決。

1、排障過程中，大量數(shù)據(jù)獲取的支撐

運(yùn)維排障過程中所需要訪問的數(shù)據(jù)是海量的，需要連接各種不同業(yè)務(wù)系統(tǒng)中數(shù)據(jù)庫的業(yè)務(wù)數(shù)據(jù)、系統(tǒng)性能指標(biāo)數(shù)據(jù)、日志文件數(shù)據(jù)等來幫助問題的判斷，想要查什么數(shù)據(jù)，都可快速在平臺里獲取到。

TIP：脫敏！脫敏！脫敏！安全之責(zé)不可少啊！

2、零開發(fā)

零開發(fā)！零開發(fā)！零開發(fā)！重要的事情說三遍。對于開發(fā)人員來說，實(shí)現(xiàn)一個(gè)具體的需求功能，開發(fā)代碼也許并沒有那么難，但對于運(yùn)維人員來說，真的是臣妾做不到啊~

3、場景可配置

對于運(yùn)維來說，場景化功能是剛需。場景可能是一個(gè)投訴工單的處理流程；可能是一個(gè)系統(tǒng)故障點(diǎn)的發(fā)現(xiàn)及自愈處理流程；可能是領(lǐng)導(dǎo)交代的一個(gè)取數(shù)任務(wù)；可能是每天要出具一份新業(yè)務(wù)的態(tài)勢報(bào)告。無窮盡的場景不能通過一個(gè)個(gè)的開發(fā)定制來實(shí)現(xiàn)，要能通過通用的功能配置實(shí)現(xiàn)。配置的過程要足夠快捷，且易用性要高，復(fù)用性高。否則問題周期都過了，場景還配不出來，運(yùn)維是會(huì)掀桌子滴~

4、數(shù)據(jù)操作可關(guān)聯(lián)

運(yùn)維在排障查數(shù)據(jù)時(shí)，往往不是只查一個(gè)表的數(shù)據(jù)，而是查完第一張表，再根據(jù)第一張表中的某條記錄再查第二張，第三張、第四張……所需要查看的數(shù)據(jù)隨著業(yè)務(wù)流程的復(fù)雜度而增加，甚至還要查日志、查代碼。所以功能上要實(shí)現(xiàn)數(shù)據(jù)查詢的可關(guān)聯(lián)性，通過參數(shù)化查詢結(jié)果來實(shí)現(xiàn)其他數(shù)據(jù)的查詢。

5、數(shù)據(jù)展現(xiàn)的靈活化

數(shù)據(jù)庫中的數(shù)據(jù)往往是表格化展現(xiàn)的，其中數(shù)據(jù)的變化邏輯難以通過表格形式直觀展現(xiàn)，大量的可視化界面成為高效手段方式。不同的數(shù)據(jù)需要不同的展現(xiàn)形式，需能通過靈活的配置提供不同的數(shù)據(jù)展現(xiàn)。如常規(guī)的柱狀圖、曲線圖、餅圖、雷達(dá)圖、面積圖都是運(yùn)維數(shù)據(jù)展現(xiàn)所應(yīng)該具備的。

6、界面布局配置的靈活化

一個(gè)場景功能的可用性，與界面布局是否合理息息相關(guān)。場景展現(xiàn)是上下結(jié)構(gòu)，還是左右布局，得由運(yùn)維人員自己說了算。不好用的界面操作邏輯，運(yùn)維人員會(huì)說還不如直接查表來得直觀快捷。

7、數(shù)據(jù)分析及處理過程可配置

正常開發(fā)中對于數(shù)據(jù)的使用不只是展現(xiàn)，還需要對數(shù)據(jù)做各種聚合或轉(zhuǎn)換的運(yùn)算操作。開發(fā)人員可以用代碼來實(shí)現(xiàn)，但運(yùn)維人員在不能寫代碼的情況下要實(shí)現(xiàn)數(shù)據(jù)處理，必須得提供一套可配置的通用數(shù)據(jù)處理模塊來實(shí)現(xiàn)。這個(gè)數(shù)據(jù)處理要能做批量數(shù)據(jù)分析處理，還要能做實(shí)時(shí)數(shù)據(jù)分析處理……

8、要能對接自動(dòng)化處理

畢竟咱是做自動(dòng)化產(chǎn)品的公司，各個(gè)場地要隨時(shí)可對接已有運(yùn)維類的產(chǎn)品工具。

9、界面可視化要美觀

是的，這是個(gè)看顏值的時(shí)代……

10、重點(diǎn)信息要能凸顯標(biāo)記

11、要有自配置大屏

此時(shí)我腦海里閃現(xiàn)出前端美女茜茜那能殺死我的眼神，弟弟一抖，不寒而栗，拉住了如脫韁的野馬一般擴(kuò)張的思路。

所以筆者擬定了第一版的場景化運(yùn)維平臺的功能架構(gòu)：

(開發(fā)過程中的艱辛省略5萬字……)

念念不忘，必有反響。筆者所在的團(tuán)隊(duì)終于將第一版的場景化運(yùn)維開發(fā)平臺上線了。

厲害我平哥，人狠話不多。廢話不多說，先給大家看看一些場景效果圖：

上面圖片是通過業(yè)務(wù)鏈大屏配置功能配置出的某業(yè)務(wù)系統(tǒng)的可視化展現(xiàn)，以應(yīng)用及應(yīng)用關(guān)系為主要展現(xiàn)目標(biāo)，展現(xiàn)各應(yīng)用的實(shí)時(shí)運(yùn)行狀態(tài)。

各應(yīng)用節(jié)點(diǎn)上可展現(xiàn)多維度指標(biāo)，如負(fù)載主機(jī)數(shù)量、應(yīng)用實(shí)例數(shù)量、異常實(shí)例數(shù)量、告警數(shù)量等信息；

應(yīng)用節(jié)點(diǎn)連線代表應(yīng)用之間的調(diào)用關(guān)系，以動(dòng)畫連線代表調(diào)用方向。連線上展現(xiàn)的指標(biāo)可自由增加配置，如配置業(yè)務(wù)的調(diào)用總量、調(diào)用失敗率、調(diào)用耗時(shí)等指標(biāo)。

應(yīng)用配置了下鉆展現(xiàn)頁，展現(xiàn)此應(yīng)用的物理部署視圖，包含主機(jī)、應(yīng)用實(shí)例、交換機(jī)、網(wǎng)絡(luò)等層級關(guān)系的展現(xiàn)，以及各實(shí)體的性能指標(biāo)展現(xiàn)。

要特別說明的是，應(yīng)用主機(jī)以及應(yīng)用關(guān)系，都是根據(jù)數(shù)據(jù)自動(dòng)生成，無需手動(dòng)逐一配置，以此大大降低了運(yùn)維人員在配置這種展現(xiàn)圖時(shí)的工作量。

上面的圖表展現(xiàn)，均是通過平臺的kpi日報(bào)功能配置實(shí)現(xiàn)，通過配置數(shù)據(jù)口徑及展現(xiàn)圖表即可實(shí)現(xiàn)運(yùn)維數(shù)據(jù)的可視化soeasy~，媽媽再也不用擔(dān)心我的運(yùn)維了......

圖表之間配置了聯(lián)動(dòng)關(guān)系，點(diǎn)選某個(gè)節(jié)點(diǎn)或某個(gè)曲線中的時(shí)間點(diǎn)數(shù)據(jù)，可自動(dòng)根據(jù)其代表的對象來獲取下鉆的明細(xì)數(shù)據(jù)，圖例中通過指標(biāo)告警快速定位并下鉆到告警業(yè)務(wù)自檢場景。

而各表格之間，可通過配置的下鉆功能和聯(lián)動(dòng)功能，自由跳轉(zhuǎn)查看相關(guān)數(shù)據(jù)。

該產(chǎn)品平臺一切，都圍繞可自由定義這個(gè)目標(biāo)來實(shí)現(xiàn)。

上圖是數(shù)據(jù)分析處理過程，通過底層的通用數(shù)據(jù)處理邏輯來實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理（基于flink平臺的數(shù)據(jù)處理能力相當(dāng)強(qiáng)大，誰用誰知道，哈哈哈~）

各類數(shù)據(jù)指標(biāo)通過配置生成，后臺同樣通過搭建在flink實(shí)時(shí)計(jì)算平臺的通用計(jì)算模塊來實(shí)現(xiàn)數(shù)據(jù)處理。

目前此平臺已在筆者所在的客戶現(xiàn)場上線運(yùn)行。這套系統(tǒng)涵蓋了從自定義數(shù)據(jù)采集，到自定義數(shù)據(jù)處理邏輯，最后到自定義前臺展現(xiàn)的各功能模塊。運(yùn)維人員可通過這套平臺自己搭建所需要的運(yùn)維場景。

目前已實(shí)現(xiàn)的場景包括：

繳費(fèi)不開機(jī)投訴場景

優(yōu)惠計(jì)費(fèi)不準(zhǔn)確投訴場景

業(yè)務(wù)辦理失敗投訴場景

業(yè)務(wù)互斥場景

寬帶業(yè)務(wù)辦理異常場景

各環(huán)節(jié)工單積壓場景

工單應(yīng)急開機(jī)處理場景

數(shù)據(jù)庫巡檢場景

中間件巡檢場景

數(shù)據(jù)庫故障處理場景

業(yè)務(wù)鏈大屏場景

數(shù)據(jù)庫大屏場景

……

以上，是一個(gè)老運(yùn)維人本著為運(yùn)維人做點(diǎn)什么的初心，這些年來和小伙伴們一起迭代出來的階段性成果，寫出來，和大家分享一下，畢竟在這“疫滿人間”的時(shí)刻，我們需要更多的溫暖。

如果你需要了解產(chǎn)品的詳細(xì)信息，請后臺留言。

說好的小視頻，在這里：