摘要：接下來(lái)我們以余額寶為例，重點(diǎn)剖析天弘基金在日志數(shù)據(jù)分析領(lǐng)域是如何突破的此前，天弘基金一直使用開(kāi)源的日志方案，研發(fā)和運(yùn)維人員通過(guò)對(duì)日志數(shù)據(jù)進(jìn)行處理，使用日志文件進(jìn)行查詢檢索。

“雙十一”剛剛結(jié)束，其實(shí)最緊張的不是商鋪理貨，也不是網(wǎng)友緊盯大促商品準(zhǔn)備秒殺，而是網(wǎng)購(gòu)幕后的運(yùn)維人員，他們最擔(dān)心：什么網(wǎng)絡(luò)中斷、應(yīng)用卡頓、響應(yīng)速度慢，服務(wù)器宕機(jī)……

雙十一作為電商 IT 部門(mén)的頭等大事，大促前，運(yùn)維人員就需要早早地做好多套預(yù)備方案，并時(shí)刻緊繃著神經(jīng)，經(jīng)歷著上百次模擬演練。他們?cè)诤蠖擞卸嗌俨幻卟恍莸囊雇恚坏枚?/p>

看似簡(jiǎn)單的雙十一背后牽扯到是包括支付、架構(gòu)、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)、運(yùn)維、電力、客服、物流等整個(gè)商業(yè)配套基礎(chǔ)設(shè)施的協(xié)同和考驗(yàn)。

雙十一大促這些年，運(yùn)維領(lǐng)域邁過(guò)了哪些坑？智能化運(yùn)維初露端倪的今天，企業(yè)又該如何布局？帶著這些疑問(wèn)，Info 采訪了袋鼠云首席運(yùn)維專家林杰，他此前支持過(guò)淘寶網(wǎng)，天貓，共享業(yè)務(wù)，無(wú)線事業(yè)手機(jī)淘寶，聚劃算等 BU 業(yè)務(wù)運(yùn)維，對(duì)運(yùn)維領(lǐng)域有著自己獨(dú)到的見(jiàn)解。

雙十一大促這些年 ?運(yùn)維邁過(guò)的坑 ?

林杰回憶：天貓雙十一大促最早開(kāi)始于 2009 年，那時(shí)候還是淘寶商城，一天的 GMV 只有幾千萬(wàn)，而且還沒(méi)有零點(diǎn)全民瘋搶的概念。在大促前工程師們基本上會(huì)根據(jù)各自的經(jīng)驗(yàn)判斷，比如服務(wù)器的當(dāng)前負(fù)載、應(yīng)用的當(dāng)前 RT 和 QPS，判斷每臺(tái)服務(wù)器較大能支撐多少能力等，然后幾個(gè)人討論后就決策拍板，某某核心應(yīng)用各自要加多少臺(tái)服務(wù)器，到底要加多少服務(wù)器，實(shí)際上大家的心里沒(méi)底，實(shí)在不放心臨時(shí)再多申請(qǐng)擴(kuò)容。總之這個(gè)階段業(yè)務(wù)量也小，也能應(yīng)付過(guò)去。

后來(lái)幾年隨著天貓品牌的提升，雙十一大促逐年爆發(fā)，原來(lái)的運(yùn)維方式已經(jīng)無(wú)法適用。業(yè)務(wù)發(fā)展迅速，后端的應(yīng)用數(shù)量也大大增加，各個(gè)應(yīng)用系統(tǒng)之間的調(diào)用鏈路錯(cuò)綜復(fù)雜。大促前到底要準(zhǔn)備擴(kuò)容多少資源？不能拍腦袋熱，因?yàn)槟闵暾?qǐng)資源太多會(huì)可能被拒絕，申請(qǐng)少了你要承擔(dān)更大的風(fēng)險(xiǎn)。這時(shí)候我們是用線上壓測(cè)的方式來(lái)解決，比如可以直接在生產(chǎn)環(huán)境抽取 1 臺(tái)服務(wù)器，通過(guò)模擬回放或者直接引入多倍流量做壓測(cè)，根據(jù)壓測(cè)結(jié)果計(jì)算出單臺(tái)服務(wù)器的較大可承載能力，然后用數(shù)字來(lái)說(shuō)話，去申請(qǐng)擴(kuò)容。還有就是即使容量規(guī)劃做到位了，但在零點(diǎn)峰值的時(shí)候還是可能會(huì)超出預(yù)期，系統(tǒng)還是會(huì)擠爆。所以又引入了限流和降級(jí)，限流就是對(duì)各個(gè)應(yīng)用設(shè)置一個(gè)較大閾值，超過(guò)閾值就立刻拒絕新的請(qǐng)求，這樣的好處就是保護(hù)應(yīng)用，避免雪崩。還有就是降級(jí)，由于應(yīng)用太多，在大促的期間，可以關(guān)閉部分非核心功能，保證交易主流程的能力較大化。那個(gè)階段的壓測(cè)也不是完全較精確的，主要問(wèn)題是壓測(cè)的局限性，只是對(duì)某個(gè)應(yīng)用做多帶帶壓測(cè)，但是應(yīng)用之間是有依賴有關(guān)聯(lián)的，特別是一些共享服務(wù)中心，基本上被所有應(yīng)用都依賴調(diào)用，那怎么辦呢？后來(lái)幾年時(shí)間又研發(fā)出新的壓測(cè)工具，全鏈路壓測(cè)。這個(gè)對(duì)于容量規(guī)劃來(lái)說(shuō)，是全新的思路，直接在生產(chǎn)環(huán)境上通過(guò)模擬復(fù)制產(chǎn)生大批的流量，每個(gè)環(huán)節(jié)都會(huì)被壓測(cè)到，并有相應(yīng)的監(jiān)控系統(tǒng)配套，來(lái)找出瓶頸點(diǎn)在哪里，并迅速優(yōu)化。而且這個(gè)過(guò)程被自動(dòng)化完成。

可見(jiàn)，自動(dòng)化運(yùn)維是大勢(shì)所趨。

零點(diǎn)瘋搶背后的運(yùn)籌帷幄 ?

現(xiàn)在的電商雙十一大促活動(dòng)仍舊延續(xù)零點(diǎn)瘋搶模式，對(duì)于應(yīng)用系統(tǒng)保障來(lái)說(shuō)，能否順利扛過(guò)前 15 分鐘，甚至是前幾分鐘，成為最核心的保障任務(wù)。林杰給出了以下幾點(diǎn)建議：

a. 容量規(guī)劃。 盡可能在生產(chǎn)環(huán)境做壓測(cè)，只有經(jīng)歷過(guò)壓測(cè)，心里才會(huì)有底。

b. 關(guān)鍵應(yīng)用要支持限流。 零點(diǎn)全民瘋狂的流量很可能會(huì)超出預(yù)期，只有設(shè)置好限流才能保護(hù)好自身應(yīng)用，否則出現(xiàn)雪崩式連鎖反應(yīng)。

c. 對(duì)非核心功能做降級(jí)。 每次雙十一會(huì)投入大量的資源，基本會(huì)往核心交易類應(yīng)用傾斜，那么非核心功能的降級(jí)一定程度上是可接受的。

d. 應(yīng)急預(yù)案。 對(duì)可能發(fā)生的異常狀況提前準(zhǔn)備。

雙十一大促是最典型的彈性場(chǎng)景 ?

彈性是云計(jì)算的較大優(yōu)勢(shì)，而大促是最典型的彈性場(chǎng)景。

隨著云計(jì)算特別是公有云的普及，現(xiàn)在的運(yùn)維人員基本上無(wú)需關(guān)注機(jī)房、網(wǎng)絡(luò)、操作系統(tǒng)等底層設(shè)施。在不斷地演練后，如今的電商平臺(tái)早已采用彈性可擴(kuò)展的云計(jì)算平臺(tái)，配合分布式數(shù)據(jù)，高效的 CDN 分發(fā)來(lái)實(shí)現(xiàn)負(fù)載均衡，避免在雙十一凌晨高并發(fā)狀態(tài)下崩盤(pán)。運(yùn)維人員將更多精力轉(zhuǎn)移到快速上線，快速迭代，去支持業(yè)務(wù)發(fā)展。

大促活動(dòng)的流量跟日常完全不在一個(gè)量級(jí)，完全可以利用云資源的按需使用，來(lái)達(dá)到擴(kuò)容的需求，而且在成本上是巨大的節(jié)省。除了擴(kuò)容以外，當(dāng)然還需要準(zhǔn)備應(yīng)急預(yù)案。整理出當(dāng)天可能出現(xiàn)的異常情況，提前預(yù)演。

去年天貓雙十一開(kāi)場(chǎng)僅僅十分鐘，世界支付紀(jì)錄被再次刷新。支付寶公布的數(shù)據(jù)顯示，在零點(diǎn) 9 分 39 秒，支付寶的支付峰值達(dá)到 12 萬(wàn)筆／秒，是前年的 1.4 倍，刷新了去年創(chuàng)下的峰值紀(jì)錄。在支付方式的選擇上，花唄和余額寶成為非常受網(wǎng)友歡迎的支付方式，筆數(shù)占比分別高達(dá) 29% 和 18% 。

經(jīng)得起巨額交易，玩得起光速秒殺，技術(shù)系統(tǒng)抗得住，收益率流動(dòng)性各種穩(wěn)妥……只有經(jīng)得起雙十一的終極考驗(yàn)的才算是真正的神器！

天弘基金基于日志數(shù)據(jù)分析的高效運(yùn)維 ?

對(duì)于天弘基金來(lái)說(shuō)，如何確保余額寶在雙十一的流動(dòng)性和收益率平穩(wěn)是一大挑戰(zhàn)。

線上系統(tǒng)最常規(guī)的問(wèn)題定位方式，就是日志分析了。接下來(lái)我們以余額寶為例，重點(diǎn)剖析天弘基金在日志數(shù)據(jù)分析領(lǐng)域是如何突破的？

此前，天弘基金一直使用開(kāi)源的 ELK 日志方案，研發(fā)和運(yùn)維人員通過(guò) ELK 對(duì)日志數(shù)據(jù)進(jìn)行處理，使用日志文件進(jìn)行查詢檢索。隨著應(yīng)用場(chǎng)景的不斷深入，以及內(nèi)部人員需求的不斷增加，天弘基金希望通過(guò)日志分析來(lái)解決運(yùn)維和應(yīng)用相關(guān)的新問(wèn)題，在這方面，選擇和袋鼠云合作。具體包括以下幾個(gè)方面：

一、數(shù)據(jù)脫敏 ?

天弘基金存有大量的個(gè)人用戶信息，日志文件中都會(huì)保留個(gè)人和銀行卡四要素信息，這些數(shù)據(jù)都屬于個(gè)人隱私，原有 ELK 方案無(wú)法屏蔽這些敏感數(shù)據(jù)，不能從根本上解決問(wèn)題。以往開(kāi)發(fā)人員需要查看日志的時(shí)候，旁邊都必須跟著一個(gè)運(yùn)維人員，在運(yùn)維人員的監(jiān)督下才可以查看日志。僅僅在查日志這樣一個(gè)簡(jiǎn)單過(guò)程中，都需要多浪費(fèi)一個(gè)運(yùn)維人員的時(shí)間，不僅協(xié)同工作效率低，且不能解放運(yùn)維人員的監(jiān)督工作。

袋鼠云日志數(shù)據(jù)脫敏功能，可以通過(guò)簡(jiǎn)單的設(shè)置解決這一問(wèn)題。安全管理員選擇日志文件中需要脫敏的字段，以表達(dá)式匹配的方式進(jìn)行轉(zhuǎn)換，系統(tǒng)將自動(dòng)過(guò)濾轉(zhuǎn)換成脫敏后的信息，同時(shí)，結(jié)合權(quán)限控制功能，對(duì)無(wú)權(quán)查看日志原文的用戶自動(dòng)屏蔽敏感數(shù)據(jù)信息。

金融客戶對(duì)日志中的敏感數(shù)據(jù)進(jìn)行脫敏是常見(jiàn)需求。諸如銀行卡、身份證、手機(jī)號(hào)等等，標(biāo)識(shí)用戶身份的信息脫敏。袋鼠云日志除了支持這些常規(guī)數(shù)據(jù)的脫敏，還支持自定義脫敏規(guī)則。通過(guò)自定義脫敏規(guī)則，可以增量添加用戶所需的任意脫敏規(guī)則。

二、采集資源管控 ?

天弘基金所有線上業(yè)務(wù)的服務(wù)器資源，都必須保證 24 小時(shí)不間斷對(duì)外提供服務(wù)，并且業(yè)務(wù)和應(yīng)用程序都要保證高可用。任何外部程序或第三方應(yīng)用都不能影響生產(chǎn)環(huán)境的穩(wěn)定運(yùn)行，所有部署在服務(wù)器上的程序，都不能對(duì)應(yīng)用系統(tǒng)具有侵入性。同時(shí)，部署在服務(wù)器上的采集程序也要經(jīng)過(guò)嚴(yán)格的壓力和性能測(cè)試，確保采集程序不會(huì)對(duì)業(yè)務(wù)系統(tǒng)產(chǎn)生任何影響。

袋鼠云日志在產(chǎn)品設(shè)計(jì)之初就開(kāi)始考慮如何較大程度降低日志采集客戶端對(duì)服務(wù)器的影響。云日志通過(guò)對(duì) Agent 采集程序的資源管控，從資源限制到異常終止提供安全保障。

第一層：資源限制

袋鼠云日志將 Agent 的運(yùn)行占用資源進(jìn)行嚴(yán)格限制，例如：CPU 占用率不能超過(guò) 5%，內(nèi)存占用率不能超過(guò) 100M，帶寬占用不能超過(guò) 500KB/s，該閾值可以通過(guò)頁(yè)面自由定制。一旦資源限制開(kāi)啟，Agent 將會(huì)在該閾值允許范圍內(nèi)運(yùn)行。如果有日志量暴增的情況發(fā)生時(shí)，Agent 也會(huì)自動(dòng)進(jìn)行資源抑制。

第二層：Agent 自刎

當(dāng)發(fā)生極為特殊的狀況，導(dǎo)致資源限制失效，Agent 占用資源超出設(shè)定閾值，袋鼠云日志的 Agent 會(huì)通過(guò)自刎機(jī)制將進(jìn)程終止，充分保障業(yè)務(wù)系統(tǒng)的安全性。在系統(tǒng)穩(wěn)定后，重啟并恢復(fù) Agent，可將之前遺漏的日志進(jìn)行重新采集，保證日志數(shù)據(jù)不丟失。

三、調(diào)用鏈路分析 ?

天弘基金的業(yè)務(wù)系統(tǒng)采用分布式架構(gòu)設(shè)計(jì)，并引入螞蟻金融云的 Sofa 框架進(jìn)行開(kāi)發(fā)，Sofa 框架可以通過(guò)配置來(lái)實(shí)現(xiàn)日志文件的生成，每個(gè)系統(tǒng)都生成大量的調(diào)用鏈路日志。這些日志原本沒(méi)有利用價(jià)值，但通過(guò)日志分析可以發(fā)現(xiàn)，基于日志的分布式調(diào)用跟蹤系統(tǒng)，其關(guān)鍵核心在于調(diào)用鏈，為每個(gè)請(qǐng)求生成全局的 ID（Traceld），通過(guò)它將不同系統(tǒng)的“孤立的”調(diào)用信息關(guān)聯(lián)在一起，還原出更多有價(jià)值的信息。

如何利用這些日志來(lái)幫助用戶進(jìn)行分析是云日志要解決的問(wèn)題，經(jīng)過(guò)一段時(shí)間對(duì) Sofa 日志文件的研究，袋鼠云日志成功將其中的調(diào)用鏈路進(jìn)行解析，以可視化的方式為用戶呈現(xiàn)各中心之間的調(diào)用關(guān)系，以及接口的調(diào)用成功失敗次數(shù)、調(diào)用耗時(shí)等關(guān)鍵信息。

調(diào)用鏈路具體的應(yīng)用場(chǎng)景包括以下幾個(gè)方面：

A. 定位異常統(tǒng)計(jì)耗時(shí)

通過(guò)調(diào)用鏈路在業(yè)務(wù)異常日志的錯(cuò)誤信息中找到 TraceID，在系統(tǒng)中可以看到調(diào)用鏈中具體的情況，在調(diào)用鏈上更加直觀地定位到問(wèn)題，層層排查后確定問(wèn)題的所在。

B. 調(diào)用鏈下鉆報(bào)表

對(duì)于分布式調(diào)用跟蹤系統(tǒng)而言，不僅僅提供調(diào)用鏈功能，同時(shí)可以監(jiān)控所有中間件的具體情況。因此，在形成調(diào)用鏈的過(guò)程中也會(huì)形成一份詳細(xì)的調(diào)用監(jiān)控報(bào)表，與其他監(jiān)控的不同之處在于：該監(jiān)控報(bào)表是帶有上下鉆取功能。因?yàn)檎{(diào)用鏈可以形成各種維度的報(bào)表，不僅可以看到服務(wù)的情況，還可以查看其調(diào)用服務(wù)的情況，掌握清晰的調(diào)用鏈信息。

C. 全鏈路分析

全鏈路與調(diào)用鏈的區(qū)別是：全鏈路是一個(gè)應(yīng)用全局的概念，而調(diào)用鏈?zhǔn)菃误w調(diào)用的過(guò)程。分析全鏈路的價(jià)值主要體現(xiàn)在以下幾點(diǎn)：

鏈路拓?fù)湫螒B(tài)分析： 通過(guò)應(yīng)用之間的調(diào)用拓?fù)潢P(guān)系，分析調(diào)用過(guò)程的來(lái)源和去向，識(shí)別不合理調(diào)用來(lái)源；

依賴梳理和容量估算： 識(shí)別易故障點(diǎn) / 性能瓶頸、接口出錯(cuò)率等問(wèn)題；根據(jù)鏈路調(diào)用比例、峰值 QPS 評(píng)估容量；

研發(fā)和管理人員可以快速通過(guò)以上視圖定位故障或問(wèn)題節(jié)點(diǎn)，并通過(guò)節(jié)點(diǎn)查看詳細(xì)的接口調(diào)用分析與統(tǒng)計(jì)數(shù)據(jù)，用戶可以很方便的找出問(wèn)題所在。

全鏈路分析跟蹤的較大優(yōu)勢(shì)在于，所有分布式應(yīng)用之間的關(guān)系都是透明的，每個(gè)交易或訂單請(qǐng)求在日志分析的基礎(chǔ)上，都可以進(jìn)行追本溯源，無(wú)需人工進(jìn)行協(xié)查，有效降低運(yùn)維和研發(fā)人員的排障時(shí)間成本。

智能運(yùn)維要借助數(shù)據(jù)和算法才能實(shí)現(xiàn) ?

運(yùn)維的發(fā)展階段經(jīng)歷了從標(biāo)準(zhǔn)化、工具化、自動(dòng)化、到現(xiàn)在初露端倪的智能化，每個(gè)階段的發(fā)展都代表了生產(chǎn)力和效率的大幅提升，整個(gè)趨勢(shì)是不可避免的。智能時(shí)代的運(yùn)維不是要讓運(yùn)維人員失業(yè)，而是對(duì)運(yùn)維效率的提高有著極大的訴求，比如如何在錯(cuò)綜復(fù)雜的環(huán)境中快速定位問(wèn)題、root cause、甚至是故障預(yù)測(cè)，避免發(fā)生故障，保障應(yīng)用穩(wěn)定性。

林杰認(rèn)為：智能運(yùn)維要借助數(shù)據(jù) (運(yùn)維數(shù)據(jù)) 和算法才能實(shí)現(xiàn)。首先運(yùn)維能力的發(fā)展不是直接跳到智能運(yùn)維階段的，必然經(jīng)過(guò)標(biāo)準(zhǔn)化、工具化、到自動(dòng)化的發(fā)展過(guò)程，只有高度完善的自動(dòng)化才具備基礎(chǔ)能力。其次就是數(shù)據(jù)積累，需要大量的運(yùn)維數(shù)據(jù)，可以是日志數(shù)據(jù)、網(wǎng)絡(luò)抓包數(shù)據(jù)、數(shù)據(jù)庫(kù)數(shù)據(jù)等等。還有日常運(yùn)維產(chǎn)生標(biāo)注的數(shù)據(jù)，比如出一次故障后，運(yùn)維人員會(huì)記錄下過(guò)程，這個(gè)過(guò)程會(huì)反饋到系統(tǒng)，反過(guò)來(lái)提升運(yùn)維水平。最后就是算法，到底采用哪類算法模型做持續(xù)優(yōu)化。

天弘基金在運(yùn)維部門(mén)希望通過(guò)服務(wù)器性能日志采集分析，實(shí)時(shí)監(jiān)控應(yīng)用系統(tǒng)基礎(chǔ)資源的使用情況，通過(guò)采集客戶端 Agent 收集服務(wù)器和集群組件的 CPU、內(nèi)存使用率，以可視化形式展示資源運(yùn)行狀況。

而袋鼠云智能運(yùn)維解決方案基于自研的數(shù)據(jù)庫(kù)管控、日志分析和大數(shù)據(jù)平臺(tái)，可為天弘基金 (余額寶) 提供整體的運(yùn)維解決方案。目前一期已接入數(shù)十個(gè)核心應(yīng)用，服務(wù)器規(guī)模數(shù)百臺(tái)，日志數(shù)據(jù)日增量達(dá)到 T 級(jí)規(guī)模，幫助其實(shí)現(xiàn)了日志集中管理、日志分析、業(yè)務(wù)全鏈路、故障定位、數(shù)據(jù)脫敏等應(yīng)用場(chǎng)景。故障發(fā)現(xiàn)、定位及恢復(fù)效率大大提高，提升系統(tǒng)穩(wěn)定性。

據(jù)悉，天弘基金云日志平臺(tái)項(xiàng)目已開(kāi)始進(jìn)行內(nèi)部推廣，在系統(tǒng)正式運(yùn)行期間得到了用戶認(rèn)可，對(duì)用戶的具體價(jià)值體現(xiàn)在以下幾個(gè)方面：

運(yùn)維人員：數(shù)據(jù)脫敏功能幫助運(yùn)維人員解放人力；采集資源管控功能可以防止 Agent 程序?qū)Ψ?wù)器和應(yīng)用產(chǎn)生影響，有效避免災(zāi)難性故障發(fā)生。

研發(fā)人員：日志查詢功能可方便快捷的查詢?nèi)罩疚募徽{(diào)用鏈分析幫助研發(fā)人員快速定位故障原因和問(wèn)題點(diǎn)，協(xié)助研發(fā)團(tuán)隊(duì)優(yōu)化系統(tǒng)代碼并進(jìn)行架構(gòu)治理。

業(yè)務(wù)人員：監(jiān)控告警功能可及時(shí)發(fā)現(xiàn)業(yè)務(wù)故障，較大程度上降低故障響應(yīng)時(shí)間，提升用戶服務(wù)體驗(yàn)。

管理人員：智能運(yùn)維可實(shí)時(shí)掌握服務(wù)資源運(yùn)行情況，并能夠預(yù)測(cè)集群水位，提供基礎(chǔ)資源擴(kuò)容建議。

寫(xiě)在最后：

截至 11 月 12 日零點(diǎn)，2017 年天貓“ 雙十一 ”交易額定格在 1682.69 億元人民幣。不斷創(chuàng)新高的銷售額、交易峰值、支付峰值，這些驚人數(shù)字的背后倚仗的是怎樣的技術(shù)體系？智能化正逐漸走入 IT 行業(yè)乃至社會(huì)生活的各個(gè)方面。未來(lái)，利用大數(shù)據(jù)關(guān)聯(lián)分析與機(jī)器學(xué)習(xí)技術(shù)為運(yùn)維系統(tǒng)賦予人工智能，提供從故障預(yù)防到故障定位、再到故障閉環(huán)的智能保障能力。或許到那個(gè)時(shí)候，運(yùn)維工程師也可以輕松玩轉(zhuǎn)雙十一，妥妥的購(gòu)物買買買啦！