隨著客戶對(duì)合作廠商能力要求越來越高，已經(jīng)不能滿足于技術(shù)方面的能力，工作內(nèi)容越來越需要業(yè)務(wù)支持，本次分享給大家主要介紹運(yùn)營商CRM系統(tǒng)架構(gòu)及日常運(yùn)維工作中的告警部署、優(yōu)化方式。

本次分享分為三個(gè)部分：

CRM系統(tǒng)架構(gòu)大致可分為三層：

1.Web層：指weblogic服務(wù)，主要包含：一級(jí)BOSS、EUBS服務(wù)、能力開發(fā)平臺(tái)、CRM前臺(tái)web等子系統(tǒng)模塊；

2.tuxedo：主要的業(yè)務(wù)邏輯處理功能，包含：客服、一級(jí)boss、電子渠道、營業(yè)前臺(tái)、后臺(tái)進(jìn)程、接口、信控等功能模塊；

3.數(shù)據(jù)存儲(chǔ)層：主要包含營業(yè)數(shù)據(jù)庫、賬務(wù)數(shù)據(jù)庫、服務(wù)開通庫、coherence、Vsearch、hadoop；其中Vsearch存儲(chǔ)的是各個(gè)業(yè)務(wù)的產(chǎn)品信息，coherence存儲(chǔ)的是用戶的訪問會(huì)話信息，hadoop存儲(chǔ)的是系統(tǒng)采集用戶的二代證信息及人像。

根據(jù)業(yè)務(wù)途徑可以分成以下4個(gè)主要子系統(tǒng)：

CRM營業(yè)前臺(tái)

主要指BOSS（業(yè)務(wù)運(yùn)營支撐）系統(tǒng)的前臺(tái)頁面，用戶通過訪問該頁面進(jìn)行業(yè)務(wù)辦理；

應(yīng)用主要包含：CRM營業(yè)前臺(tái)weblogic服務(wù)，營業(yè)前臺(tái)tuxedo，無紙化weblogic服務(wù)等。

用戶營業(yè)前臺(tái)辦理開戶，在營業(yè)前臺(tái)weblogic服務(wù)采集到的二代身份證及人像信息，分別經(jīng)過后臺(tái)進(jìn)程與無紙化weblogic服務(wù)存放到hadoop；

而產(chǎn)品訂購及語音等通信功能的開通則是在營業(yè)前臺(tái)weblogic服務(wù)進(jìn)行操作后，通過調(diào)用營業(yè)前臺(tái)tuxedo中間件來實(shí)現(xiàn)；

如果是產(chǎn)品訂購的是全網(wǎng)業(yè)務(wù)，還需經(jīng)過一級(jí)BOSS系統(tǒng)處理；

開通語音等通信功能，省支撐的用戶數(shù)據(jù)需要通過服務(wù)開通模塊同步到網(wǎng)管中心。

服務(wù)開通

主要向網(wǎng)管同步用戶數(shù)據(jù)，由網(wǎng)管提供移動(dòng)通信基礎(chǔ)服務(wù)功能；

由tuxedo中間件處理后的數(shù)據(jù)首先會(huì)存放在營業(yè)庫，通過工單復(fù)制進(jìn)程，把工單數(shù)據(jù)從營業(yè)庫同步至服務(wù)開通庫，最后工單發(fā)送進(jìn)程把數(shù)據(jù)同步至網(wǎng)管中心。應(yīng)用主要包含：相關(guān)工單后臺(tái)進(jìn)程。

一級(jí)BOSS

受理全網(wǎng)業(yè)務(wù)；作為發(fā)起方向集團(tuán)或者外圍平臺(tái)廠商發(fā)送交易請(qǐng)求，作為落地方接受并處理集團(tuán)或者外圍廠商平臺(tái)發(fā)送的交易請(qǐng)求；

應(yīng)用主要包含：一級(jí)BOSS業(yè)務(wù)weblogic服務(wù)，一級(jí)BOSS業(yè)務(wù)tuxedo；

外圍平臺(tái)包括支付寶、微信；校訊通、農(nóng)信通等；

一級(jí)boss業(yè)務(wù)從業(yè)務(wù)請(qǐng)求方不同可以分為落地方業(yè)務(wù)與發(fā)起方業(yè)務(wù)；

1.落地方業(yè)務(wù)：

用戶在外圍平臺(tái)辦理業(yè)務(wù)，由一級(jí)BOSS的weblogic服務(wù)接收到服務(wù)請(qǐng)求后，調(diào)用一級(jí)BOSS業(yè)務(wù)的tuxedo中間件，進(jìn)行業(yè)務(wù)處理、數(shù)據(jù)入庫，并反饋業(yè)務(wù)處理結(jié)果，應(yīng)答給外部平臺(tái)，完成整個(gè)落地方業(yè)務(wù)流程；Weblogic服務(wù)：根據(jù)報(bào)文的格式又可以分為T模塊（xml）與R模塊（json）；

2.發(fā)起方業(yè)務(wù)：

用戶在前臺(tái)辦理業(yè)務(wù)，用戶數(shù)據(jù)通過營業(yè)前臺(tái)系統(tǒng)入庫，隨后主要由后臺(tái)進(jìn)程從數(shù)據(jù)庫中抽取數(shù)據(jù)向外部平臺(tái)發(fā)送業(yè)務(wù)辦理請(qǐng)求，收到外部平臺(tái)返回的應(yīng)答，完成整個(gè)發(fā)起方業(yè)務(wù)流程；

電子渠道

主要承接非營業(yè)前臺(tái)途徑受理的本地業(yè)務(wù)，例如短廳辦理，網(wǎng)廳辦理等；

應(yīng)用主要包含：EBUS業(yè)務(wù)weblogic服務(wù)，能力開發(fā)平臺(tái)weblogic服務(wù)，電子渠道tuxedo，客服tuxedo；

外圍平臺(tái)包括短信營業(yè)廳、網(wǎng)上營業(yè)廳、在線公司等；

根據(jù)外圍平臺(tái)承載的業(yè)務(wù)不同，短信營業(yè)廳、網(wǎng)上營業(yè)廳、在線公司等各個(gè)平臺(tái)的業(yè)務(wù)都會(huì)調(diào)用新能力開發(fā)平臺(tái)與EBUS的weblogic服務(wù)；weblogic服務(wù)接收到請(qǐng)求后，再調(diào)用對(duì)應(yīng)的電子渠道及客服tuxedo中間件進(jìn)行業(yè)務(wù)的邏輯處理。

目前整個(gè)CRM系統(tǒng)的告警監(jiān)控工作，在日常部署及處理告警監(jiān)控分兩大類：

1.系統(tǒng)監(jiān)控

性能監(jiān)控:CPU使用率、內(nèi)存使用率、文件系統(tǒng)利用率；

2.業(yè)務(wù)監(jiān)控

進(jìn)程監(jiān)控：進(jìn)程數(shù)異常；

數(shù)據(jù)監(jiān)控：數(shù)據(jù)庫表數(shù)據(jù)積壓、數(shù)據(jù)處理失敗、數(shù)據(jù)處理的及時(shí)性；

日志監(jiān)控：日志報(bào)錯(cuò)信息；

隨著新項(xiàng)目的接入以及為了預(yù)防故障而增加相應(yīng)告警，告警數(shù)量會(huì)越來越多，自然而然的增加了日常工作壓力，怎么來應(yīng)對(duì)越來越多的告警呢？是擺在一線運(yùn)維工作人員面前的一道重要問題。

目前主要的處理方式是每隔一段時(shí)間處理的告警進(jìn)行收集、分析并總結(jié)，上會(huì)討論并確定告警優(yōu)化方案，最終根據(jù)告警優(yōu)化方案，再次部署告警，實(shí)現(xiàn)告警壓降。

告警優(yōu)化主要分為以下4種方式：

1.部署定時(shí)清理任務(wù)；

2.告警處理前移；

3.調(diào)整告警策略及閥值；

4.趨勢告警。

目的

應(yīng)急開機(jī)是為預(yù)防因系統(tǒng)出現(xiàn)異常時(shí)用戶未及時(shí)開機(jī)而導(dǎo)致大面積投訴的情況，通過多種方式將用戶進(jìn)行快速開機(jī)從而恢復(fù)用戶服務(wù)的一套程序，最終目的是避免用戶投訴。

業(yè)務(wù)邏輯

1. 賬務(wù)側(cè)抽取需要進(jìn)行應(yīng)急開機(jī)的數(shù)據(jù)（三種類型：指定號(hào)碼，繳費(fèi)應(yīng)急開機(jī)，服務(wù)開通停機(jī)回?fù)疲迦霠I業(yè)庫一張中間表；

2. 通過應(yīng)急開機(jī)進(jìn)程處理中間表的數(shù)據(jù)，向營業(yè)側(cè)傳輸數(shù)據(jù)；有兩種傳輸模式：營業(yè)信控與服務(wù)開通；

3. 營業(yè)信控模式：應(yīng)急開機(jī)數(shù)據(jù)導(dǎo)入營業(yè)庫工單表，再由營業(yè)工單復(fù)制進(jìn)程與send進(jìn)程從營業(yè)庫同步到服務(wù)開通庫工單表中；

4. 服務(wù)開通模式：應(yīng)急開機(jī)數(shù)據(jù)直接導(dǎo)入服務(wù)開通庫中的工單表中；

5. 服務(wù)開通庫的工單表由對(duì)應(yīng)的HLR進(jìn)程及PROVSION進(jìn)程處理工單數(shù)據(jù)，向網(wǎng)管進(jìn)行數(shù)據(jù)同步。

監(jiān)控

各環(huán)節(jié)的監(jiān)控，以前均是通過手工登錄對(duì)應(yīng)主機(jī)或者物理庫執(zhí)行監(jiān)控腳本的形式進(jìn)行檢查；監(jiān)控鏈條長，形式多樣，純手工操作容易形成顧頭不顧尾的局面，導(dǎo)致部分節(jié)點(diǎn)遺漏監(jiān)控，降低應(yīng)急開機(jī)的及時(shí)性，使應(yīng)急開機(jī)的效果大打折扣。

核心業(yè)務(wù)拓?fù)鋱D

加快核心業(yè)務(wù)流程梳理，建立業(yè)務(wù)拓?fù)鋱D并在自動(dòng)化運(yùn)維平臺(tái)進(jìn)行部署；

運(yùn)維工作自動(dòng)化

梳理日常工作中常態(tài)化的人工操作，編寫腳本，遷移至自動(dòng)化運(yùn)維平臺(tái)；

經(jīng)驗(yàn)積累沉淀轉(zhuǎn)化

故障、告警處理經(jīng)驗(yàn)總結(jié)，形成前置性標(biāo)準(zhǔn)規(guī)范及自檢，加強(qiáng)問題隱患的前置性處理。