摘要：本篇文章來自于騰訊和共同舉辦的技術(shù)開放日后臺專場出品人傅鴻城的分享，由壹佰案例整理編輯。對于騰訊而言，后臺服務(wù)可用性都是四個九，四個九轉(zhuǎn)化為時間就要求一年內(nèi)的故障時間不能超過分鐘。

本篇文章來自于騰訊SNG和msup共同舉辦的技術(shù)開放日后臺專場出品人傅鴻城的分享，由壹佰案例整理編輯。原文發(fā)布在壹佰案例。

引言

作為本次技術(shù)開放日后臺架構(gòu)專場的出品人我今天給大家?guī)怼稑?gòu)造高可靠海量用戶服務(wù)-SNG數(shù)億級日活躍業(yè)務(wù)后臺核心技術(shù)揭秘》，一起探討怎么從可用性的維度提升海量服務(wù)的可靠性及海量服務(wù)的故障處理方式，包括：
SNG后臺架構(gòu)的概覽；
面向海量服務(wù)的設(shè)計原則。騰訊海量服務(wù)的后臺設(shè)計一般通用的解決方案是什么，包括如何提升海量服務(wù)的高可用性，如何從架構(gòu)層、產(chǎn)品層、運維層提升服務(wù)的合理性；
后臺服務(wù)故障解決思路

SNG業(yè)務(wù)情況

SNG是騰訊基于社交的業(yè)務(wù)群，包括QQ、QZone、QQ音樂、騰訊云、K歌、企鵝MV、全民影帝、天天P圖等眾多業(yè)務(wù)。根據(jù)SNG后臺架構(gòu)從業(yè)務(wù)邏輯、數(shù)據(jù)層面、運維包括整個可用性方面的星級評定：

QQ是騰訊持續(xù)了16年的業(yè)務(wù)，它的業(yè)務(wù)非常復(fù)雜，從通訊角度主要是消息存儲和轉(zhuǎn)發(fā)，QQ團(tuán)隊致力于打造一個永不宕機的服務(wù)。

QZone一直是中國社交產(chǎn)品的領(lǐng)航者，是騰訊第一個博士Ross總在負(fù)責(zé)的業(yè)務(wù)，前端需要高性能的接入服務(wù)器，它的移動端通過框架WNS逐漸開放到騰訊云上，第三方開發(fā)商也可以用到 QZone高性能的基礎(chǔ)框架。

QQ音樂主要涉及流媒體點播、MV體系、海量正版知識庫建設(shè)等，目前已經(jīng)DAU對外我們已經(jīng)宣布過億，是國內(nèi)人氣最旺的領(lǐng)先互聯(lián)網(wǎng)音樂平臺。

騰訊云有著騰訊最優(yōu)秀的海量服務(wù)解決能力，給各種2B運營商提供運營化平臺，可以節(jié)省創(chuàng)業(yè)公司特別是中小型初創(chuàng)公司大量研發(fā)成本，在做的應(yīng)該有不少是創(chuàng)業(yè)者，歡迎來用騰訊云產(chǎn)品。

全民K歌，兩年前Ross總從空間過來兼任數(shù)字音樂部后開始啟動團(tuán)隊做的，在推出不到兩年的時間目前注冊用戶已遠(yuǎn)超競品，在業(yè)務(wù)邏輯方面主要涉及大量的UGC流媒體上傳存儲和分發(fā)、feeds管理和互動、知識庫管理等，大家沒安裝的可以回去盡快安裝一個，里面也有優(yōu)質(zhì)的用戶在唱歌。

如何定義可用性

從大家都熟知的案例入手，12306剛上線的時候經(jīng)常會出現(xiàn)掛機的情況然后顯示一條公告“正在進(jìn)行故障維修”，特別是春節(jié)、節(jié)假日等搶票高峰期，嚴(yán)重影響用戶的使用。

做為互聯(lián)網(wǎng)架構(gòu)師，要怎么提升12306的可用性？故障明顯影響可用性的指標(biāo)，那么到底怎樣定義大型互聯(lián)網(wǎng)服務(wù)的可用性？怎樣定義一個合理的團(tuán)隊可用性能指標(biāo)？如何提升可用性？

1.怎樣定義大型互聯(lián)網(wǎng)服務(wù)的可用性？
可用性是系統(tǒng)或服務(wù)的健壯性和可靠性。每個服務(wù)包括QQ、QZone發(fā)生故障我們都會評估，是一級故障還是二級故障還是三級故障。

在業(yè)務(wù)場景里，最核心的是用戶價值的體現(xiàn)，我們把可用性更合理定義為：
P=（總用戶價值-因事故損失的用戶價值）/總用戶價值*100%

2.怎樣定義可用性指標(biāo)？
無論是用QQ、QQ音樂還是QQ空間，如果中斷1分鐘，用戶自查問題；中斷5分鐘以上用戶開始有疑問；中斷30分鐘的時候論壇等地方開始有投訴出現(xiàn)，而中斷數(shù)個小時的時候，用戶有可能會放棄這個軟件投奔競品。

對于騰訊而言，后臺服務(wù)可用性都是四個九，四個九轉(zhuǎn)化為時間就要求一年內(nèi)的故障時間不能超過52分鐘。有人會問為什么是四個九而不是五個九？為什么不越高越好？

直接原因是成本。我們做服務(wù)從剛上線保證兩個九；之后不斷優(yōu)化、架構(gòu)調(diào)整，比如服務(wù)器做容災(zāi)部署、做雙中心，從兩個九提升到三個九；又投入大量的研發(fā)精力和研發(fā)人員從三個九提升到四個九，而要達(dá)到五個九需要增加幾個數(shù)量級的投入。在通往五個九的過程中，除了架構(gòu)設(shè)計的合理性，還依賴于整個電信運營商的專線帶寬、機房設(shè)備，這些都會換算到系統(tǒng)故障率里，怎么預(yù)防也需要投入很多精力。所以我們目前是維持在四個九。

而在我們公司內(nèi)部，有時發(fā)生了專線故障，例如有些業(yè)務(wù)的故障率非常高、有大量投訴，那么這些業(yè)務(wù)后臺架構(gòu)自身肯定存在問題，包括整體系統(tǒng)架構(gòu)、前后臺的系統(tǒng)架構(gòu)都是有問題的。

3.談怎么做之前，先說說估算
我們在評審一個架構(gòu)師的時候很看重他的系統(tǒng)架構(gòu)，可能45分鐘的評審時間有一半都在討論這個系統(tǒng)架構(gòu)的合理性是什么、為什么要這么設(shè)計、有沒有一些演進(jìn)的歷史和背景。

系統(tǒng)架構(gòu)對于架構(gòu)師來說是非常重要的，作為一個架構(gòu)師，要能夠概要且具體地畫出系統(tǒng)架構(gòu)、說出系統(tǒng)架構(gòu)，對自己的系統(tǒng)架構(gòu)的了解程度也會體現(xiàn)出你對整個業(yè)務(wù)的把控能力。

架構(gòu)師的基本能力其實是估算的能力。我之前經(jīng)常會問一些來參加通道答辯的同事，他們會講：“我做這個系統(tǒng)的并發(fā)量是每秒1萬筆”，問他怎么得出來的，他說是壓力測試。我們認(rèn)為工程師有能力通過壓力測試測試出來并了解系統(tǒng)最大的并發(fā)能力，但這不是一個架構(gòu)師的能力。

一個架構(gòu)師在系統(tǒng)沒有上線時就應(yīng)該可以預(yù)測服務(wù)的最高并發(fā)量，而不是通過系統(tǒng)測試。Google的首席架構(gòu)師也說過，其實一個好的系統(tǒng)架構(gòu)師不是通過測試來得知系統(tǒng)能力，而是通過估算。這是架構(gòu)師的基本技能，可能沒法避免所有的錯誤，但是他可以避免大的錯誤。

面向海量用戶的服務(wù)設(shè)計：架構(gòu)層

以過往數(shù)據(jù)舉例，某天有10億訪問量，而每天都有86400秒，我估算成10萬秒，可以換算得到每秒的平均訪問是差不多1萬，再換算成高峰區(qū)的并發(fā)量，是平均瀏覽量的2-3倍，那么高峰時并發(fā)量大約是2-3萬每秒。

架構(gòu)師要有這種意識，你怎么把業(yè)務(wù)運營指標(biāo)抽象化成每個技術(shù)細(xì)節(jié)，這也是我前文提到的架構(gòu)師要能夠?qū)芏噙\營數(shù)據(jù)了如指掌。

1.代碼級優(yōu)化
做到了如指掌首先要對每個顆粒度的數(shù)據(jù)有足夠的了解，能夠從系統(tǒng)架構(gòu)和技術(shù)顯性估算出來業(yè)務(wù)的數(shù)據(jù)，再回歸到本身，這就肯定和代碼相關(guān)。

我們基礎(chǔ)數(shù)據(jù)服務(wù)組長haifeng剛?cè)肼殯]多久的時候就用新的技術(shù)組件對代碼進(jìn)行優(yōu)化，提升服務(wù)的高可用性。他在沒上線前就可以預(yù)測到優(yōu)化將帶來多少在線流量變化和業(yè)務(wù)量增加情況下減少的設(shè)備數(shù)，在不變或者提升用戶體驗的情況下來做成本和帶寬的優(yōu)化及技術(shù)的優(yōu)化。

代碼是支撐整個海量服務(wù)的基礎(chǔ)。我們在招聘時會看你是一個超級程序員還是普通程序員，這個從代碼方面就可以看出來。如果是經(jīng)驗非常豐富或者不斷追求進(jìn)步的架構(gòu)師，就會不斷的問自己寫代碼有沒有瓶頸或者優(yōu)化空間。

騰訊也有程序員只是停留在被安排的任務(wù)完成，沒有思考如何更好的完成，而有的程序員在完成之后還要花很多時間不斷推行優(yōu)化，甚至發(fā)現(xiàn)有可能存在的內(nèi)存泄露或者漏洞，前者只是完成安排給自己的任務(wù)，而后者在不斷思考，往往有超越預(yù)期的表現(xiàn)。

要成長為架構(gòu)師，就要不斷思考你所服務(wù)的產(chǎn)品里有多少耗內(nèi)存、有多少有瓶頸或優(yōu)化空間。比如如何加速TCP、TCP2.0有什么昕的特性，這是作為一個架構(gòu)師要不斷給自己思考和反思的點，這是提升整個海量服務(wù)的基礎(chǔ)。

2.系統(tǒng)設(shè)計級優(yōu)化
架構(gòu)師除了要推動項目組不斷優(yōu)化代碼，同時也要關(guān)注系統(tǒng)設(shè)計的合理性。以用戶場景舉例，進(jìn)入QQ音樂之后，用戶會收藏自己的歌單，在外面看來比較簡單的系統(tǒng)結(jié)構(gòu)，但蘊含著很復(fù)雜的技術(shù)邏輯。

這些技術(shù)邏輯是為了保證高可用的情況下，各個模塊能獨立化部署，能夠很好的做服務(wù)的升級、擴容。技術(shù)要點是存儲，做為架構(gòu)師在提到做一些個體的收藏時，就要從技術(shù)的角度拆分成可量化和可理解的指標(biāo)，包括存儲和大量的小份文件、包括2.8億的用戶怎么存儲，這些問題肯定要列出來；還要思考怎么可拓展，以后不止是收藏歌曲，還可以收藏專輯、歌單、專題等等；還有可用性，深層次思考后臺要用什么方式進(jìn)行部署以保證數(shù)據(jù)的可靠性、一致性。這些都是做任務(wù)分解和拆解時需要有的思考。

深度設(shè)計要基于優(yōu)先級分級控制，比如我們用戶分PC客戶端、web、Android、iOS等，用戶在web收藏一首歌就會刷新頁面或者離開頁面，服務(wù)器就需要實時寫入,而pc或手機客戶端可以給一個數(shù)據(jù)到本地，寫入本地記載，服務(wù)器處理不那么實時處理，這對我們五千萬在線的高峰是有幫助的，我們可以允許一定的存儲冗余。

這就是基于優(yōu)先級的快慢處理處理方案，比如客戶端方面，我們可以慢處理，后臺只要發(fā)送給服務(wù)器端，服務(wù)器端告訴前端收藏成功，可能還沒有成功，服務(wù)器端的處理程序會寫入消息隊列里面，由另外的進(jìn)程再進(jìn)一步處理，而web發(fā)送過來的請求就會采用實時處理的方式。

一談到服務(wù)剛上線，可能有大系統(tǒng)對服務(wù)做推廣，這時候映射到代碼層級，你可能每個代碼優(yōu)化提升1毫秒，這對于整個高并發(fā)來說就是非常可觀的一筆數(shù)據(jù)。每個用戶處理時間少1毫秒，1000個用戶服務(wù)處理就可以減少1秒。所以在整個互聯(lián)網(wǎng)后臺開發(fā)里面，每個代碼細(xì)節(jié)都非常重要，當(dāng)然還有存儲一致性。

3.柔性服務(wù)思維
從系統(tǒng)層面來說，你不只是做系統(tǒng)，而是在做服務(wù)。做服務(wù)我們也有很多服務(wù)的思維，比如說你怎樣保障系統(tǒng)不會由于某個故障馬上讓前端受影響，我們的思維叫邏輯性服務(wù)的思維。

就這幾類的故障來說，比如硬件方面、網(wǎng)絡(luò)層面、還有代碼層面都會有很多故障，如果沒有這種邏輯性服務(wù)，可能會影響80%以上的用戶，這是我們所不能接受的。

騰訊的每個后臺CGI自動化測試標(biāo)準(zhǔn)是1秒，從用戶請求到返回操作的時間如果大于1秒就不達(dá)標(biāo)。為了使得每個CGI都盡可能達(dá)標(biāo)，我們會采取很多策略，比如上傳很多類型的CGI，就會有很多思維要思考：后臺有沒有雪崩，思考的方式包括識別關(guān)鍵路徑和非關(guān)鍵路徑。

在騰訊的很多應(yīng)用，引入了類似于股票EMI的算法，就是請求預(yù)期；當(dāng)股票價格很低的時候，你的預(yù)期空間很大，股價很高的時候，你的預(yù)期很低。比如CGI訪問服務(wù)器，如果訪問都在10毫秒以內(nèi)，那么timeout超時時間可以設(shè)置得很長。如果返回時間已經(jīng)到100毫秒、1秒，甚至更長時間，這時候就是timeout超時要設(shè)置盡可能短，這是防雪崩的措施之一，對后端能起到有效的保護(hù)。

有些業(yè)務(wù)是不能接受有損的，比如銀行的交易或者支付購買；但是有些可以，比如QQ登陸到主頁的信息遇到服務(wù)器故障或是看會員級別時會員的服務(wù)器掛掉，這個時候可以快速返回，這是可以接受有損服務(wù)的場景。

怎么識別關(guān)鍵路徑和非關(guān)鍵路徑？騰訊一切以用戶價值為核心，做關(guān)鍵路徑和識別的時候，通常要看這個點對用戶是不是最關(guān)鍵的。比如登陸一個客戶端進(jìn)來，顯示的用戶信息哪些最重要？很多業(yè)務(wù)場景就可以識別出來哪些是關(guān)鍵路徑，哪些是非關(guān)鍵路徑。

QQ空間也有很多這樣的案例，比如在出現(xiàn)機房故障的時候，可以設(shè)置80%的流量可用、50%的流量可用，也可以設(shè)置對黃鉆客戶優(yōu)先可用的策略。系統(tǒng)出現(xiàn)故障的時候，我們也要有應(yīng)急策略。我們也會有些容災(zāi)的策略，會分級別，根據(jù)網(wǎng)絡(luò)故障級別進(jìn)行容災(zāi)的控制。

4.負(fù)載均衡
騰訊的很多服務(wù)是基于LVS的主網(wǎng)結(jié)構(gòu)開展的。騰訊有一個GSLB，這是我們?nèi)壍呢?fù)載均衡系統(tǒng)，我們每個域名都會經(jīng)過GSLB和LVS。比如你是上海電信的用戶，在整個過程中都會經(jīng)歷騰訊前期負(fù)載控制器，會找到然后返回這個IDC。

這個工作原理基于騰訊本身是海量服務(wù)的互聯(lián)網(wǎng)公司，我們做了大量的測試，測試結(jié)果是它可以達(dá)到最有效的調(diào)度結(jié)果，給出最優(yōu)的調(diào)度結(jié)果，包括IDC的各類故障，它會提前預(yù)知。部署的模塊最好是獨立化部署。

面向海量用戶的服務(wù)設(shè)計：運維層

如果系統(tǒng)缺少監(jiān)控就不是好的系統(tǒng)，在SNG包括騰訊各個研發(fā)團(tuán)隊非常重視這塊，你對這個系統(tǒng)的每個環(huán)節(jié)、每個模塊都要一切盡在掌握，想做到這一點很重要的是你整個模塊的系統(tǒng)監(jiān)控。

騰訊有大量的網(wǎng)管平臺，每臺設(shè)備當(dāng)前的CPU狀況、網(wǎng)絡(luò)的出口、上行下行流量，每個都會有很詳細(xì)的配置，這也是輔助你做到一致性的服務(wù)。還有安全性，比如游戲幣購買、會員開通關(guān)閉等，可能平時的消息發(fā)送要防止被別人竄入或者消息外泄，要注意很多問題，我認(rèn)為系統(tǒng)監(jiān)控是整個后臺開發(fā)非常基礎(chǔ)的方面。

面向海量用戶的服務(wù)設(shè)計：產(chǎn)品層

產(chǎn)品策略，我現(xiàn)在負(fù)責(zé)我們部門的基礎(chǔ)數(shù)據(jù)中心，有些和搜索、曲庫產(chǎn)品等相關(guān)的事情，從整個打造海量服務(wù)來看良好的產(chǎn)品設(shè)計環(huán)節(jié)是不可或缺的環(huán)節(jié)。

當(dāng)故障的時候，我們之前有些故障的提示是很討厭的，例如網(wǎng)絡(luò)繁忙、系統(tǒng)崩潰、IE可能中毒類似的提示是非常不友好的，是需要擯棄的產(chǎn)品設(shè)計。即便系統(tǒng)真的要掛掉也不要閉上眼睛，給到用戶足夠放心友好的提示，這個是會在你整個技術(shù)故障的時候?qū)τ脩羰亲畲蟮男睦戆参俊?/p>

后臺故障解決思路

從后臺故障解決思路來說，當(dāng)你去負(fù)責(zé)后臺系統(tǒng)的時候，因為系統(tǒng)主要是在線上運營的，總會有各種故障，你怎么發(fā)現(xiàn)這些問題呢？

監(jiān)控非常重要，系統(tǒng)化監(jiān)控、自動化監(jiān)控，所謂自動化監(jiān)控是除用戶外，還有很多測試機，它自己也會定時發(fā)起測試，模擬用戶的請求，然后判斷返回值成功或失敗，從而判斷服務(wù)是否正常。另外必須重視你身邊每位同事的反饋，包括每個用戶的反饋。

從外圍到核心問題的本質(zhì)，比如有些用戶不能用，有些用戶能用，要看有沒有地域集中的大范圍投訴，這些肯定要排除的。有沒有客戶版本問題，有沒有運營商電路的問題，有沒有組件問題。其實很多時候分析問題，排除法很重要，最終總能找到核心的關(guān)鍵問題。

我覺得對于后端領(lǐng)域的常出現(xiàn)的問題，有些經(jīng)驗非常資深的人一看就知道問題，但是當(dāng)你對問題不太明確，可能定位非常煩瑣的情況下，就要羅列所有環(huán)節(jié)然后采用排除法排除原因，沒有辦法排除的就是問題的根本原因。

這里有些經(jīng)驗的總結(jié)，所有bug只要提出來，總是可以找到原因，可以解決的，這也是程序員的最大價值。當(dāng)你找不到自己系統(tǒng)問題的時候，就要找其他系統(tǒng)問題。定位問題的時候，要經(jīng)常思考自己的系統(tǒng)有沒有問題，然后思考其他系統(tǒng)的問題。

構(gòu)建海量服務(wù)是很大、很深的話題。在整個SNG里面，其實很多的業(yè)務(wù)都在不斷和海量服務(wù)的請求、每次系統(tǒng)問題甚至故障都在打交道，這非常鍛煉人的系統(tǒng)架構(gòu)能力，也從中會有很多的經(jīng)驗和啟發(fā)。

現(xiàn)場問答

Q:騰訊技術(shù)選型采用C++的考慮是什么？

A:這個事比較久遠(yuǎn)，最開始是Tony（編者注：Tony即張志東，騰訊聯(lián)合創(chuàng)始人，前CTO)等創(chuàng)始人來奠定后臺使用C++的基調(diào)， C++是很高效的程序語言，我們也非常追求在一個語言上能夠投入，甚至不排斥多花時間在這個語言上面做到很高的性能。

Q:負(fù)載均衡方面，QQ的優(yōu)化是偏向硬件層面還是軟件？或者什么場景用硬件好？

A:騰訊有很多是軟硬結(jié)合，我們騰訊應(yīng)用廣泛的軟件級負(fù)載均衡，信息訪問后端的時候，后端有100臺設(shè)備，平常的方法是隨機訪問100臺，如果可以實現(xiàn)調(diào)度，它會收集每個IP返回碼，去決策下一次給你這個接口是最優(yōu)的IP，這是我們SNG常用的軟件級的負(fù)載均衡組件L5。

在網(wǎng)平有統(tǒng)一提供負(fù)債均衡的LVS和tgw，在騰訊很多是結(jié)合在一起的，沒法說哪個更好，我們怎么把服務(wù)做到最大化、最高的可能性就是不斷思考，可能采用軟硬結(jié)合的方式。

Q:騰訊在支付這塊也是四個九嗎？有更高的要求嗎？

A:有更高要求。對于架構(gòu)來說，騰訊有專門負(fù)責(zé)支付的支付線，不是我在負(fù)責(zé)。很多情況不是系統(tǒng)本身問題，而是外界的環(huán)境問題，支付業(yè)務(wù)由于銀行網(wǎng)關(guān)系統(tǒng)問題，也會影響服務(wù)質(zhì)量。

騰訊支付定位可能還是四個九，這里還涉及和銀行的交互接口，但是由于服務(wù)失敗的一個點應(yīng)該也是需要確保成功，最終確保每一位用戶的利益，微信財付通、QQ支付領(lǐng)域會做很多策略規(guī)避這種問題，包括流水怎么保證事務(wù)性，不讓用戶花錢拿不到物品。從我們的數(shù)據(jù)來看，如果一個普通的功能，出現(xiàn)了一萬個用戶故障最后可能不超過10個用戶反饋，而對于支付涉及到核心用戶利益的，兩個用戶出現(xiàn)問題至少有一個用戶會來反饋。

關(guān)于支付的業(yè)務(wù)指標(biāo)，100%這個目標(biāo)可能也需要很高成本才可能實現(xiàn)，唯一能做的是，例如用戶Q幣購買失敗，最終會有最后的環(huán)節(jié)是客服處理，騰訊會確保每個用戶的問題最終都會得到解決，不只是支付問題。

結(jié)語

海量服務(wù)是一門很大的課程，今天由于時間關(guān)系很多方面沒法細(xì)致講，后面可以在QQ群一起交流探討。再次歡迎和感謝大家來到SNG技術(shù)開放日，希望大家在后臺通道接下來的豐富課程中有更多收獲。（想看到本次開放日更多后端架構(gòu)案例嗎？關(guān)注公眾號，近期就會推送。）

也歡迎大家來騰訊、來SNG、來QQ空間和音樂應(yīng)聘，QQ音樂我們現(xiàn)在還在廣招優(yōu)秀的后臺開發(fā)（linux c/c++）、移動端開發(fā)(iOS/Android)和web開發(fā)，內(nèi)容編輯、產(chǎn)品策劃和運營等也都火熱招聘中，如果你是一名優(yōu)秀的互聯(lián)網(wǎng)從業(yè)者，不妨來騰訊SNG一起投入億級用戶的服務(wù)的實踐當(dāng)中，簡歷可以發(fā)送到：SNGZP@tencent.com