資訊專欄INFORMATION COLUMN
摘要：數據出來后，阿里云還要在全球范圍內調度流量，一絲一毫的不準確都可能導致很嚴重的后果，所以對于數據的準確性要求很高。阿里云更多的是做實時數據分析。
想要實現優質高速的互聯網視頻服務，一定離不開高質量的內容分發網絡服務，就是我們常說的CDN，在10月13日云棲大會視頻多媒體分論壇上，阿里云高級技術專家空見為大家講解了CDN服務過程中，數據處理、安全監測、日志分析、智能分析是如何為CDN賦能的。下面是演講主要內容提煉：
一、業務背景目前阿里云CDN的節點的數量超過1200個，可承載的帶寬能力超過80Tbps，基本能覆蓋國內一半的分發要求，海外的部署也是十分廣泛的。在產品方面，CDN包括PCDN、安全加速、全站加速等各種子產品，因為分析的場景不同，所以對數據平臺的擴展性也提出了更高的要求。從業務規模來看，阿里云CDN現在線上跑著百萬級的域名，每個域名的分析都要做，比傳統CDN高了兩個量級。如此龐大的業務，對于用戶內容的分發是好事情，對數據的回收和分析，卻是一個不小的挑戰。
二、數據需求CDN的數據有三個關鍵字：海量、可靠、實時。
海量，CDN目前每秒鐘有大幾千萬的數據訪問，每天會沉淀出來5PB的系統日志，所以離線數據通常在EB級別，這個對實時計算和離線分析都有很大的壓力；在監控這塊阿里云CDN每天達到千億級別，而且每年CDN數據增長都在100%之上，所以系統必須要有很強的擴展性，并提前設計好各個環節。
可靠，CDN的數據一定要是準確的，不能有毛刺的數據。因為數據的應用場景是很苛刻的，比如計費和監控，不能出現紕漏，不能漏報誤報。數據出來后，阿里云CDN還要在全球范圍內調度流量，一絲一毫的不準確都可能導致很嚴重的后果，所以對于數據的準確性要求很高。第二是系統本身的穩定，系統各個環境不能有明顯的瓶頸，系統要有足夠強的容災能力，系統的自動恢復方案也要是充分的。
實時，在從前，阿里云CDN是五分鐘分析一次數據，不管是計量還是計費，都以這個為標準。現在，因為有了更多的業務場景，以直播為例，如果一個主播推流斷掉了，不能馬上發現的話，影響的可能就是幾十、上百萬的用戶的觀看體驗。所以，在實時性上，阿里云CDN現在能做到分鐘以及秒級的實時，也就是說，在整個數據的要求上來看，不僅吞吐量要大，延遲也要足夠低。
如此大規模的數據，如此嚴苛的要求，阿里云CDN又如何應對呢？
三、數據收集下面我們看看阿里云CDN在數據收集方面是怎么做的。現在整個系統數據量化的程度還是比較高的，不光是用戶的訪問數據，系統的操作數據也是可以量化的。下面是數據收集全貌圖：
數據來源，有兩個方面，一個是左邊的節點，另一個是右邊的用戶。
先從從左邊的邊緣節點來看，它是從全球的邊緣節點去采集和處理，上面的數據大部分都是訪問、回源的日志，節點之間互相探測的日志等，在總數據中占比80%以上。這里的數據量級非常大，而且本身CDN就是分布式系統，所以阿里云CDN將一部分數據分析工作在節點上就先完成了，比如通用的流量、命中率、QPS等指標，會在節點上做預處理，同時，全量的數據也會通過流式傳輸往數據中心去走。
右面是用戶數據，通過瀏覽器或SDK來訪問我們內容的用戶，還包括系統上的用戶，包括管理員管理配置、業務人員在后臺對線上資源進行調配等，一般這里的數據直接通過流式傳輸平臺SLS客戶端直接發出。
在中心傳輸這一層，阿里云CDN采用阿里云本身的SLS產品，SLS支持對數據進行抽取、轉化、分發、檢索等功能，本身比較靈活，滿足了ETL的場景，并且可以在上面做一些客戶定制化的處理。SLS下來后，再用Blink對數據進行流式處理，它有一個好處就是中間狀態可以保存，不需要應用和外部的第三方存儲再做交互，能夠滿足數據定制化分析的一些場景。原始的訪問及分析后的業務數據，最終會沉淀存儲在ODPS中。用戶也可以選擇其他存儲方式，比如可以提供文件下載功能的對象存儲OSS。另外，時序數據也會存在OTS數據庫中，以備實時檢索。
以上的數據收集，基本上都是采用阿里云的產品，阿里云CDN的技術專家們只需要把系統串聯起來，保證整體可用性即可，如此，就能將更多精力集中在數據的分析和應用上了。
四、數據分析在數據分析這塊，離線方面會做的輕一點，做運營報表和數據挖掘。阿里云CDN更多的是做實時數據分析。這兩個分析系統，會將數據最終匯集到專家系統，用于檢測這些數據有沒有異常，找到異常問題的定位。找到問題根源后，根據其他平臺產生的數據，關聯起來，用機器學習的算法做一個問題的分類。
數據分析的使用場景包括：
自動化運維，通過機器資源、線上問題的收斂，阿里云CDN目前只需要三個運維就足夠了；
智能調度，實時根據大區、節點的情況，合理調度流量和進行節點建設；
用戶畫像，相當于給用戶提供一個體檢，給出當前服務的建議，優化業務；
事件中心，記錄當前節點上正在發生的事件，關注網絡抖動和發布情況。
左邊是官網的截圖，用戶可以根據自己想要的維度，關注各類報表，看到CDN使用的情況。
中間是內部的監控系統，分鐘+秒級監控，用于問題的復排和打標。
右邊是事件的數據，顯示當前整個平臺的流量、事件等級和匯集情況等。
除了業務層數據，阿里云CDN和阿里云IDST聯合，對CDN上分發的文本、圖片、視頻等內容進行鑒定，篩查涉黃等違規內容，防止IP被封。
六、總結整個CDN數據化為了驅動系統，形成下發、執行、采集、分析的閉環。
在分享的最后，空見總結道：“從業務接入層，我們可以提供方便、快捷的接入環境；在策略執行層，我們可以快速把操作發布到線上，達到秒級生效；在數據生產層，我們將把所有的系統都量化起來，采集到海量、有效的數據；在決策中心層，我們相應對數據進行收斂，只關注關鍵數據指標，整個是一個閉環的過程。有了數據化的系統，后面的自動化、智能化才有更多發揮的空間。”
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/10986.html
摘要：數據出來后，阿里云還要在全球范圍內調度流量，一絲一毫的不準確都可能導致很嚴重的后果，所以對于數據的準確性要求很高。阿里云更多的是做實時數據分析。 想要實現優質高速的互聯網視頻服務，一定離不開高質量的內容分發網絡服務，就是我們常說的CDN，在10月13日云棲大會視頻多媒體分論壇上，阿里云高級技術專家空見為大家講解了CDN服務過程中，數據處理、安全監測、日志分析、智能分析是如何為CDN賦能...
摘要：摘要本文由阿里視頻云高級技術專家空見撰寫，主要介紹的歷史特性如何使用和使用之后的性能對比驗證。實踐證明解決了的一些頑疾，在性能上提升顯著，最終正式考慮制定的計劃，最后決定以為基礎起草，的部分設計人員也被邀請參與了的設計。 摘要： 本文由阿里視頻云高級技術專家空見撰寫，主要介紹HTTP2.0的歷史、特性、如何使用和使用之后的性能對比驗證。 背景介紹 要了解HTTP2.0，先了解一下HT...
摘要：講解從三個部分展開短視頻應用場景阿里云短視頻解決方案阿里云對短視頻用戶體驗的相關優化。同時，為了面對業務的突發流量，阿里云提供了超過的帶寬儲備，為持續增長的業務保駕護航。二播放卡頓是指在播放過程中的不流暢情況，會嚴重影響用戶體驗。 深圳云棲大會已經圓滿落幕，在3月29日飛天技術匯-彈性計算、網絡和CDN專場中，阿里云CDN高級技術專家周哲為我們帶來了《海量短視頻極速分發》的主題分享，帶...
閱讀 2986·2020-01-08 12:17
閱讀 1990·2019-08-30 15:54
閱讀 1151·2019-08-30 15:52
閱讀 2032·2019-08-29 17:18
閱讀 1041·2019-08-29 15:34
閱讀 2459·2019-08-27 10:58
閱讀 1860·2019-08-26 12:24
閱讀 368·2019-08-23 18:23
