摘要：快杰云主機搭建。快杰云主機，搭載選用第二代處理器，主頻，領先的制程工藝帶來顯著的性能提升，使之打破總體性價比世界記錄。因此，糖豆與神策數據此次最終共同選擇了快杰服務器。

在涼風習習的夜晚里，璀璨的燈火映照下，隨處都能碰到翩翩起舞的人群，這就是廣場舞，在這嘹亮、節奏鮮明的歌聲里有一款大媽們熱愛的APP—-?糖豆APP。

?一、挑戰

在發展之初，多家企業看好廣場舞這個賽道，而糖豆創業初期，也同樣面臨不了解用戶畫像、客戶端crash、發展方向、決策依據等關乎企業命運的問題。例如：

• 怎么樣獲得更多的用戶？
• 哪些歌曲、節奏是領舞者喜歡的？
• 不同時期大媽們的偏愛的歌曲有哪些？
• 用戶的訪問路徑和習慣是怎樣的？
• APP crash了多少次？

這些問題不但困擾著小糖，也困擾著當時整個行業。幸運的是，小糖當機立斷，做出了一系列明智的決定。
作為IaaS服務商，UCloud也有幸見證小糖成長的過程，見證了這段不為人知的往事。并且希望通過分享出這段經歷，以幫助到開辟新賽道的創業者們提供參考和啟發，抓住快速發展的機遇脫穎而出。

?二、機遇

就以上問題，當時小糖選擇的是：用大數據技術實現數據賦能業務。在實現的路徑中，當時存在兩種選擇：

1、自建BI優勢：

• 響應速度快。
• 有概率孵化出獨有的經營分析系統。

劣勢：

• 需要招聘數據分析師、大數據運維等。
• 日常配合效率低：業務分析人員進行專題研究所需的數據，要向數據工程師提需求，進入需求說明、需求評估、迭代排期、需求糾偏的循環。
• 數據分析工作繁雜：數據工程師需要處理各類繁雜數據的 ETL 日常工作。
• 共性需求重復開發：對于流量和點擊這類數據采集的共性需求，研發工程師每次都需要針對具體業務重新開發，造成大量重復性開發工作。

2、購買數據服務優勢：

• 見效快，而且是立竿見影的速度。
• 節約BI人員和對應數據運維人員的成本。

劣勢：

• 持續投入的數據分析服務購買成本。
• 有數據對接開發工作。

通過對比調研，公司最后決定采用專業的數據分析服務商——神策數據。依靠正確運營決策帶來的業務增速，和APP穩定性帶來的良好體驗，小糖抓住了這個黃金時期，從該賽道脫穎而出。?

三、核心訴求

1、運營決策：

小糖提出運營目標，包括：

• 基礎指標：日活人數、月活人數、新增人數、留存人數、用戶地域分布、用戶終端分布。
• 搜索功能：使用和點擊人數，點擊后的播放和留存統計。
• 推送：觸達用戶人數，并且推送內容的打開和啟動統計。

2、質量優化：

• 統計關鍵頁面的訪問次數、關鍵Tab頁面曝光率。
• APP異常退出現象的原因，分析用戶訪問路徑，幫助APP優化體驗。

3、私有化部署：

• 為確保數據的安全，數據不出IDC，這是核心訴求之一。
• 確保未來2-3年不產生容量瓶頸。

?四、需求滿足

針對小糖的核心訴求1
神策提供了數字化運營閉環解決方案，該解決方案是神策數據凝練四年多的數據采集、用戶行為分析研究經驗，同時融合服務的 1000+ 各行業標桿企業客戶成功經驗打磨出的一套完整的筑就業務數據流閉環的解決方案，全面擊破企業在數據采集、用戶洞察、業務行動、分析反饋四個關鍵環節的難點，為企業增長筑就超強引擎。

?針對核心訴求2

神策對在糖豆APP客戶端中嵌入了其采集數據的SDK，作為終端埋點，并做好用戶關聯，進行事件采集和用戶屬性設置。海量的終端數據匯總到神策分析平臺，提供全功能的多維分析能力剖析用戶行為——維度、指標不需要預定義，漏斗分析、留存分析、分布分析都可以任意維度下鉆。
在神策分析產品上進行數據的可視化展現，如下圖（為保護用戶數據隱私，所有數據均為模擬數據）：

基礎指標留存概覽

針對核心訴求3

按照小糖的私有化部署的需求：

• 神策也必須在云主機部署。
• 必須具備快速伸縮容能力。

以確保后續數據增長避免帶來的性能問題。

基于以上條件，提供了2套部署方式：

• SSD云盤云主機搭建。
• UCloud快杰云主機搭建。

為驗證性能、價格、伸縮容能力這3個重要指標，進行了可行性驗證。
首先：神策的分析業務架構，如下：

該架構很重要的基礎是存儲，這里存儲系統采用了HDFS，查詢引擎則采用了Impala。
Impala是查詢引擎，提供SQL語義，能查詢存儲在Hadoop的HDFS和HBase中的PB級大數據。

?接下來，測試：

• 性能測試：

這里使用的impala性能測試工具，是很出名的impala-tpcds-kit ，Github上開源的地址https://github.com/cloudera/impala-tpcds-kit/。它可以：
1、描述測試基準與其自身業務的相關性。

2、模擬數據生成要具有真實性。

3、工作負載的設定具有可擴展性。

4、度量的選取的可理解性。

5、滿足了客觀性與公正性。

6、SQL標準兼容性。所以很好的符合使用前性能、兼容、度量等要求。
被測試的云主機類型配置如下：

TPC-DS工具: 是一個面向決策支持系統的包含多維度常規應用模型的決策支持基準，包括查詢(queries)與數據維護。此基準對被測系統在決策支持系統層面上的表現進行的評估具有代表性。TPC-DS采用星型、雪花型等多維數據模式。它包含7張事實表，17張緯度表平均每張表含有18列。其工作負載包含99個SQL查詢，覆蓋SQL99和2003的核心部分以及OLAP。這個測試集包含對大數據集的統計、報表生成、聯機查詢、數據挖掘等復雜應用，測試用的數據和值是有傾斜的，與真實數據一致。可以說TPC-DS是與真實場景非常接近的一個測試集，也是難度較大的一個測試集。因此TPC-DS成為客觀衡量多個不同Hadoop版本以及SQL on Hadoop技術的最佳測試集。幾乎所有的測試案例都有很高的IO負載和CPU計算需求。

采用Cloudera Manager在快杰主機上，部署大數據環境，示意圖如下：

• 性能測試數據：

測試數據量在500G的情況下，SQL查詢時間在快杰AMD主機和SSD云盤主機的對比如下表：

• 性能指標結論：

快杰AMD云主機的各項性能指標都超過了SSD云盤云主機，綜合來看，查詢性能提升44.98%。從磁盤的成本角度上，RSSD云盤和SSD云盤都是0.6元/月/GB,成本并沒有增加。

• 原因分析：

1、快杰云主機的底層存儲采用最新的NVMe SSD磁盤，使用高性能RDMA（遠程直接數據存取）作為后端存儲的通信協議，實現遠端存儲卸載到硬件，使得云盤的延遲降低到0.1毫秒，體驗幾乎和本地盤一致，高并發下依然保持低時延。RDMA 是通過網絡把資料直接傳入計算機的存儲區，將數據從一個系統快速移動到遠程系統存儲器中，而不對操作系統造成任何影響，這樣就不需要用到多少計算機的處理功能.它消除了外部存儲器復制和文本交換操作，因而能騰出總線空間和CPU 周期用于改進應用系統性能. 目前通用的做法需由系統先對傳入的信息進行分析與標記，然后再存儲到正確的區域.整體結構如圖所示。

同時，配合25G 底層物理網絡，隨機讀寫性能達到最佳，實現120萬IOPS。

2、快杰云主機將底層數據中心網絡環境從10G升級到了25G；配備了Mellanox智能網卡實現了網絡加速，配合軟件的優化，使得網絡性能有了大幅的提升：內網帶寬提升2.5倍，內網包量提升超過10倍、最高可達1000萬PPS。
3、快杰云主機，搭載AMD選用第二代EPYC 處理器，主頻2.9GHZ，領先的7nm制程工藝帶來顯著的性能提升，使之打破TPC Benchmark總體性價比世界記錄。?

因此，糖豆與神策數據此次最終共同選擇了快杰服務器。通過實際運行結果看，確實達到了業務當初的性能要求、并且也達到了業務增長后的性能要求和容量要求。直到現在，依然每天支持著海量的數據記錄上報、分析、統計。