摘要:摘要來自阿里云團隊的論文面向大規模海量云數據庫的服務質量實時采集與診斷系統被數據庫頂會收錄。評委評價以下為阿里云入選論文。云數據庫對客戶業務的穩定性至關重要,因此快速發現云數據庫性能出現異常,及時定位異常原因是云數據庫廠商的一個挑戰。
摘要:?來自阿里云RDS團隊的論文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” (TcpRT:面向大規模海量云數據庫的服務質量實時采集與診斷系統)被數據庫頂會SIGMOD 2018收錄。
ACM SIGMOD數據管理國際會議是由美國計算機協會(ACM) 數據管理專業委員會(SIGMOD)發起、在數據庫領域具有最高學術地位的國際性學術會議。
SIGMOD和另外兩大數據庫會議VLDB、ICDE構成了數據庫領域的三個頂級會議。相對而言,SIGMOD比另外兩個會議的含金量更高,被錄取的難度更大。ACM SIGMOD的論文錄取率是很低的,平均錄取率大約僅為15%-17%。
來自阿里云RDS團隊的論文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” (TcpRT:面向大規模海量云數據庫的服務質量實時采集與診斷系統)被數據庫頂會SIGMOD 2018收錄。
TcpRT論文介紹了RDS天象系統在云數據庫SLA數據采集、服務質量指標計算、異常檢測、故障根因分析領域的創新工作,以及在各類云平臺上大規模部署自動化服務的客戶實踐經驗。
評委評價
I have plenty of experience with manual anomaly detection. That has wasted much time for me at work, so I liked what you described.
以下為SIGMOD 2018阿里云入選論文。
下載中文版:http://click.aliyun.com/m/100...
下載英文版:http://click.aliyun.com/m/100...
簡介
隨著企業上云趨勢的日益熱化,作為產業核心組件的數據庫,已成為各大云計算公司增長最快的在線服務業務。作為中國第一大云數據庫廠商,我們RDS團隊致力于為用戶提供穩定的云數據庫服務。從本質上看,RDS是一個多租戶DBaaS平臺,利用輕量級KVM、Docker鏡像等資源隔離技術將用戶所購買的數據庫實例部署在物理機上,按需分配資源并進行自動升降級,實現一套完全自動化的智能運維管理。
云數據庫對客戶業務的穩定性至關重要,因此快速發現云數據庫性能出現異常,及時定位異常原因是云數據庫廠商的一個挑戰。TcpRT是阿里云數據庫用來監控和診斷數據庫服務質量的一個基礎設施。TcpRT從主機TCP/IP協議棧的壅塞控制采集trace數據,計算數據庫延遲和網絡異常,在后臺流式計算平臺進行大規模實時數據分析和聚合,通過統計指標歷史數據的柯西分布發現異常點,并通過同一臺主機、交換機、proxy下所有實例一致性趨勢的比例來計算不同組件發生異常的概率。
到目前為止,TcpRT以每秒采集2千萬條原始trace數據、每天后臺處理百億吞吐數據、秒級檢測異常的卓越性能在阿里云持續穩定運行三年。
本文貢獻
提出了一種新的對數據庫服務質量進行采集的方法,基于內核壅塞模塊實現,可以非侵入性、低代價的采集基于停等協議的關系數據庫的per connection的延遲、帶寬,分析用戶使用數據庫的模型(短連接和長連接),并且可以端到端的記錄和量化基礎網絡服務質量對數據庫服務質量的影響,包括丟包率、重傳率。
我們開發了一套對采集的原始數據進行數據清洗、過濾、聚合、分析的流式計算系統,系統可以做到水平擴展、容錯性、實時性、Exactly Once,具有和其他大數據平臺例如EMR、MaxCompute進行數據交換的能力
我們提出了一個新的算法對TcpRT數據進行分析,來發現數據庫的服務質量有無異常,并且對異常事件的根因進行定位
會議將于6月10日在美國休斯敦召開,論文也會公開發表,以下是相關信息。
Title:SIGMOD/PODS "18 International Conference on Management of Data
Houston, TX, USA — June 10 - 15, 2018
Pages:1846
Sponsor: SIGMOD ACM Special Interest Group on Management of Data
Publisher:ACM New York, NY, USA
ISBN:978-1-4503-4703-7
Conference:MODInternational Conference on Management of Data
原文鏈接
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/17761.html
摘要:本文整理了年月國產數據庫大事件和重要產品發布消息。柏睿數據庫加速安全卡面向全球重磅發布。月日,在全球數字經濟大會成果發布會上,中國移動北京分公司與國產數據庫領域新銳企業柏睿數據簽署戰略合作協議。本次大賽主要面向全國愛好數據庫的高校學生。 本文整理了2021年8月國產數據庫大事件和重要產品發布消息。目錄8月國產數據庫大事記TOP108月國產數據庫大事記時間線產品/版本發布兼容認證8月排行榜新增...
摘要:元旦假期即將來臨,我們精心準備了這本阿里巴巴機器智能計算機視覺技術精選,收錄了頂級會議阿里論文,送給計劃在假期充電的同學們,也希望能和更多學術界工業界同仁一起探討交流。 當下計算機視覺技術無疑是AI浪潮中最火熱的議題之一。視覺技術的滲透,既可以對傳統商業進行改造使之看到新的商業機會,還可以創造全新的商業需求和市場。無論在電商、安防、娛樂,還是在工業、醫療、自動駕駛領域,計算機視覺技術都...
摘要:基本邏輯一條數據在結構中的旅程,從寫入開始,然后進入,這是整個生命周期的第一處落腳點。每一層數據按排序,層與層之間的會交疊。上面是宏觀邏輯結構,如果具體來論讀寫操作和如何進行,就需要探討每一層的數據組織方式每個變種的實現各不相同。 阿里妹導讀:數據庫存儲引擎是一個有歷史的技術,經過數十年的發展,已經出現很多優秀成熟的產品。阿里巴巴 X-Engine 團隊撰寫的論文 X-Engine:...
閱讀 2983·2021-11-23 09:51
閱讀 2997·2021-11-02 14:46
閱讀 864·2021-11-02 14:45
閱讀 2739·2021-09-23 11:57
閱讀 2493·2021-09-23 11:22
閱讀 1924·2019-08-29 16:29
閱讀 740·2019-08-29 16:16
閱讀 937·2019-08-26 13:44