資訊專欄INFORMATION COLUMN
摘要：年，王堅帶著解決大規模算力瓶頸的任務加入阿里。王堅帶隊，目標是自研大數據計算平臺統一阿里巴巴內部的數據和大數據計算體系。不僅如此，它們的存儲和計算成本還令人意外地降低。從年到年，杭州從全國最擁堵城市排行榜上下跌名。
摘要：?2009年這項關于大數據的技術長征開始。王堅帶隊，目標是自研大數據計算平臺MaxCompute統一阿里巴巴內部的數據和大數據計算體系。
大數據時代，隨著企業數據規模的急劇增長，傳統軟件已無法承載，這也推動了大數據技術的發展，Google、AWS、微軟等硅谷巨頭紛紛投入大數據技術的研發；而在國內，王堅也在十年前帶領阿里云團隊研發MaxCompute，率先在國內開啟大數據計算平臺的自研之路。
十年后，MaxCompute已經可以承載EB級別的數據存儲能力、百PB級的單日計算能力，在公共云上已經覆蓋了國內外的十幾個國家和地區，電商、工業、醫療、農業、氣象、教育等諸多行業企業開始采用這項技術，輕松處理海量數據，為社會和消費者提供服務。
事實上，阿里大數據的發展歷程映射出整個大數據行業的發展史。
十年前，阿里巴巴比其它公司更早地遇到互聯網規模化帶來的挑戰。當時全球企業的數據庫基本都是Oracle，而阿里巴巴擁有亞洲最大的Oracle集群，計算規模達百TB級別。
按照當時淘寶用戶量的增長速度，Oracle集群很快將無法支撐業務發展，而最核心的問題就是算力不足。盡管當時阿里已開始把數據遷移到更大規模的Greenplum，但后者在百臺機器規模時就遇到瓶頸，給業務增長造成極大阻礙。
此外，Hadoop之類的開源技術在可靠性、安全性上也遭遇了天花板。
2008年，王堅帶著解決大規模算力瓶頸的任務加入阿里。他發現，無論是Oracle還是Greenplum、Hadoop，都不是大規模數據計算的最優解，必須自研一套自己的大數據處理平臺。
2009年這項關于大數據的技術長征開始。王堅帶隊，目標是自研大數據計算平臺MaxCompute統一阿里巴巴內部的數據和大數據計算體系。
事實證明，阿里做了正確的選擇。
四年攻堅，MaxCompute終于取得重大突破：2013年8月15日，阿里云歷史性地突破了同一個集群內5000臺服務器同時計算的局限，為未來的大規模服務奠定基礎。十年后，單集群規模已超過1萬臺，能做到這一能力的科技公司在全球都寥寥可數。
在阿里云云棲小鎮，還豎著一尊飛天5K的紀念碑，碑上刻著參與解決這一技術難題的技術人員名字。
通過大數據計算平臺，可以讓訂單實時準確匯聚，也可以精準預測變幻莫測的天氣變化，各行各業都在大規模使用大數據來提供更好的服務，而實現這一能力就是海量數據分析的結果。?
但要處理好這些數據并不容易。除了數據量的劇增，不同行業數據類型豐富多樣，如結構化數據、非結構化數據等，都給大數據計算平臺帶來新的挑戰。
MaxCompute的創新之處就是采用Datalake技術，把不同的數據源用類似的方式存儲，用統一的方法計算，提供一套標準化語言，快速實現不同類型數據的計算。
基于這套創新技術，2015、2016年，阿里云刷新世界計算奧運會SortBenchmark的六項世界紀錄；2017年，完成全球首次基于公共云的100TB BigBench大數據基準測試。
如何快速“查詢”也是大數據計算的核心之一。MaxCompute采用“交互式查詢”來解決海量數據查詢慢的瓶頸，通俗地說就是系統可以預判用戶將會做哪些查詢，提前準備，大大降低大規模數據查詢的時間。
此外，MaxCompute提出多租戶云安全隔離技術，突破傳統大數據平臺的安全局限，將安全邊界細化到用戶、進程、內核級別，完全滿足金融級的安全需求。
過去十年，MaxCompute能力不斷提升：單日數據處理量從2015年100PB，2016年180PB，到2017年320PB，再到2018年的單日處理超過600PB。
記錄被不斷刷新，并且得到了權威機構的認可：在Forrester發布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中，阿里云MaxCompute、DataWorks、ADB等三款產品成功入選，并在產品功能（Current Offering）方面力壓微軟。
這一世界級的大數據計算能力也逐漸展示其價值，幫助數萬企業用更低成本、更高效率計算海量數據，為社會和消費者提供服務。
在生活領域，墨跡天氣開始通過MaxCompute為4億用戶提供氣象預報服務，每天的用戶查詢超過5億次。不僅如此，它們的存儲和計算成本還令人意外地降低70%。
在交通領域，城市大腦在杭州實時指揮1300個紅綠燈路口、200多名交警。從2016年到2018年，杭州從全國最擁堵城市排行榜上下跌52名。
在工業領域，阿里云的大數據處理技術幫助制造企業尋找上千個參數的最優搭配，提升制造的良品率。協鑫光伏、天合光能等行業龍頭企業，都在嘗試這一全新的生產模式。
在政務領域，浙江最多跑一次通過大數據處理平臺打通政務數據，將與老百姓辦事最密切相關的100個事項70多億條數據，按照統一標準匯入統一的數據倉，實現共通共享共用。老百姓辦事不僅能最多跑一次，甚至有可能一次都不跑。
而在海外，MaxCompute也已進入新加坡、歐洲等市場，將這一技術對外賦能給更多用戶。
從線上到線下，從生產制造到互聯網電商，從國內到海外，MaxCompute的計算能力正在延伸到各行各業，極大地降低了社會的計算成本。
MaxCompute產品官網?https://www.aliyun.com/product/odps
閱讀原文
本文為云棲社區原創內容，未經允許不得轉載。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/11489.html
摘要：年，替換了支付寶支付系統中的數據庫。年，螞蟻金服全面去。土豪金工牌帶是螞蟻金服內部最高榮譽大獎。陳萌萌目前在螞蟻金服基礎數據部團隊負責相關方向的開發工作。 摘要： 兩萬字長文帶你了解關于OceanBase的一切！ showImg(https://segmentfault.com/img/bV6WYx?w=900&h=500); 2008年，王堅從微軟亞洲研究院常務副院長的位置上離職后，...
摘要：年，替換了支付寶支付系統中的數據庫。年，螞蟻金服全面去。土豪金工牌帶是螞蟻金服內部最高榮譽大獎。陳萌萌目前在螞蟻金服基礎數據部團隊負責相關方向的開發工作。 摘要： 兩萬字長文帶你了解關于OceanBase的一切！ showImg(https://segmentfault.com/img/bV6WYx?w=900&h=500); 2008年，王堅從微軟亞洲研究院常務副院長的位置上離職后，...
摘要：月日，云棲大會深圳峰會現場，阿里云發布并現場演示了阿里視頻云最新互聯網直播解決方案。這是全球發布的首個視頻云解決方案，也是全球首次互聯網視頻直播。接近年后，阿里云用一只淘公仔畫面，宣告了互聯網直播時代的來臨。 3月28日，云棲大會·深圳峰會現場，阿里云發布并現場演示了阿里視頻云最新8K互聯網直播解決方案。這是全球發布的首個8K視頻云解決方案，也是全球首次8K互聯網視頻直播。 showI...
閱讀 2337·2019-08-30 15:44
閱讀 1259·2019-08-30 13:01
閱讀 3305·2019-08-30 11:22
閱讀 3092·2019-08-29 15:23
閱讀 1613·2019-08-29 12:22
閱讀 3366·2019-08-26 13:58
閱讀 3438·2019-08-26 12:17
閱讀 3478·2019-08-26 12:16
