摘要：阿里云成為唯一入選的中國產(chǎn)品。在阿里云的眾多產(chǎn)品中，和共同構(gòu)成了服務(wù)能力的核心。作為大數(shù)據(jù)能力賦能的重要手段，出現(xiàn)在了等阿里云專有云解決方案中。利用云計(jì)算技術(shù)，互聯(lián)網(wǎng)公司得以快速的將自身的大數(shù)據(jù)處理能力對外賦能。

本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13, 2018)進(jìn)行了分析，文中內(nèi)容僅代表個(gè)人觀點(diǎn)。

2018年3月13日Forrester發(fā)布了Now Tech: Cloud Data Warehouse Q1 2018報(bào)告。報(bào)告對云化數(shù)據(jù)倉庫（Cloud Data Warehouse, CDW）的主要功能、區(qū)域表現(xiàn)、細(xì)分市場和典型客戶等進(jìn)行了全面評估，最終AWS、阿里云、Google、微軟四大巨頭殺入全球一線陣營。阿里云DataWorks+MaxCompute成為唯一入選的中國產(chǎn)品。

報(bào)告中，F(xiàn)orrester強(qiáng)調(diào)了CDW的四方面核心能力：

靈活部署。CDW應(yīng)具有多種靈活的部署模式。針對小型客戶，CDW應(yīng)可提供在線多租戶的模式，使客戶有能力快速調(diào)集計(jì)算資源，在數(shù)分鐘內(nèi)完成數(shù)據(jù)倉庫的部署。針對大中型客戶，CDW應(yīng)提供獨(dú)占式或本地部署的模式，提供強(qiáng)大的計(jì)算性能和絕對的安全保障，同時(shí)屏蔽復(fù)雜的技術(shù)細(xì)節(jié)；

高效數(shù)據(jù)上云。對于未將數(shù)據(jù)倉庫云化的客戶，或者采用線上-線下混合架構(gòu)的客戶，CDW應(yīng)提供快速、低成本的方式，幫助用戶完成數(shù)據(jù)集成。

多樣化分析手段。CDW應(yīng)提供多種技術(shù)手段，幫助用戶在各種業(yè)務(wù)場景中，獲得想要的數(shù)據(jù)加工能力。

安全性。CDW的安全性應(yīng)全面考慮數(shù)據(jù)加密、審計(jì)、脫敏、訪問控制等各方面。

DataWorks（https://data.aliyun.com/produ...）作為阿里巴巴CDW服務(wù)能力的核心，為何能獲得Forrester的青睞呢？今天我們來做一個(gè)解讀。

在正式開始解讀之前，我們先來了解一下DataWorks在阿里云CDW服務(wù)體系中的角色，以及DataWorks的產(chǎn)品架構(gòu)。

在阿里云的眾多產(chǎn)品中，DataWorks和MaxCompute共同構(gòu)成了CDW服務(wù)能力的核心。其中，MaxCompute作為存儲(chǔ)計(jì)算引擎，扮演了IaaS層支撐的角色，為使用者提供了海量可靠的大數(shù)據(jù)表存儲(chǔ)，以及SQL執(zhí)行的能力。但是，僅僅有了MaxCompute是不夠的。為了讓大數(shù)據(jù)技術(shù)能真正的給客戶賦能，還需要數(shù)據(jù)開發(fā)、數(shù)據(jù)集成等一系列CDW服務(wù)，而DataWorks就提供了較為完整的解決方案。

具體來看，她包含8個(gè)主要模塊：

數(shù)據(jù)集成：異構(gòu)數(shù)據(jù)集成，將海量的數(shù)據(jù)從各種源系統(tǒng)匯集到大數(shù)據(jù)平臺(tái)

數(shù)據(jù)開發(fā)：數(shù)據(jù)倉庫設(shè)計(jì)和ETL開發(fā)過程

監(jiān)控運(yùn)維：ETL線上作業(yè)的運(yùn)維監(jiān)控

實(shí)時(shí)分析：實(shí)時(shí)探查和分析數(shù)據(jù)

數(shù)據(jù)資產(chǎn)管理：元數(shù)據(jù)管理、數(shù)據(jù)地圖、數(shù)據(jù)血緣、數(shù)據(jù)資產(chǎn)大圖等

數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量探查、監(jiān)控、校驗(yàn)和評分體系

數(shù)據(jù)安全：數(shù)據(jù)權(quán)限管理，數(shù)據(jù)的分級打標(biāo)、脫敏，以及數(shù)據(jù)審計(jì)

數(shù)據(jù)服務(wù)：數(shù)據(jù)共享和數(shù)據(jù)交換，數(shù)據(jù)API服務(wù)

Forrester在報(bào)告中大篇幅的闡述了多種部署形態(tài)的必要性，并對多家CDW進(jìn)行了對比，而DataWorks是第一陣營中為數(shù)不多的提供多種部署方式的產(chǎn)品。

首先，作為阿里巴巴集團(tuán)數(shù)據(jù)中臺(tái)體系的核心，DataWorks從2009年開始便支持阿里集團(tuán)、螞蟻金服、菜鳥等全集團(tuán)業(yè)務(wù)。只要使用了淘寶、天貓、螞蟻金服等產(chǎn)品的數(shù)據(jù)服務(wù)，就有可能間接使用了DataWorks的計(jì)算服務(wù)。

其次，DataWorks已在公有云中開放。截止目前，DataWorks已服務(wù)4000+公有云客戶，支撐了新浪微博、人人車、天弘基金等重要客戶。

最后，DataWorks還支持專有云輸出。作為大數(shù)據(jù)能力賦能的重要手段，DataWorks出現(xiàn)在了Apsara Enterprise等阿里云專有云解決方案中。從2015年至今，已支撐了包括“城市大腦”、“最多跑一次”等重量級政企項(xiàng)目。

通過靈活的部署方式，DataWorks可以滿足多種不同形態(tài)的客戶需求。對于小型用戶，可以通過公有云方式靈活支撐；對于大中型客戶，專有云或混合云的解決方案也完全可以滿足客戶需求。

高效的數(shù)據(jù)集成方式對企業(yè)數(shù)據(jù)上云的意義不言而喻。在初始上云階段，企業(yè)需要把自己的數(shù)據(jù)資產(chǎn)快速安全的遷移到云上；在持續(xù)運(yùn)營階段，企業(yè)需要將各種形態(tài)的數(shù)據(jù)輸入到CDW中，并將CDW中加工完成的數(shù)據(jù)結(jié)果輸出到各個(gè)業(yè)務(wù)單元。

DataWorks的數(shù)據(jù)集成提供了對多種類型數(shù)據(jù)源進(jìn)行讀寫的能力，包括對關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、大數(shù)據(jù)數(shù)據(jù)庫、文本存儲(chǔ)（FTP）等，能對數(shù)據(jù)源頭的數(shù)據(jù)資源能夠進(jìn)行統(tǒng)一清點(diǎn)，并能夠在復(fù)雜網(wǎng)絡(luò)情況下對異構(gòu)的數(shù)據(jù)源進(jìn)行數(shù)據(jù)同步與集成。在具體的導(dǎo)入任務(wù)編排上，DataWorks支持離線數(shù)據(jù)的批量、全量、增量同步，支持分鐘、天、小時(shí)、周、月來自定義同步時(shí)間。

DataWorks的數(shù)據(jù)集成還具有數(shù)據(jù)流管控的能力，能夠從臟數(shù)據(jù)、數(shù)據(jù)流速、并發(fā)線程數(shù)等多個(gè)維度管控?cái)?shù)據(jù)流的行為，多方位節(jié)約用戶成本，實(shí)現(xiàn)精益化管理。

DataWorks提供了強(qiáng)大的數(shù)據(jù)開發(fā)IDE，支持從SQL代碼編輯、集成任務(wù)編輯到業(yè)務(wù)流程DAG圖的可視化編輯。而多人在線協(xié)作功能和任務(wù)腳本的版本管理功能也非常切合企業(yè)級數(shù)據(jù)開發(fā)的實(shí)際需求。除了常規(guī)的離線處理任務(wù)外，DataWorks還提供了輕量級工具“數(shù)據(jù)分析工作臺(tái)”，充分利用MaxCompute的計(jì)算能力，滿足用戶即席數(shù)據(jù)分析的需求。

據(jù)悉，DataWorks近日還更新了拖曳式業(yè)務(wù)流程編輯功能，進(jìn)一步改善用戶體驗(yàn)，打造可能是最好用的數(shù)據(jù)開發(fā)IDE。

DataWorks將數(shù)據(jù)安全能力視為重中之重，敏感數(shù)據(jù)防護(hù)更需要符合行業(yè)規(guī)定和數(shù)據(jù)隱私法律等規(guī)定。DataWorks提供了數(shù)據(jù)安全模塊，通過以下幾方面提供了全方位的數(shù)據(jù)安全保護(hù)：

·多租戶隔離。DataWorks擁有自己的多租戶權(quán)限模型。租戶可按需申請資源配額，獨(dú)立管理自己的資源；租戶也可以獨(dú)立管理自有的數(shù)據(jù)、權(quán)限、用戶、角色，彼此隔離，以確保數(shù)據(jù)安全。

·數(shù)據(jù)安全等級設(shè)定。通過數(shù)據(jù)安全等級，發(fā)現(xiàn)和定位敏感數(shù)據(jù)，明確其在數(shù)據(jù)資源平臺(tái)上的分布情況，根據(jù)定義的敏感數(shù)據(jù)類型自動(dòng)發(fā)現(xiàn)敏感數(shù)據(jù)，并為其分級分類。通常分為絕密、機(jī)密、正常等等級進(jìn)行對應(yīng)安全規(guī)則保障。

·數(shù)據(jù)訪問審計(jì)。DataWorks對于特權(quán)用戶的訪問有嚴(yán)格的審查流程，包括何時(shí)訪問，執(zhí)行哪些操作，執(zhí)行順序等等。記錄審計(jì)特權(quán)用戶的訪問記錄，可以確保特權(quán)用戶在正確的時(shí)間完成了正確的操作，審查是否有越軌行為的出現(xiàn)，進(jìn)而保證數(shù)據(jù)系統(tǒng)的安全。

·數(shù)據(jù)脫敏。DataWorks能夠在在不確定能夠排除那些用戶，那些訪問地址，甚至那些字段為可疑或者有害訪問時(shí)，關(guān)注數(shù)據(jù)內(nèi)容本身，抓住敏感信息點(diǎn)，并有針對性地對該部分信息進(jìn)行動(dòng)態(tài)訪問遮蔽，從而達(dá)到保護(hù)數(shù)據(jù)安全的目的。

目前，DataWorks已通過了公安部信息安全等級保護(hù)三級認(rèn)證。

隨著社會(huì)各行各業(yè)“互聯(lián)網(wǎng)+”改革的深入，企業(yè)對數(shù)據(jù)資產(chǎn)的管理、加工、利用的訴求越來越強(qiáng)烈。利用云計(jì)算技術(shù)，互聯(lián)網(wǎng)公司得以快速的將自身的大數(shù)據(jù)處理能力對外賦能。這也是在Forrester的榜單中，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉技術(shù)公司，成為一線CDW供應(yīng)商的原因。

得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級需求的高度契合。

據(jù)了解，DataWorks還會(huì)持續(xù)輸出更多先進(jìn)的數(shù)據(jù)管理理念，包括實(shí)時(shí)數(shù)據(jù)集成、數(shù)據(jù)資產(chǎn)分析等。將云計(jì)算技術(shù)與數(shù)倉管理方法論有機(jī)結(jié)合，保持不斷迭代，致力于打造“最適合于大數(shù)據(jù)數(shù)倉建設(shè)的平臺(tái)”，我想這正是DataWorks入選Forrester CDW榜單的原因。

原文鏈接