摘要：企業(yè)微信截圖企業(yè)微信截圖兼容最廣的一站式智能大數(shù)據(jù)平臺(tái)涵蓋了等眾多開(kāi)源大數(shù)據(jù)組件，支持對(duì)這些組件進(jìn)行運(yùn)維中臺(tái)建設(shè)數(shù)據(jù)開(kāi)發(fā)業(yè)務(wù)可視化等全棧式大數(shù)據(jù)開(kāi)發(fā)運(yùn)維管理。通過(guò)一站式智能大數(shù)據(jù)平臺(tái)支持的等分布式運(yùn)算框架，可以高效的進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)。

背景

在大數(shù)據(jù)業(yè)務(wù)系統(tǒng)中，所有技術(shù)棧生態(tài)均是圍繞著存儲(chǔ)進(jìn)行擴(kuò)展的，目前開(kāi)源的主流存儲(chǔ)技術(shù)棧主要包含如下 3 種類型：

· HDFS：Hadoop 系列套件，包含 Hive、Hbase、Phoenix 等；

· ElasticSearch：包含 Logstash、ElasticSearch、Kibana 等；

· Kudu：包含 Impala 等；

無(wú)論針對(duì)哪種存儲(chǔ)生態(tài)，其外層負(fù)責(zé)數(shù)據(jù)計(jì)算的技術(shù)棧很多都是通用的，例如Spark、Flink 幾乎支持讀寫(xiě)所有存儲(chǔ)生態(tài)中的數(shù)據(jù)。對(duì)于生產(chǎn)環(huán)境而言，選擇哪一種存儲(chǔ)生態(tài)，往往取決于業(yè)務(wù)形態(tài)以及業(yè)務(wù)部門(mén)對(duì)不同技術(shù)棧的熟練程度。

針對(duì)大數(shù)據(jù)生態(tài)中的眾多服務(wù)，Cloudera（CDH，支持HDFS、Kudu生態(tài)）與Ambari（HDP，支持HDFS生態(tài)） 提供了部署、管理、監(jiān)控、運(yùn)維大數(shù)據(jù)服務(wù)組件與大數(shù)據(jù)節(jié)點(diǎn)的能力。但隨著Cloudera與Ambari合二為一，CDH與 HDP合并為CDP發(fā)行版，在后續(xù)的版本中不再提供免費(fèi)版功能。這對(duì)于國(guó)內(nèi)企業(yè)的大數(shù)據(jù)業(yè)務(wù)無(wú)疑增加了不少開(kāi)發(fā)、運(yùn)維成本，如果繼續(xù)使用免費(fèi)的舊版本，將無(wú)法得到新特性的更新支持和BUG的及時(shí)修復(fù)。

在此背景下，UCloud基于多年大數(shù)據(jù)平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)，近日全新發(fā)布了針對(duì)私有化部署場(chǎng)景下的一站式智能大數(shù)據(jù)平臺(tái)USDP免費(fèi)版。免費(fèi)版USDP支持HDFS、Kudu、ES全生態(tài)，助力企業(yè)提升大數(shù)據(jù)開(kāi)發(fā)、運(yùn)維效率，快速構(gòu)建大數(shù)據(jù)業(yè)務(wù)的分析處理能力。

兼容最廣的一站式智能大數(shù)據(jù)平臺(tái)

USDP涵蓋了HDFS、Hive、Hbase、Spark、Flink、Presto、Atlas、Ranger 等眾多開(kāi)源大數(shù)據(jù)組件，支持對(duì)這些組件進(jìn)行運(yùn)維、中臺(tái)建設(shè)、數(shù)據(jù)開(kāi)發(fā)、業(yè)務(wù)可視化等全棧式大數(shù)據(jù)開(kāi)發(fā)運(yùn)維管理。USDP通過(guò)輕量、易用、傻瓜式的形態(tài)交付給用戶，支持對(duì)不同模塊進(jìn)行拆分，從而實(shí)現(xiàn)高度定制化，靈活匹配各垂直行業(yè)場(chǎng)景下的需求。

目前，UCloud一站式智能大數(shù)據(jù)平臺(tái)USDP所支持的服務(wù)如表格所示，同時(shí)還在持續(xù)拓展更多開(kāi)源生態(tài)組件服務(wù)。

相比Cloudera（CDH、CDP）、Ambari（HDP），USDP支持更多豐富的大數(shù)據(jù)服務(wù)包括Flink、Kylin、Livy、Phoenix、Tez、Elasticsearch、Kibana、Azkaban、Presto、Atlas、Kafka Eagle、ZKUI等，幾乎涵蓋了所有主流技術(shù)框架，且所支持的大數(shù)據(jù)服務(wù)之間完全兼容，用戶可以靈活選擇、按需使用。此外，UCloud大數(shù)據(jù)技術(shù)團(tuán)隊(duì)持續(xù)跟進(jìn)開(kāi)源社區(qū)進(jìn)展以及產(chǎn)品反饋，對(duì)潛在的 Bug 進(jìn)行及時(shí)修復(fù)，用戶無(wú)需再考慮大數(shù)據(jù)服務(wù)之間的適配問(wèn)題。在CDH訂閱付費(fèi)模式下，免費(fèi)版USDP無(wú)疑是當(dāng)下大數(shù)據(jù)開(kāi)發(fā)運(yùn)維的最佳選擇！

自研管理組件，安全可靠性更高

USDP作為UCloud大數(shù)據(jù)團(tuán)隊(duì)自主研發(fā)的一站式智能大數(shù)據(jù)平臺(tái)，其整體架構(gòu)如下圖所示：

上圖中，Manager Server為USDP管理端服務(wù)，需配備一個(gè)MySQL實(shí)例存儲(chǔ)集群相關(guān)的元數(shù)據(jù)信息。Agent為USDP從節(jié)點(diǎn)控制端服務(wù)，用于管理、操作所在節(jié)點(diǎn)以及所在節(jié)點(diǎn)上的大數(shù)據(jù)服務(wù)。其中BigData Service為各類大數(shù)據(jù)服務(wù)（例如：HDFS、YARN等）。

InfluxDB、Prometheus、Grafana作為監(jiān)控服務(wù)，用于匯總并展示整個(gè)集群的監(jiān)控?cái)?shù)據(jù)。

USDP支持最少3個(gè)節(jié)點(diǎn)，最多上千節(jié)點(diǎn)的集群規(guī)模，同時(shí)，允許Manager Server與Agent等相關(guān)服務(wù)部署在相同的節(jié)點(diǎn)上，這樣滿足大型業(yè)務(wù)的同時(shí)，也盡可能幫助用戶使用較小的成本滿足小型業(yè)務(wù)對(duì)數(shù)據(jù)分析的訴求。

USDP一站式智能大數(shù)據(jù)平臺(tái)的核心優(yōu)勢(shì)

無(wú)需擔(dān)心業(yè)務(wù)綁定

USDP中所包含的大數(shù)據(jù)服務(wù)、組件，均滿足 Apache 2.0開(kāi)源協(xié)議，UCloud大數(shù)據(jù)團(tuán)隊(duì)在做過(guò)大量兼容性測(cè)試后，積極回饋社區(qū)，并將編譯后的兼容包全面公開(kāi)發(fā)布。由于本身緊跟開(kāi)源社區(qū)的步伐，用戶可以隨時(shí)進(jìn)行自主替換、自主建設(shè)、自主數(shù)據(jù)遷移、集群遷移等，因此無(wú)需擔(dān)心大數(shù)據(jù)業(yè)務(wù)與閉源服務(wù)綁定。

傻瓜式部署方式

為了能讓用戶體驗(yàn)到極簡(jiǎn)的大數(shù)據(jù)部署運(yùn)維、管理方案，USDP提供了豐富詳細(xì)的部署、操作文檔，并且用戶無(wú)需擔(dān)心安裝時(shí)準(zhǔn)備眾多內(nèi)容，初始化環(huán)境只需要簡(jiǎn)單幾步，即可自動(dòng)完成配置。

1-環(huán)境檢查

2-服務(wù)部署

全面豐富的監(jiān)控指標(biāo)

USDP預(yù)置的監(jiān)控指標(biāo)主要包含三部分內(nèi)容：

? JMX全量指標(biāo)采集

? Http常用指標(biāo)采集

? 自定義指標(biāo)采集

以上三部分監(jiān)控?cái)?shù)據(jù)最終將匯總于USDP的 Promethues中，并在每個(gè)服務(wù)的概覽頁(yè)面中，展示最常用的監(jiān)控指標(biāo)，同時(shí)，在Grafana中，通過(guò) USDP官方預(yù)置的監(jiān)控模板（Dashboard），用戶可以查看最詳細(xì)監(jiān)控指標(biāo)。如果USDP預(yù)置的監(jiān)控圖標(biāo)無(wú)法滿足業(yè)務(wù)需求，用戶也可以自定義添加所需的監(jiān)控圖表。

靈活便捷的告警服務(wù)

USDP提供預(yù)置的告警模板，用戶只需要引導(dǎo)進(jìn)行簡(jiǎn)單配置，即可實(shí)現(xiàn)向不同目標(biāo)（微信、釘釘、郵件、接口調(diào)用等）發(fā)送集群指標(biāo)告警的需求。與監(jiān)控指標(biāo)的設(shè)計(jì)相似，如果用戶認(rèn)為預(yù)置的告警模板無(wú)法滿足業(yè)務(wù)需求，也可以自定義對(duì)告警模板進(jìn)行修改，或添加新的告警規(guī)則。

**專業(yè)的技術(shù)支持
**
UCloud大數(shù)據(jù)團(tuán)隊(duì)積淀了多年公有云大數(shù)據(jù)運(yùn)維和業(yè)務(wù)調(diào)優(yōu)經(jīng)驗(yàn)，通過(guò)持續(xù)更新的文檔知識(shí)庫(kù)，為用戶提供專家級(jí)技術(shù)支持，解決使用USDP的后顧之憂。

反哺開(kāi)源社區(qū)

USDP免費(fèi)版中所使用的開(kāi)源、全面兼容優(yōu)化后的服務(wù)包，將反哺回開(kāi)源社區(qū)，為開(kāi)發(fā)者提供免費(fèi)的下載渠道。

USDP解鎖豐富的大數(shù)據(jù)場(chǎng)景

使用USDP一站式智能大數(shù)據(jù)平臺(tái)，可以在各行各業(yè)中實(shí)現(xiàn)如下應(yīng)用場(chǎng)景。

數(shù)據(jù)倉(cāng)庫(kù)

目前國(guó)內(nèi)常用的數(shù)倉(cāng)模型為維度數(shù)倉(cāng)，即按照事實(shí)表、維度表來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市。通過(guò)USDP一站式智能大數(shù)據(jù)平臺(tái)，用戶可以部署構(gòu)建維度數(shù)倉(cāng)所需的各項(xiàng)服務(wù)，幫助企業(yè)快速構(gòu)建數(shù)據(jù)中臺(tái)。

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)通過(guò)算法對(duì)大量數(shù)據(jù)進(jìn)行分析，挖掘出其中蘊(yùn)含的規(guī)律，并用于事物預(yù)測(cè)或者分類，有大量的計(jì)算需求。通過(guò)USDP一站式智能大數(shù)據(jù)平臺(tái)支持的Spark、Flink等分布式運(yùn)算框架，可以高效的進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)。

信息檢索

從海量數(shù)據(jù)中快速檢索到所需信息，一直是數(shù)據(jù)應(yīng)用的重要領(lǐng)域，USDP一站式智能大數(shù)據(jù)平臺(tái)集成了分布式搜索和分析引擎Elasticsearch以及實(shí)時(shí)檢索數(shù)據(jù)庫(kù)Hbase、數(shù)倉(cāng)服務(wù)Kylin等，能夠提供高效的數(shù)據(jù)檢索能力，可用于構(gòu)建企業(yè)級(jí)搜索引擎、日志管理系統(tǒng)等。

最后，敲黑板劃重點(diǎn)：UCloud一站式智能大數(shù)據(jù)平臺(tái)USDP免費(fèi)版誠(chéng)邀大家參考以下方式進(jìn)行下載使用。

附USDP資源下載地址：

? US3：

https://s3-cn-bj.ufileos.com/jungle111111/usdp-1.0.0.0/install/usdp-free-1.0.0.tar.gz

? 百度網(wǎng)盤(pán)：

鏈接：

https://pan.baidu.com/s/1mlic-9ZbK4are52zh1mKfw

提取碼:spp9

                                       文章來(lái)源：UCloud云計(jì)算