云計(jì)算和大數(shù)據(jù)：成功組合指南

XBaron 發(fā)布于2019-04-25 17:36 / 2292人閱讀

摘要：云和大數(shù)據(jù)也不例外。最終觀點(diǎn)基于以上考慮建立一套固有的基礎(chǔ)架構(gòu)，你將會(huì)看到大數(shù)據(jù)和云之間是一種天作之合的組合。

在2013年三月音樂(lè)電影藝術(shù)節(jié)上，Motley Fool的Tim Byers說(shuō)過(guò)：在很多方面，云和大數(shù)據(jù)越來(lái)越密不可分且功能相似-云資源用來(lái)支撐大數(shù)據(jù)的存儲(chǔ)及項(xiàng)目，而且大數(shù)據(jù)相對(duì)于云來(lái)說(shuō)是一個(gè)龐大的業(yè)務(wù)案例。大數(shù)據(jù)和云技術(shù)的最終聯(lián)姻，必定是天作之合。

??? 聽(tīng)起來(lái)雖然浪漫，但我們知道一種深度組合不可能在一夜之間就發(fā)生，它需要付出很多努力。云和大數(shù)據(jù)也不例外。

?? 大數(shù)據(jù)能帶來(lái)什么?

在這個(gè)過(guò)份炒作的組合里，大數(shù)據(jù)除了那些好聽(tīng)的名詞，大數(shù)據(jù)本身責(zé)任重大，大數(shù)據(jù)所有所要做的就是為你的組織機(jī)構(gòu)帶來(lái)有用的信息。但在把大數(shù)據(jù)技術(shù)應(yīng)用前，請(qǐng)先回答以下這些問(wèn)題：

?? ●?你擁有的數(shù)據(jù)到底有多龐大，你目前的架構(gòu)能保證擴(kuò)展這些量嗎？

?? ●?你的數(shù)據(jù)在結(jié)構(gòu)、半結(jié)構(gòu)、非結(jié)構(gòu)方面有什么特征？目前來(lái)說(shuō)，你的系統(tǒng)架構(gòu)和技術(shù)是否能支撐這些不同類型的數(shù)據(jù)？

?? ●?你的數(shù)據(jù)來(lái)自哪里？?jī)?nèi)部？外部? 開(kāi)源數(shù)據(jù)？大數(shù)據(jù)隨之帶來(lái)是豐富的數(shù)據(jù)源，包括快速增長(zhǎng)的新舊數(shù)據(jù)。??

最重要的是：在大數(shù)據(jù)真正應(yīng)用初期，需要界定業(yè)務(wù)問(wèn)題及大數(shù)據(jù)所能帶來(lái)的價(jià)值。

?? 云能帶來(lái)什么?

?? 如果大數(shù)據(jù)真的是主角，那么云則帶來(lái)可靠、穩(wěn)定的基礎(chǔ)，例如，基礎(chǔ)架構(gòu)，提供一些多樣化的架構(gòu)選擇：

?? ●?內(nèi)部私有云：虛擬化、基于內(nèi)部防火墻專注體系架構(gòu)

?? ●?外部私有云：共享的、基于外部防火墻可定制的主機(jī)體系架構(gòu)

?? ●?共有云：基于第三方的共享主機(jī)體系結(jié)構(gòu)

?? ●?混合云：基于自有部署、私有云（內(nèi)部、外部）和公有云的環(huán)境

云也同時(shí)加速了變革、敏捷化、高速擴(kuò)容及低成本的組合。

逐步變得得心應(yīng)手

如果你回答了所有我提出的關(guān)于大數(shù)據(jù)的問(wèn)題，同時(shí)理解云能帶來(lái)什么，那你就可以去冒險(xiǎn)了。但是像其它組合一樣，這個(gè)過(guò)程中有一些事你需要搞清楚，下面七點(diǎn)你需要考慮一下：

開(kāi)源代碼：

??? 開(kāi)源軟件是大數(shù)據(jù)的核心，特別是Hadoop和它很眾多相關(guān)的項(xiàng)目。好消息是開(kāi)源軟件是免費(fèi)的，但是不管是自我部署還是安裝在云中，都需要對(duì)整個(gè)開(kāi)源體系有個(gè)固有的理解。

數(shù)據(jù)存儲(chǔ)及處理:

??? 大數(shù)據(jù)有很多要處理的階段，包括篩選、預(yù)處理、處理、長(zhǎng)期或短期的數(shù)據(jù)存儲(chǔ)。每個(gè)階段都可能用到云體系的不同方面。例如，你可以在私有內(nèi)部云中篩選和預(yù)處理數(shù)據(jù)令其以結(jié)構(gòu)化、自我部署;在私有云中處理結(jié)構(gòu)化的數(shù)據(jù);在公有云中長(zhǎng)期存儲(chǔ)數(shù)據(jù)。

技術(shù):

??? 大數(shù)據(jù)所用的到技術(shù)在企業(yè)內(nèi)部無(wú)法獲取，像開(kāi)源軟件（如：Hadoop)，云集成，安全及分析工具，這些技術(shù)非常少但非常重要，是業(yè)務(wù)分析師和數(shù)據(jù)科學(xué)家在整個(gè)云里都會(huì)用到。

支持:

??? 對(duì)于大數(shù)據(jù)需要的軟硬件及技術(shù)，一個(gè)組織需要決定誰(shuí)能對(duì)整個(gè)可擴(kuò)展體系統(tǒng)進(jìn)行支持，如果你只是對(duì)內(nèi)部私有云感興趣，那么IT部門(mén)就能管理它。但是你關(guān)心的防火墻外的，你需要第三方的支持，例如軟件供應(yīng)商或是云服務(wù)提供商，通過(guò)他們來(lái)維護(hù)及管理它的架構(gòu)體系。

性能:

??? 隨著數(shù)據(jù)越來(lái)越多，性能的問(wèn)題也會(huì)隨之而來(lái)，如果數(shù)據(jù)跨國(guó)家跨洲存儲(chǔ)，你需要考慮在上傳數(shù)據(jù)及訪問(wèn)數(shù)據(jù)帶來(lái)的網(wǎng)路情況，其結(jié)果會(huì)是糟透的.數(shù)據(jù)訪問(wèn)量會(huì)為系統(tǒng)架構(gòu)帶來(lái)瓶勁同時(shí)用戶滿意度降低。

集成:

??? 在大數(shù)據(jù)的早期階段，不管是自我部署或是云，你只是在多帶帶的環(huán)境處理數(shù)據(jù)。接下來(lái)，你想把數(shù)據(jù)和現(xiàn)有的應(yīng)用、系統(tǒng)、過(guò)程進(jìn)行集成。這種云與內(nèi)外部系統(tǒng)的集成迫使公司重新檢測(cè)現(xiàn)有的技術(shù)。

隱私:

通過(guò)大數(shù)據(jù)，企業(yè)機(jī)構(gòu)很容易從現(xiàn)有或加工后的數(shù)據(jù)獲取信息，例如社交，開(kāi)源及機(jī)器學(xué)習(xí)數(shù)據(jù)，并且與現(xiàn)有的業(yè)務(wù)和分析數(shù)據(jù)進(jìn)行組合，這是之前從未發(fā)生過(guò)的。這對(duì)于客戶將產(chǎn)生神奇而且變革性分析層面。但是與之而來(lái)也存在挑戰(zhàn)，這些分析層面很有可能會(huì)侵犯客戶的隱私，需要非常留心。

最終觀點(diǎn)：基于以上考慮建立一套固有的基礎(chǔ)架構(gòu)，你將會(huì)看到大數(shù)據(jù)和云之間是一種天作之合的組合。

簡(jiǎn)介: Tamara Dull，SAS Emerging Technologies的董事，超過(guò)25年技術(shù)服務(wù)經(jīng)驗(yàn)，在數(shù)據(jù)分析，設(shè)計(jì)，開(kāi)發(fā)方面很強(qiáng)的實(shí)力。