国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

數(shù)據(jù)遷移工具輔助向云端遷移

scq000 / 3104人閱讀

摘要:如果我們可以克服一些數(shù)據(jù)遷移的挑戰(zhàn),將一個(gè)數(shù)據(jù)倉(cāng)庫(kù)以及其數(shù)據(jù)分析工具從數(shù)據(jù)中心中的專用服務(wù)器轉(zhuǎn)移到基于云的文件系統(tǒng)和數(shù)據(jù)庫(kù)就可以解決這個(gè)問(wèn)題。數(shù)據(jù)遷移工具輔助向云端遷移從數(shù)據(jù)庫(kù)抽取數(shù)據(jù)很容易,從數(shù)據(jù)庫(kù)中有效挖掘大容量數(shù)據(jù)確是一項(xiàng)挑戰(zhàn)。

云計(jì)算和數(shù)據(jù)倉(cāng)庫(kù)是合理的一對(duì)。云存儲(chǔ)可以按需擴(kuò)展,云可以將大量服務(wù)器貢獻(xiàn)于某一具體任務(wù)。數(shù)據(jù)倉(cāng)庫(kù)通用功能是本地?cái)?shù)據(jù)分析工具,受到計(jì)算和存儲(chǔ)資源的限制,同時(shí)也受到設(shè)計(jì)者考慮新數(shù)據(jù)源集成的能力的限制。如果我們可以克服一些數(shù)據(jù)遷移的挑戰(zhàn),將一個(gè)數(shù)據(jù)倉(cāng)庫(kù)以及其數(shù)據(jù)分析工具從數(shù)據(jù)中心中的專用服務(wù)器轉(zhuǎn)移到基于云的文件系統(tǒng)和數(shù)據(jù)庫(kù)就可以解決這個(gè)問(wèn)題。

云端數(shù)據(jù)管理通常牽扯到在分布式文件系統(tǒng)中加載和維護(hù)文件,像Hadoop分布式文件系統(tǒng)(HDFS),隨后用類似MapReduce這樣的工具處理數(shù)據(jù)。對(duì)于數(shù)據(jù)倉(cāng)庫(kù)和其他的分析人物,像Hive這樣的數(shù)據(jù)庫(kù)工具在分布式文件系統(tǒng)之上提供了類SQL的功能。

盡管傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)和云端非關(guān)系型數(shù)據(jù)庫(kù)之間可以并行描述,但是在兩個(gè)片段之間轉(zhuǎn)移數(shù)據(jù)時(shí),不同的運(yùn)行方式會(huì)導(dǎo)致問(wèn)題。抽取轉(zhuǎn)換和加載流程甚至?xí)斐筛嗵魬?zhàn)。

數(shù)據(jù)遷移工具輔助向云端遷移

從數(shù)據(jù)庫(kù)抽取數(shù)據(jù)很容易,從數(shù)據(jù)庫(kù)中有效挖掘大容量數(shù)據(jù)確是一項(xiàng)挑戰(zhàn)。如果由于數(shù)據(jù)量的增長(zhǎng),數(shù)據(jù)倉(cāng)庫(kù)面臨性能或者存儲(chǔ)問(wèn)題,可能就是時(shí)候考慮使用運(yùn)資源了。下面提供了一些工具來(lái)協(xié)助從關(guān)系型數(shù)據(jù)庫(kù)加載數(shù)據(jù)到云文件系統(tǒng)和數(shù)據(jù)庫(kù)。

專業(yè)工具,像Sqoop(SQL-to-Hadoop)生成代碼從關(guān)系型數(shù)據(jù)庫(kù)抽取數(shù)據(jù),并將其拷貝到HDFS或者Hive。Sqoop使用JDBC驅(qū)動(dòng),同多種類型的關(guān)系型數(shù)據(jù)庫(kù)工作,但是通過(guò)JDBC推出大量數(shù)據(jù)導(dǎo)致了性能成本。

為了遷移到云端,從關(guān)系型數(shù)據(jù)庫(kù)抽取數(shù)據(jù)時(shí),你可能需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換。如果你所工作的所有數(shù)據(jù)來(lái)自于單一數(shù)據(jù)庫(kù),就可以在源數(shù)據(jù)庫(kù)中進(jìn)行轉(zhuǎn)換。如果從兩個(gè)分離的系統(tǒng)合并數(shù)據(jù),在抽取之后再轉(zhuǎn)移數(shù)據(jù)源更有效。然而,你應(yīng)該在加載數(shù)據(jù)到最終數(shù)據(jù)存儲(chǔ)庫(kù)之前做這些。Cascading數(shù)據(jù)處理API可以協(xié)助這項(xiàng)任務(wù)的進(jìn)行。

Cascading提供了運(yùn)行在Hadoop之上的功能,像工作流處理計(jì)劃和調(diào)度。就比如說(shuō),它同管道過(guò)濾器工作;數(shù)據(jù)應(yīng)用過(guò)濾器通過(guò)管道從一個(gè)源流到目的源。其他功能像grouping可以應(yīng)用于數(shù)據(jù)流。Cascading用Java實(shí)現(xiàn),在MapReduce工作中調(diào)用轉(zhuǎn)換API。

如果你正在同MySQL共事,Sqoop介意使用MySQL轉(zhuǎn)儲(chǔ)功能繞離JDBC并更加有效地抽取數(shù)據(jù)。Sqoop也可以生成Java類,這個(gè)類可以用于操縱加載數(shù)據(jù)并將其直接導(dǎo)入Hive。HIHO (Hadoop Input and Output)從關(guān)系型表抽取數(shù)據(jù)并提供一些基本的轉(zhuǎn)換服務(wù),像去重以及合并輸入流。

當(dāng)生成文件在將其加載到HDFS文件系統(tǒng)或者Hive數(shù)據(jù)倉(cāng)庫(kù)之前,要求最小化轉(zhuǎn)換,你就能直接加載文件了。在確定目標(biāo)表和分割規(guī)格后,Hive有一個(gè)命令來(lái)加載數(shù)據(jù)。Pig是數(shù)據(jù)分析程序的一種高水平語(yǔ)言,尤其是和Java中的MapReduce編碼對(duì)比的時(shí)候。它提供了一種基本的統(tǒng)計(jì)函數(shù),你可以在關(guān)系型數(shù)據(jù)庫(kù)中找到(像minmaxcount),在數(shù)學(xué)和字符串處理功能中也能找到。Pig支持架構(gòu)化和非結(jié)構(gòu)化文本文件的壓縮。

云計(jì)算資源補(bǔ)充了數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)架構(gòu)。然而,為將數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)移到云端的利益較大化,適當(dāng)結(jié)構(gòu)化數(shù)據(jù)并使用正確的數(shù)據(jù)分析工具很重要。

TechTarget中國(guó)原創(chuàng)內(nèi)容,原文鏈接:http://www.searchcloudcomputing.com.cn/showcontent_58751.htm

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://specialneedsforspecialkids.com/yun/3562.html

相關(guān)文章

  • 如何克服云端數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)遷移問(wèn)題?

    摘要:如果我們可以克服一些數(shù)據(jù)遷移的挑戰(zhàn),將一個(gè)數(shù)據(jù)倉(cāng)庫(kù)以及其數(shù)據(jù)分析工具從數(shù)據(jù)中心中的專用服務(wù)器轉(zhuǎn)移到基于云的文件系統(tǒng)和數(shù)據(jù)庫(kù)就可以解決這個(gè)問(wèn)題。數(shù)據(jù)遷移工具輔助向云端遷移從數(shù)據(jù)庫(kù)抽取數(shù)據(jù)很容易,從數(shù)據(jù)庫(kù)中有效挖掘大容量數(shù)據(jù)確是一項(xiàng)挑戰(zhàn)。 云計(jì)算和數(shù)據(jù)倉(cāng)庫(kù)是合理的一對(duì)。云存儲(chǔ)可以按需擴(kuò)展,云可以將大量服務(wù)器貢獻(xiàn)于某一具體任務(wù)。數(shù)據(jù)倉(cāng)庫(kù)通用功能是本地?cái)?shù)據(jù)分析工具,受到計(jì)算和存儲(chǔ) 資源的限制,同時(shí)也...

    sumory 評(píng)論0 收藏0
  • 一文看懂:云爆發(fā)的定義與應(yīng)用

    摘要:這種情況并非完全是一個(gè)云爆發(fā)的場(chǎng)景,因?yàn)楦鶕?jù)定義,爆發(fā)意味著工作負(fù)載在一段時(shí)間內(nèi)被移動(dòng)到云端,然后最終返回到內(nèi)部部署。在這種情況下,云爆發(fā)將是其設(shè)計(jì)的固有特征。如今,公共云已迅速成為構(gòu)建IT基礎(chǔ)設(shè)施的一種簡(jiǎn)單而無(wú)障礙的方式。如果企業(yè)已經(jīng)擁有內(nèi)部部署系統(tǒng),那么在某些時(shí)候,可能就會(huì)希望將內(nèi)部部署和外部部署整合在一起。而實(shí)現(xiàn)這一目標(biāo)的一種方法是采用云爆發(fā),但云爆發(fā)究竟是什么?以及爆發(fā)在云端意味著什...

    LeanCloud 評(píng)論0 收藏0
  • 成功進(jìn)行云遷移的12個(gè)關(guān)鍵步驟

    摘要:以下概述了成功的云遷移所涉及的主要步驟。是大多數(shù)云遷移的典型模型。企業(yè)對(duì)云遷移的優(yōu)先級(jí)要特別小心謹(jǐn)慎。云計(jì)算架構(gòu)師必須考慮整個(gè)部署范圍,并在執(zhí)行實(shí)際工作負(fù)載遷移之前安裝和驗(yàn)證任何所需的依賴項(xiàng)。企業(yè)為將內(nèi)部部署應(yīng)用程序遷移到云端做好準(zhǔn)備了嗎?從重新托管與重新設(shè)計(jì)到測(cè)試和監(jiān)控,企業(yè)需要遵循一些關(guān)鍵步驟才能成功實(shí)現(xiàn)云遷移。 很多企業(yè)出于各種原因?qū)⒐ぷ髫?fù)載遷移到了云端。公有云比大多數(shù)內(nèi)部部署數(shù)...

    不知名網(wǎng)友 評(píng)論0 收藏0
  • 2018年最緊俏的5大云計(jì)算技能

    摘要:隨著機(jī)器學(xué)習(xí)等技術(shù)不斷沖擊就業(yè)市場(chǎng),整個(gè)行業(yè)的技能差距將會(huì)越來(lái)越大。機(jī)器學(xué)習(xí)和機(jī)器學(xué)習(xí)人工智能和大數(shù)據(jù)正在逐漸成為項(xiàng)目的核心,預(yù)測(cè)機(jī)器學(xué)習(xí)和的將會(huì)出現(xiàn)爆炸性增長(zhǎng),未來(lái)三年的支出將增長(zhǎng)。 2018年,隨著各種規(guī)模的企業(yè)開(kāi)始推進(jìn)云計(jì)算項(xiàng)目,預(yù)計(jì)公有云采用量將會(huì)增加,IDC預(yù)測(cè)在三年內(nèi)公有云支出將達(dá)到1970億美元...

    Godtoy 評(píng)論0 收藏0
  • 2018年最緊俏的5大云計(jì)算技能

    摘要:隨著機(jī)器學(xué)習(xí)等技術(shù)不斷沖擊就業(yè)市場(chǎng),整個(gè)行業(yè)的技能差距將會(huì)越來(lái)越大。機(jī)器學(xué)習(xí)和機(jī)器學(xué)習(xí)人工智能和大數(shù)據(jù)正在逐漸成為項(xiàng)目的核心,預(yù)測(cè)機(jī)器學(xué)習(xí)和的將會(huì)出現(xiàn)爆炸性增長(zhǎng),未來(lái)三年的支出將增長(zhǎng)。 2018年,隨著各種規(guī)模的企業(yè)開(kāi)始推進(jìn)云計(jì)算項(xiàng)目,預(yù)計(jì)公有云采用量將會(huì)增加,IDC預(yù)測(cè)在三年內(nèi)公有云支出將達(dá)到1970億美元,因此對(duì)云計(jì)算相關(guān)技能的需求越來(lái)越高。隨著機(jī)器學(xué)習(xí)等技術(shù)不斷沖擊就業(yè)市場(chǎng),整個(gè)行業(yè)的...

    stackfing 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<