{eval=Array;=+count(Array);}

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

問答專欄Q & A COLUMN

Spark SQL和Shark在架構上有哪些區別?

liaoyg8023liaoyg8023 回答0 收藏1
收藏問題

1條回答

alogy

alogy

回答于2022-06-28 14:15

Spark Shark |即Hive onSpark

a.在實現上是把HQL翻譯成Spark上的RDD操作,然后通過Hive的metadata獲取數據庫里的表信息,Shark獲取HDFS上的數據和文件夾放到Spark上運算.

b.它的最大特性就是快以及與Hive完全兼容

c.Shark使用了Hive的API來實現queryparsing和logic plan generation,最后的Physical Plan execution階段用Spark代替Hadoop MR。

d.通過配置Shark參數,Shark可以自動在內存中緩存特定的RDD,實現數據重用,進而加快特定數據集的檢索。

e.Shark通過UDF實現特定的數據分析學習算法,使得SQL數據查詢和運算分析結合在一起,最大化RDD的重復使用。

Spark SQL

a.是基于Catalyst(翻譯為催化劑)引擎的交互式大數據SQL技術,使用SchemaRDD來操作SQL,比Shark支持更過的查詢表達式。

b.支持Hive|HBase|Oracle

評論0 贊同0
  •  加載中...

最新活動

您已邀請0人回答 查看邀請

我的邀請列表

  • 擅長該話題
  • 回答過該話題
  • 我關注的人
向幫助了您的網友說句感謝的話吧!
付費偷看金額在0.1-10元之間
<