Google打造云中Hadoop便捷版，強勢對抗AWS

Rindia 發布于2019-04-25 17:35 / 1444人閱讀

摘要：打造云中便捷版，強勢對抗上周，為其增加了連接器，這樣開發人員現在已經能夠很輕松的在計算虛擬機上進行操作了，的預覽版將使開發人員不用再花大力氣去管理集群和文件系統。在此領域，和的競爭將更加激烈。但他同時表示這可能有問題。

1. Google打造云中Hadoop便捷版，強勢對抗AWS上周，Google為其Google Cloud Platform增加了Hadoop 連接器，這樣開發人員現在已經能夠很輕松的在Google計算虛擬機上進行Hadoop操作了，Google Cloud Storage Hadoop的預覽版將使開發人員不用再花大力氣去管理集群和文件系統。在此領域，Google和AWS的競爭將更加激烈。

下圖是Hadoop在Google Cloud Platform上的圖解。在Google Cloud Storage上存儲數據時HDFS、NameNode是可選的。?

下面是用Google Cloud Storage運行Hadoop的優勢：

兼容性：Google Cloud Storage connector for Hadoop 代碼兼容Hadoop。?
快速啟動：當數據復制到HDFS以及NameNode，你不必等待過長時間來結束安全模式。?
更高的可用性和可擴展性：?Google Cloud Storage比HDFS具有更高的可用性。?
低成本：包括存儲和計算兩方面都節省成本，同時，它是以分鐘計費。?
沒有存儲管理開銷：Google Cloud Storage只需要為計算付費。?
互通性：通過在Google Cloud Storage保管數據，你可以從Google上其它的服務中獲益。?
性能：由于有了Google Cloud Storage，Google的基礎設施將會比HDFS提供更高的性能

2. 平均比Hive快24倍，Impala劍指Stinger在YARN之前，Hadoop僅適用于離線處理場景。基于實時性的需求，各個機構紛紛研發了自己的流處理框架，這次我們說的是兩SQL-on-Hadoop項目的對決，同時也是兩家知名Hadoop解決方案提供商的比拼——Impala vs. Stinger。

測試對比版本是 Impala 1.1.1與 Hive 0.12（集成了Stinger），Hive運行在ORCFile 數據集之上，Impala 則使用了Parquet存儲相同的數據。為了讓Hive得到較佳性能，Cloudera還將TPC-DS查詢轉換成SQL-92 join，并且手動優化了join順序，指定了分區字段，Impala也做了同樣的優化。數據大小是3TB，使用了典型的5 Hadoop數據節點配置。查詢也使用了多種類型，也包含了多種標準join及聚合，還使用了復雜的多級聚合和子查詢。

測試得出的結果是Impala比Hive快6-69倍不等，類型包括以下幾種：?

3.?Netflix開源S3一致性提升利器S3mper Fi

上周，Netflix開源了S3mper，這對那些在使用AWS S3存儲服務，而且想要更高數據一致性的用戶來說，是個好消息。這一次，它的開源S3mper庫已經經過優化和測試，這樣可以確保在AWS巨大的S3存儲服務里有更好的數據存儲一致性。S3mper遵循Apache License 2.0。這對利用S3進行大量批處理以及對一致性要求很苛刻的金融或醫療領域會非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始數據的同時編制文件元數據目錄，”?Weeks?寫道。但他同時表示這可能有問題。他說，在小范圍里，你可以通過使用“一致的、二次索引在S3上支持原始數據的同時為文件元數據編制目錄”得到你需要的一致性。但隨著規模增大，情況會變得越來越棘手。一般來說，只要二次索引能夠處理所有的請求，它就會正常工作。不過，當你依賴兩個獨立系統時，數據丟失和性能沖擊的風險會隨之上升，他說。?

4.?開放式創新改變世界——OpenStack生態系統將重新洗牌

OpenStack基礎軟件開發周期長、投入大、技術創新轉化成產品需要更多時間，超越公司的開放協作才有利于和促進產業繁榮發展。OpenStack能否成為繼Linux之后開放式創新的又一成功案例呢？這個成立之初僅有兩個基礎模塊的OpenStack，如今已發展成為擁有9個核心子項目（Havana）一系列孵化項目的龐大開源組織。吸引到了眾多開源領域的專家加入，還有廠商們的大力追捧。

但是OpenStack確實給一些初創公司帶來了很高的知名度以及投資機會，但基礎軟件開發周期長，投入大、見效慢，技術創新轉化成產品需要更多時間，而現在還搞不清楚用戶在哪里的初創公司已經逐漸失去往日的光輝。

5. 【產業觀察】金山云總裁王育林：星星之火可以燎原

AWS近期的入華，使得業界對于云計算服務的關注度飆升到了較高點，國內云計算供應商也紛紛祭出了“價格戰”這尊法寶。然而王育林認為，在企業級市場，“價格戰”很難真正奏效，讓用戶親身體驗服務的質量才是王道。

我并不看好亞馬遜AWS在國內的發展情況。拋開數據安全和保密性不說，其根本不能真正適應國內的市場發展情況。在這方面，本地化資源成為了左右戰局的“勝負手”。說到底，云計算服務是一種資源整合的快速反應能力。這些資源包括了用戶資源和產業資源。在中國，實踐證明金山云的開發者資源、阿里云的金融資源已經強大到足以助推整個平臺的發展。?

6. 回顧2013：HBase的提升與挑戰

回顧2013年，總結下這一年HBase在這么一年中發生的主要變化。影響較大的事件就是HBase 0.96的發布。代碼結構已經按照模塊化發布了，而且提供了許多大家迫切需求的特點：

1. Compaction優化
2. Mean Time To Recovery/MTTR優化?
3. Bucket Cache （L2 cache on HBase）
4. Java GC改進?
5. HBase的企業級數據庫特性（Secondary Index、Join和Transaction）
6. PrefixTreeCompression?
7. 其他變化

展望2014年，HBase即將release 1.0版本，更好的支持multi-tenancy, 支持Cell級別的ACL控制。

7. 利用ElasticSearch和Redis檢索和存儲十億信息

如果從企業應用的生存率來看，選擇企業團隊信息作為主要業務，HipChat的起點絕非主流；但是如果從賺錢的角度上看，企業市場的高收益確實值得任何公司追逐，這也正是像JIRA和Confluence這樣的智能工具制造商Atlassian于2012年收購HipChat的原因。

同時，或許你不知道的是，在Atlassian資源和人脈的幫助下，HipChat已經進入了一個指數增長周期。12億的信息存儲意味著他們現在每隔幾個月的信息發送、存儲和索引量都會翻一番。全文從統計、平臺、產品、XMPP服務器架構、存儲架構、常規、未來、經驗教訓等方面對HipChat做了全方位的介紹，即使HipChat沒有谷歌那么大規模，我們仍能從中學到好東西，比如他們如何及時索引和搜索十億信息。

8. 【CSDN云計算俱樂部】九城及攜程的Hadoop大數據平臺

隨著移動互聯網的發展，中國的手機網民已經接近6億之巨，如此多設備帶來的價值不言而喻，因此大家一直在談論大數據，也一直在尋找更好的Hadoop使用途徑，本期CSDN云計算俱樂部的主題就是圍繞Hadoop展開的大數據掘金之路。2014年1月4日，CSDN云計算俱樂部在上海市第九城市信息技術有限公司培訓室舉辦活動，本次活動的主題是“從Hadoop實踐到基于業務的分析，開啟你的數據掘金之路”。

來自九城技術部負責Hadoop的架構師，周誠帶來的主題是“Hadoop大數據分析”，主要分享九城搭建的一個以Hadoop為基礎的大數據平臺，同時還分享了相關的具體案例。最后他還分享了九城的商品定向推薦功能。?

接下來進行主題分享的是來自于攜程旅行網負責網站運營中心容量平臺的周海燕，她帶來的主題分享是“ctrip的web容量分析辦法”。主要介紹了ctrip的容量規劃任務，通過使用當前性能作為基線數據，評估以及預測系統需要什么資源，什么時候需要更多的資源。其中包括，基于周期性季節指數預測法的業務量預測，基于回歸分析的web容量預測等。詳細的PPT分享請點擊原文鏈接。?

9-10.?AWS會贏、OpenStack會消亡、Connected Cars可防僵尸攻擊，Pivotal聘用eBay前副總裁，繼續發力云計算市場

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4060.html

Microsoft收購Avere的背后，從AWS和Google口中奪食

摘要：收購中，的功能可能會被集成到中，以便客戶在本地環境和公有云之間進行數據遷移。同時，這筆收購也是為應對打出的一張牌。此番收購將對那些正在使用或的客戶產生影響，尤其當涉及到未來創新時，他們將被鎖定。商業世界中，大魚吃小魚，小魚吃蝦米的事情屢見不鮮。云服務市場自然也是如此，2018剛一開年，Microsoft就宣布收購了混合云數據存儲公司Avere Systems，這似乎讓2018年也注定不平凡...

Brenner 2019-04-25 17:48 評論0 收藏0
AWS、Azure和Google云誰的免費層更好?

摘要：近日，針對具有適度計算，存儲，數據庫和網絡需求的用戶推出了一個新的免費使用的云平臺。云誰的免費層更好您從云中可以獲得過去，谷歌為新的谷歌云平臺客戶提供了有限時間的免費使用積分。近日，Google針對具有適度計算，存儲，數據庫和網絡需求的用戶推出了一個新的免費使用的Google云平臺。事實上，每一家大型的云公司都會有免費的層級共使用。AWS 、Azure、Google云相比，誰的會更好呢?以...

Warren 2019-04-25 17:45 評論0 收藏0
解密亞馬遜Ironman計劃：背靠AWS云服務發力AI，對抗谷歌微軟

摘要：在此次會議上，還計劃發布云計算深度學習服務。兩名消息人士表示，新的深度學習服務也幫助用戶更方便地運行常見深度學習開發工具包，例如和谷歌。谷歌和微軟已提供類似的服務。據外媒報道，亞馬遜AWS正在大力推動人工智能產品的升級，包括自主開發技術以及與多家AI創業公司合作。AWS希望補足自身短板，贏得更多人工智能業務。總體來說，AWS在人工智能領域的工作以Ironman項目為中心。Ironman項目...

qianfeng 2019-04-25 17:49 評論0 收藏0
思科聯手AWS打造基于Kubernetes混合云解決方案

摘要：思科云平臺和解決方案高級副總裁解釋說正確配置以在本地和公有云中部署應用需要定制集成，這從操作上來說可能是一項挑戰。近年來，容器由于其靈活性已經成為部署應用的一種流行方式。容器技術將工作負載捆綁成輕量級的便攜式軟件包，可以在不同類型的基礎設施之間輕松移動。今天早上公布的Cisco Hybrid Solution for Kubernetes on AWS解決方案旨在消除大規模使用容器的障礙。 ...

lifefriend_007 2019-05-05 15:54 評論0 收藏0