Google停用MapReduce，發布Cloud Dataflow

summerpxy 發布于2019-04-25 17:37 / 514人閱讀

摘要：但是近日，這項技術已經不能處理谷歌想要分析的大量數據。在展示會上也宣布谷歌云平臺上其他一些新的服務是一個，它使應用程序能夠在云中或其他地方保存單個用戶的數據而不需要任何服務器端的編碼。

?Google已經停用自己研發的并部署在服務器上分析數據的開源系統MapReduce，轉而支持一個新的超大規模云分析系統Cloud Dataflow。?

MapReduce一直是服務器集群上做并行分布式計算的一個非常受歡迎的基礎架構和編程模型。它是被廣泛部署并已經成為很多公司商業產品的大數據基礎架構平臺Hadoop的基礎。?

但是近日，這項技術已經不能處理谷歌想要分析的大量數據。然而，技術基礎設施部高級副總裁UrsH?lzle表示，一旦數據規模達到數PB級字節，處理起來將變得非常困難。?

“我們將不再使用MapReduce。”H?lzle在周三于舊金山舉行的谷歌I/O大會上發表主題演講時表示，公司已經在幾年前停止使用這個系統，更多大會內容可點擊2014谷歌I/O上的Google Cloud Platform和Cloud Dataflow。

Cloud DataFlow，將作為一項服務提供給使用它們云服務的開發者，這些服務并沒有MapReduce的擴展限制。?

“Cloud Dataflow是這近十年分析經驗的成果。”H?lzle說，它將會比現存的所有的系統運行的更快，更易擴展。?

這是一個完全托管服務，它可以自動優化、部署、管理以及擴展。它使開發人員對批處理和流媒體服務能夠使用統一編程輕松地創建復雜的管道，他表示。

所有這些特點，谷歌認為在MapReduce上無法完成：很難迅速獲取數據，不能進行批處理和流處理，而且經常需要部署和運行MapReduce集群。

H?lzle在展示會上也宣布谷歌云平臺上其他一些新的服務：

Cloud Save是一個API，它使應用程序能夠在云中或其他地方保存單個用戶的數據而不需要任何服務器端的編碼。?提供App Engine的PaaS用戶和提供Compute Engine的用戶都可以利用這特征構建App。
Cloud Debugging?簡化了篩選出部署在云端的多臺服務器中的軟件缺陷的過程。
Cloud Tracing?提供了不同群體（數據庫服務調用，例如等待時間）的延時統計數據以及分析報告。
Cloud Monitoring?是一款與Stackdriver（谷歌5月份收購的一個云監控初創公司）集成的智能監控系統。該系統監控云基礎設施資源，如磁盤和虛擬機，還有一些為谷歌提供服務的服務等級以及十幾個非谷歌提供的開源軟件包。

原文鏈接：Google Dumps MapReduce in Favor of New Hyper-Scale Analytics System?

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4091.html

Flink 從0到1學習—— 分享四本 Flink 國外的書和二十多篇 Paper 論文

摘要：另外，將機制發揚光大，對有著非常好的支持。系統也注意到并討論了和的問題。總結本文分享了四本相關的書籍和一份領域相關的論文列表篇，涉及的設計，實現，故障恢復，彈性擴展等各方面。前言之前也分享了不少自己的文章，但是對于 Flink 來說，還是有不少新入門的朋友，這里給大家分享點 Flink 相關的資料（國外數據 pdf 和流處理相關的 Paper），期望可以幫你更好的理解 Flink。...

jollywing 2019-08-19 10:19 評論0 收藏0
職業轉型的終極指南：從新手到專業的機器學習工程師

摘要：作者微信號微信公眾號簡書地址最近機器學習工程師已經成為了一個非常熱門的崗位，很多的工程師都想轉行到這個崗位。本文根據上面的課程，列了一個從新手到專業工程師的學習計劃，提供給大家學習。作者：chen_h微信號 & QQ：862251340微信公眾號：coderpai簡書地址：http://www.jianshu.com/p/32b2... 最近機器學習工程師已經成為了一個非常熱門的崗...

XanaHopper 2019-07-30 15:09 評論0 收藏0
Spring Boot Cloud CLI - 快速上手

摘要：是什么官方是這樣描述的翻譯之后為提供了命令行功能。您還可以輕松地執行加密和解密等操作，以支持具有機密配置值的配置客戶機。可用于從命令行運行，等常用服務。列出您可以執行的可用服務，并僅啟動一組默認服務。導讀在日常開發與測試中有一些Spring Cloud 的相關的組件如 eureka、configserver、zipkin、hystrixdashboard等相對來說不容易發生變動，這...

lindroid 2019-08-19 10:34 評論0 收藏0
2012：云計算的春天

回顧2012，更多開放，更多協作，更多機會產生。從來沒有一項服務會將幾乎所有IT、互聯網、通信技術整合在一起，沒有合作、開放的心態就沒有云計算。接下來，將從IaaS、NoSQL與NewSQL、數據中心、大數據、安全這幾個方面對過去一年作出總結。IaaS——群雄追趕AWS談到IaaS，Google和AWS是公認的業界最強。AWS是全球將IaaS這個business運營的較好的公司，除了技術領先，還要...

Vicky 2019-04-25 17:31 評論0 收藏0
谷歌發布Kubernetes v1.0，容器生態前景明媚

摘要：與此同時，谷歌聯合基金會及其他合作伙伴共同成立了基金會，并將作為首個編入管理體系的開源項目，助力容器技術生態的發展進步。年月谷歌宣布開源。年月容器引擎啟動，谷歌宣布中支持容器及服務，并以為構架。 7月22日Google正式對外發布 Kubernetes v 1.0，意味著這個開源容器編排系統可以正式在生產環境使用。與此同時，谷歌聯合linux基金會及其他合作伙伴共同成立了CNCF基金會...

Mertens 2019-06-28 14:58 評論0 收藏0