摘要:硬件機器學習和深度學習帶來的那種顛覆早已從軟件堆棧擴大到了芯片服務器和云服務提供商。數據中心也正在重新設計架構,以支持機器學習和深度學習耗用的超大量數據。
作者是多位精英CIO、CTO和技術高管組成的福布斯雜志的常設部門Forbes Technology Council
過去這幾年涌現出了全新類別的產品,這歸功于機器學習和深度學習取得了非凡的進步。僅舉幾個例子,這些新技術在支持產品推薦、醫療成像中的計算機輔助診斷和自動駕駛汽車。
大多數機器學習和深度學習算法需要的計算資源(硬件、軟件、存儲和網絡)與針對傳統應用軟件優化的那些計算資源大不一樣。因而,隨著越來越多的公司開發各自的機器學習/深度學習算法,并將這些算法部署到生產環境,市場對針對機器學習優化的計算資源的需求只會急劇增長,因而讓新的進入者有機會提供可與如今的老牌云服務提供商:亞馬遜AWS、微軟Azure和谷歌云一較高下的解決方案。
機器學習/深度學習云不一樣
在Mesosphere博客頁面上的一篇文章(https://mesosphere.com/blog/smack-stack-new-lamp-stack/)中,愛德華?蘇(Edward Hsu)提出了這個觀點:Web應用程序現在主要是數據驅動的。因而,SMACK(Spark、Mesos、Akka、Cassandra和Kafka)這一套新的框架(又叫堆棧)勢必會取代用來構建基于Web的應用程序的傳統LAMP(Linux、Apache、MySQL和PHP)堆棧。在我看來,SMACK將與基于Web的傳統框架和諧共存,并將數據饋送給這些傳統框架,而不是取代LAMP,畢竟我們仍需要傳統框架來呈現外觀漂亮的網頁,并與手機接口進行交互。
然而,主要觀點有著充分的根據。我們需要將馬克?安德森(MarcAndreesen)的那句名言“軟件在蠶食世界”改成“數據在蠶食世界”。不妨對這個說法細細道來,并介紹由此帶來的影響。
硬件
機器學習和深度學習帶來的那種顛覆早已從軟件堆棧擴大到了芯片、服務器和云服務提供商。這種顛覆根源于這個簡單的事實:就機器學習和深度學習而言,GPU是效率比傳統CPU高得多的處理器。
就在不久前,解決辦法還是為傳統服務器添加GPU附加卡。現在我們正處于這樣一個時間點:市場對機器學習/深度學習計算的需求非常大,以至于廠商們在紛紛制造針對機器學習/深度學習計算負載優化的專用服務器。
數據中心也正在重新設計架構,以支持機器學習和深度學習耗用的超大量數據。設想一下你在設計自動駕駛汽車的大腦部件。你需要處理成千上萬個小時的視頻(以及其他諸如GPS、陀螺儀和LIDAR之類的信號)來訓練算法。路面上行駛的一輛特斯拉汽車在1秒內記錄的數據量比Facebook上一則推文或一個帖子的數據量多100萬倍。
因此,機器學習/深度學習數據中心不僅需要海量的存儲空間,還需要極高的帶寬。
軟件
軟件方面來得還要復雜。轉移數據和管理計算任務的執行需要一套新的基礎設施堆棧,通常使用專門針對機器學習的框架,比如Tensorflow(最初由谷歌開發)或PyTorch(最初在Facebook開發)。此外,開源代碼庫(pandas、scikit-learn和matplotlib)用于實現模型(比如神經網絡和數據顯示)。這些模型庫之所以至關重要,是由于它們已經過了優化,不僅就算法研究而言易于使用,還為用于生產環境提供了高性能。
最后,每家廠商都為特定的使用場合提供了完整的構建模塊。比如說,亞馬遜Lex、谷歌Cloud Speech和微軟Bing Speech提供了語音識別,甚至可以識別意圖。各自都有自己的API和獨特的行為,這使得從一家廠商遷移到另一家廠商很耗費時間。
新的進入者
除了數年來提供GPU加速實例的三大云服務提供商(亞馬遜AWS、微軟Azure和谷歌云)外,現在還出現了針對機器學習優化的新產品:
?英偉達最近推出了一整套“專用的AI超級計算機”服務器,名為DGX系統。英偉達已經是GPU市場的頭號提供商,計算機顯示離不開顯卡,而顯卡離不開GPU。
Servers.com提供的Prisma Cloud配備針對GPU優化的專用服務器。
Rescale是專注于高性能計算(HPC)的小眾云服務提供商之一,它剛剛宣布推出搭載GPU的一代服務器和高帶寬互連技術,旨在搭建高性能多節點集群。
哪些巨頭岌岌可危?
三大云服務提供商眼下面臨被英偉達、Servers.com和Rescale等新的進入者顛覆的風險。由于算法領域的創新和計算效率提高,機器學習/深度學習方面的創新仍在高歌猛進。這就形成了一場小規模的“軍備競賽”:最終用戶不斷尋找可以提供那個額外優勢的提供商。
一方面,最終用戶在提供較佳軟硬件計算環境的這場軍備競賽中獲得了巨大好處。另一方面,最終用戶又需要隨時警惕,密切關注的產品。而更重要的是,將機器學習/深度學習產品部署到生產環境時,首席執行官和首席技術官需要挑選今后兩到五年會保持優勢的獲勝者,或挑選至少未來的幸存者。而這并非易事。
歡迎加入本站公開興趣群軟件開發技術群
興趣范圍包括:Java,C/C++,Python,PHP,Ruby,shell等各種語言開發經驗交流,各種框架使用,外包項目機會,學習、培訓、跳槽等交流
QQ群:26931708
Hadoop源代碼研究群
興趣范圍包括:Hadoop源代碼解讀,改進,優化,分布式系統場景定制,與Hadoop有關的各種開源項目,總之就是玩轉Hadoop
QQ群:288410967?
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/4226.html
摘要:硬件機器學習和深度學習帶來的那種顛覆早已從軟件堆棧擴大到了芯片服務器和云服務提供商。數據中心也正在重新設計架構,以支持機器學習和深度學習耗用的超大量數據。 作者是多位精英CIO、CTO和技術高管組成的福布斯雜志的常設部門Forbes Technology Council過去這幾年涌現出了全新類別的產品,這歸功...
摘要:在最新發布的畢馬威年度創新報告中,阿里巴巴被評為地球上最具科技顛覆力的公司。排在阿里巴巴之后的,是亞馬遜谷歌等美國科技巨頭。阿里巴巴,已經成為世界頂級技術不可或缺的玩家。 在最新發布的畢馬威2018年度創新報告中,阿里巴巴被評為地球上最具科技顛覆力的公司。排在阿里巴巴之后的,是Facebook、亞馬遜、谷歌等美國科技巨頭。 showImg(https://segmentfault.co...
摘要:百度北京深度學習實驗室主任余凱和吳是朋友,就是他力勸吳恩達加入百度的,余凱說實驗室確實以基礎技術為目標。實驗結果證實,深度學習是開發機器學習軟件的切實可行的辦法。 百度是中國網民上網時的常用工具,它致力于成為影響全球的力量。作為世界上人工智能領域的頂尖研究員,吳恩達先生能否助其成功挑戰硅谷較大的互聯網公司?百老匯音樂廳位于舊金山北海岸,是新古典主義建筑,已擁有95年歷史,歷經歲月磨蝕,四周環...
摘要:福布斯昨日刊登專訪。生于英國,被認為是機器學習的先鋒,現在是多倫多大學教授,谷歌高級研究員。但是,正如我所說,已經跨越過了這一分水嶺。 《福布斯》昨日刊登Geoff Hinton專訪。游走在學術和產業的AI大神Hinton談到了自己研究興趣的起源、在多倫多大學和谷歌所做的研究工作以及發起的私人俱樂部 NCAP。 在采訪中,Hinton談到,現在計算能力和數據的發展讓AI獲得巨大進步,并且在很...
閱讀 3196·2021-11-08 13:18
閱讀 1352·2021-10-09 09:57
閱讀 1181·2021-09-22 15:33
閱讀 3959·2021-08-17 10:12
閱讀 5053·2021-08-16 11:02
閱讀 2675·2019-08-30 10:56
閱讀 961·2019-08-29 18:31
閱讀 3250·2019-08-29 16:30