摘要：最近谷歌正式宣布已經完全實現并行計算并原生態支持與相結合，使得谷歌機器學習開源項目在支持集群化并行化和分布式訓練方面都實現了質的飛躍。隨著和兩大技術的結合，這將對機器學習技術的實踐產生深遠影響。

最近谷歌正式宣布TensorFlow 0.8 已經完全實現并行計算并原生態支持與kubernetes相結合，使得谷歌機器學習開源項目TensorFlow在支持集群化、并行化和分布式訓練方面都實現了質的飛躍。

在上周谷歌的官方博客中，谷歌公布了谷歌實驗TensorFlow 0.8 不同數目的GPU能夠帶來的加速效果：

圖中顯示100個GPU可以帶來接近56倍的加速效果，并在65小時內將圖片分類器訓練到接近78%的精確度。

我們先回顧一下TensorFlow的歷史，早在去年年底，谷歌就已經將其深度學習系統TensorFlow開源。而且根據Github的統計，TensorFlow已經成為去年最受關注的開源項目之一。在它開源之初便引來無數試用者。然而剛剛開源的TensorFlow并沒有引來多少好評，更有人戲稱為TensorSlow，究其原因就在于單機的環境無法滿足海量數據的需求。

反觀谷歌內部，早在2011年谷歌就已經開始了對于深度學習的研究，如今已成功將其應用在搜索、廣告、地圖、翻譯和YouTube等眾多產品之中。通過深度學習，谷歌成功將語音識別的錯誤率降低了25%。而且谷歌大腦（Google Brain，谷歌內部版的TensorFlow）早就實現了和borg（谷歌內部版的kubernetes）的結合，可以輕松跑在上萬臺機器上。

上個月TensorFlow邁出了集群化的第一步（原文鏈接）通過Kubernetes實現了并行化。
如今谷歌正式宣布TensorFlow 0.8已經可以支持分布式訓練，在提供多GPU測試結果的同時也提供了Kubernetes的測試腳本。隨著TensorFlow和kubernetes兩大技術的結合，這將對機器學習技術的實踐產生深遠影響。

我們再來了解一下“深度學習”，深度學習這個詞已經成為了很多人耳熟能詳的概念，這個概念在AlphaGo戰勝李世石之后更是變得世人皆知。那究竟什么是深度學習？

深度學習的本質就是通過復雜的模型結構或者多層非線性變化的組合來挖掘復雜數據中隱含的規律。理論上任何復雜的機器學習方法都可以作為深度學習的基礎，但大部分成熟的應用以及研究都是以神經網絡為基礎。

受人類大腦神經元結構的影響，神經網絡希望模擬人類感知。一個最直接的例子就是圖像識別，這也是深度學習最早的應用之一。人的眼睛在收到光的刺激之后，腦部不同的神經元會被激活，最后我們能分辨出眼前的東西是狗還是貓。

在神經網絡中，neurons被用來模擬人類神經元的功能。上圖給出了一個neurons的模型：將多個輸入進行一系列變換后產生一個（或多個）輸出。下圖展示了如何將多個neurons有效的組織起來成為了一個神經網絡。紅色的輸入層模擬人類接受刺激的器官（比如眼睛），藍色的隱藏層（隱藏層可以有多個）模擬人類大腦的處理過程，最后綠色的輸出層給出結論（比如是貓還是狗）。

神經網絡算法早在上世紀70年代就被提出，但在很長一段時間沒都沒有受到重視，直到最近才通過深度學習成為新寵。那么深度學習到底和傳統的神經網絡有什么區別呢？

他們最大的區別就在“深度”上。傳統的神經網絡的隱藏層一般比較少（一般在1-2層），而深度學習的隱藏層都比較深，微軟研究院曾經嘗試過上千層的神經網絡。

理論上越深的神經網絡的表達能力更強，這樣就更有可能從復雜的問題中找到隱含的規律。但越深的神經網絡對于數據和計算量的要求也越高，這也是為什么TensorFlow需要和kubernetes相結合才能帶來更深遠的影響。

（如果需要轉載，請聯系我們哦，尊重知識產權人人有責；）