摘要：毫無(wú)疑問(wèn)，深度學(xué)習(xí)將驅(qū)動(dòng)在公司中的應(yīng)用。在其價(jià)值評(píng)估和策略評(píng)估上使用的就是深度學(xué)習(xí)。端到端的深度學(xué)習(xí)是一個(gè)令人著迷的研究領(lǐng)域，但是迄今為止混合系統(tǒng)在應(yīng)用領(lǐng)域會(huì)更有效率。目前專注于深度學(xué)習(xí)模式，方法和戰(zhàn)略的研究。

在之前的博客中，我曾預(yù)言過(guò)未來(lái)幾年的發(fā)展趨勢(shì)。我記得上一篇博客的內(nèi)容是《2011年軟件開發(fā)趨勢(shì)和相關(guān)預(yù)言》（Software DevelopmentTrends and Predictions for 2011，http://www.manageability.org/blog/stuff/software-development-trends-2011/view），是很久之前的事情了?，F(xiàn)在想來(lái)，在那篇博客的十條預(yù)言中，有六條是準(zhǔn)確的（即 avascript VM、NoSQL、Big Data Analytics、Privated Cloulds、Inversion of Desktop Service 和 Scala），但另外四條則并沒有完全實(shí)現(xiàn)（即 Enterprise AppStores、Semantic Indexing、OAuth in the Enterprise 以及 Proactive Agents）。AppStores 和 OAuth 采用的是 Saas ?模型，雖然未在大公司一展身手，卻在小公司發(fā)揮了很大的作用。我會(huì)總結(jié)先前預(yù)言失敗的教訓(xùn)，之前沒有料到企業(yè)革新的速度竟如此緩慢！Semantic Indexing 和 Proactive Agents是其中最主要的兩個(gè)預(yù)測(cè)，但是很不幸沒能如我最開始設(shè)計(jì)的那樣發(fā)展?？赡苁俏耶?dāng)時(shí)高估了人工智能技術(shù)，當(dāng)時(shí)深度學(xué)習(xí)還沒有被創(chuàng)造出來(lái)。

?

現(xiàn)在，我對(duì)于深度學(xué)習(xí)的預(yù)言不會(huì)像之前那樣，停留在概念水平上。同時(shí)，我也不會(huì)再預(yù)測(cè)公司是否會(huì)采用我的說(shuō)法，而是把關(guān)注的焦點(diǎn)集中在研究趨勢(shì)和預(yù)言上。毫無(wú)疑問(wèn)，深度學(xué)習(xí)將驅(qū)動(dòng) AI 在公司中的應(yīng)用。雖然形式還不夠明朗，但對(duì)于 AI 來(lái)說(shuō)，深度學(xué)習(xí)確實(shí)是其最主要的驅(qū)動(dòng)力和方法。但目前我們尚不清楚，2017年中將會(huì)出現(xiàn)的哪些新的技術(shù)，推動(dòng)人工智能獲得指數(shù)式的發(fā)展。

?

所以，對(duì)于2017年，讓我大膽的預(yù)測(cè)一下！

?

1. 硬件將雙倍加速摩爾定律（i.e.2xin 2017）

如果你追蹤過(guò) Nvidia 和 Intel 的開發(fā)進(jìn)程的話，這一趨勢(shì)可謂顯而易見。憑借著更為豐富多樣的深度學(xué)習(xí)生態(tài)系統(tǒng)，2017將是由 Nvidia 主導(dǎo)的一年。在其他平臺(tái)有足夠的生態(tài)系統(tǒng)來(lái)開發(fā)DL之前，我想沒有哪個(gè)人會(huì)選擇離開 Nvidia。未來(lái)，Intel 的 Xeon Phi 將是所有解決方案中更為較精確的方案，在2017年基于 ?Nervana 的芯片被推出之時(shí)，其性能上將會(huì)趕上 Nvidia。

?

從經(jīng)濟(jì)學(xué)的角度考慮，云提供商會(huì)采用 Intel 的 FPGA 方案。能源消耗是需要降低的首要變量。在2017年，Intel 基于 Neravana 的芯片的計(jì)算速度將會(huì)達(dá)到每秒種30萬(wàn)億次。這雖然是我估計(jì)的數(shù)字，但目前 Nvidia 的計(jì)算速度已經(jīng)能夠達(dá)到每秒20萬(wàn)億次了，我打賭 Intel 在2018年一定會(huì)有對(duì)整個(gè)市場(chǎng)造成重大的影響的技術(shù)創(chuàng)新。由于 Intel 擁有 3D XPoint 技術(shù)，將來(lái)很可能會(huì)成為行業(yè)的佼佼者。考慮到使用 HBM2 的 GPU 在其頂部堆棧的性能因素，3DXPoint 技術(shù)可能會(huì)提高整個(gè)硬件棧，但不一定會(huì)加速核心能力。

?

目前，Amazon 已經(jīng)發(fā)布了其基于 FPGA 的云實(shí)例（http://aws.amazon.com/blogs/aws/developer-preview-ec2-instances-f1-with-programmable-hardware/），根據(jù)的是 Xilinx UltraScal+e 技術(shù)，并在單實(shí)例上提供了6800個(gè) DSP 薄片和64G內(nèi)存。盡管提供的并不是 UltraScale+ 的 HBM ?版本，I/O 受到限制，其運(yùn)行能力仍然令人印象深刻。與 Nvidia 相比，在較低內(nèi)存寬帶的解決方案上，Intel（甚至包括 AMD）可能會(huì)暫停開發(fā)人員的開發(fā)工作，討論是否投資給一項(xiàng)更復(fù)雜的開發(fā)流程（i.e.VHDL,Verilogetc）。

?

在披露的消息中，AMD 公開了其的 AMD 深度學(xué)習(xí)加速器直覺線，對(duì) ?Nvidia 的硬件來(lái)說(shuō)極具競(jìng)爭(zhēng)性。AMD 計(jì)劃在2017年年初發(fā)布該文檔。這或許是要給 AMD 的 ROCm 軟件開發(fā)預(yù)留足夠的時(shí)間，確保其成熟可用。

?

2. 卷積神經(jīng)網(wǎng)絡(luò)（CNN）將占主導(dǎo)地位

CNN 將會(huì)成為 DL 系統(tǒng)廣泛使用的基本模型。RNN 和 LSTM 與其循環(huán)識(shí)別和嵌入式記憶結(jié)點(diǎn)的使用將越來(lái)越少，與基于 CNN 的解決方案相比，不再具有競(jìng)爭(zhēng)力。就像 GOTO 會(huì)從編程界消失一樣，我預(yù)期 RNN 和 LSTM 也會(huì)有同樣的宿命。事實(shí)上，并行架構(gòu)的性能是勝過(guò)順序架構(gòu)的。

?

可微記憶網(wǎng)絡(luò)將會(huì)更加通用。自然而然地，內(nèi)存將會(huì)從核心節(jié)點(diǎn)中提取出來(lái)，作為計(jì)算機(jī)制中多帶帶的組件。我們需要記住的是，LSTM 的輸入和輸出門將會(huì)被輔助可微記憶取代。先前我們已經(jīng)看到過(guò)關(guān)于重構(gòu) LSTM 解耦內(nèi)存的討論（參見擴(kuò)充內(nèi)存 RNN）。

?

3. 設(shè)計(jì)者會(huì)更依賴 Meta-learning

在我剛開啟深度學(xué)習(xí)之旅時(shí)，我曾想過(guò)優(yōu)化算法，尤其是那些二階會(huì)導(dǎo)致大規(guī)模改進(jìn)的算法?，F(xiàn)在，顯而易見，DL 就能為你學(xué)習(xí)優(yōu)化算法。對(duì)于那些考慮獲取更優(yōu)版本 SGD 的人來(lái)說(shuō)，這是一個(gè)終結(jié)。SGD 的更優(yōu)版本即為機(jī)器學(xué)習(xí)，是當(dāng)下十分具有針對(duì)性的問(wèn)題。與此同時(shí)，Meta-Learning 能夠基于它的域自適應(yīng)優(yōu)化學(xué)習(xí)。更具相關(guān)性的一個(gè)問(wèn)題是，未來(lái)是否會(huì)出現(xiàn)反向傳播算法的替代性算法。2017年年末，人類手工調(diào)整 SGD 算法的目標(biāo)很有可能成為現(xiàn)實(shí)。

?

4. 強(qiáng)化學(xué)習(xí)僅會(huì)變得更具創(chuàng)造性

對(duì)現(xiàn)實(shí)的觀察永遠(yuǎn)不盡完美，SGD 在很多問(wèn)題上也不適用。這就使得，DL 系統(tǒng)的的所有實(shí)際應(yīng)用都必須伴有 RL（強(qiáng)化學(xué)習(xí)）。除此之外，DL 的訓(xùn)練過(guò)程也離不開 RL。其中，Meta-Learning 就是在很大程度上受到 RL 影響的一個(gè)例子。事實(shí)上，RL 會(huì)被用來(lái)尋找各種各樣的神經(jīng)網(wǎng)絡(luò)架構(gòu)，與在類膽固醇上做超參數(shù)優(yōu)化的過(guò)程類似。如果你恰巧忙于 Gaussian Process 事宜，可能要沒時(shí)間吃飯了吧。

?

5. 對(duì)抗與合作學(xué)習(xí)將稱王

過(guò)去，我們有單純分析目標(biāo)函數(shù)的整體 DL 系統(tǒng)。未來(lái)，我們期待看到系統(tǒng)由兩個(gè)或兩個(gè)以上的網(wǎng)絡(luò)相互合作或競(jìng)爭(zhēng)，從而獲得最優(yōu)的解決方案，這個(gè)解決方案很可能不是以解析的形式出現(xiàn)。此處可參見《游戲理論揭示未來(lái)深度學(xué)習(xí)》（Game Theory reveals the future of Deep Learning，http://medium.com/intuitionmachine/game-theory-maps-the-future-of-deep-learning-21e193b0e33a）這篇文章。2017年將會(huì)涌現(xiàn)出大量的研究，用于嘗試管理非平衡環(huán)境。我們現(xiàn)在已經(jīng)看到，研究人員正在努力使用 GANs 去找到可以處理非平衡狀態(tài)的方法。

?

6. 預(yù)測(cè)學(xué)習(xí)或者無(wú)監(jiān)督學(xué)習(xí)的進(jìn)展不會(huì)太多

當(dāng)談及當(dāng)下常見的術(shù)語(yǔ)“無(wú)監(jiān)督學(xué)習(xí)”時(shí)，Yann LeCun 認(rèn)為“預(yù)測(cè)學(xué)習(xí)”將是新的流行語(yǔ)。現(xiàn)在，我們還不能確定預(yù)測(cè)學(xué)習(xí)的應(yīng)用范圍會(huì)不會(huì)進(jìn)一步擴(kuò)大。其中的問(wèn)題是，預(yù)測(cè)學(xué)習(xí)是否能在2017年取得較大的突破。我現(xiàn)在的感覺是這件事情并不簡(jiǎn)單，因?yàn)檫€不太清除其運(yùn)行的機(jī)制，在概念上依然存在著很大的脫節(jié)。

?

如果你閱讀過(guò)我之前寫的 5 Capabilities of Deep Learning Intelligence 一文（http://medium.com/intuitionmachine/five-levels-of-capability-of-deep-learning-ai-4ac1d4a9f2be），你就會(huì)明白，預(yù)測(cè)學(xué)習(xí)是一種完全未知的能力，依然處于非常陌生的狀態(tài)。預(yù)測(cè)學(xué)習(xí)就像是宇宙學(xué)家所說(shuō)的暗物質(zhì)：我們知道它就在那個(gè)地方，但就是不知道怎樣才能看到它。我預(yù)感，它可能與高的熵或者其他的隨機(jī)性有關(guān)。

?

7. 從學(xué)習(xí)到工業(yè)化的轉(zhuǎn)化

吳恩達(dá)認(rèn)為這是很重要的，我也這么認(rèn)為！

?

8. 深度學(xué)習(xí)將會(huì)成為更多應(yīng)用的組成部分

在2016年我們就已經(jīng)看到，深度學(xué)習(xí)在比以往更大型的搜索算法中用作函數(shù)評(píng)估。AlphaGo 在其價(jià)值評(píng)估和策略評(píng)估上使用的就是深度學(xué)習(xí)。而 Google 的 ?Gmail 自動(dòng)答復(fù)系統(tǒng)也使用了將 DL 與定向搜索想結(jié)合的方法。我期待能看到更多的混合算法，而不是新的端到端的訓(xùn)練過(guò)的 DL 系統(tǒng)。端到端的深度學(xué)習(xí)是一個(gè)令人著迷的研究領(lǐng)域，但是迄今為止混合系統(tǒng)在應(yīng)用領(lǐng)域會(huì)更有效率。

?

9. 采用設(shè)計(jì)模式的頻率會(huì)越來(lái)越高

深度學(xué)習(xí)是需要概念框架的眾多復(fù)雜領(lǐng)域中的一個(gè)。盡管涵蓋了很多高級(jí)的數(shù)學(xué)公式，但依然存在很多的文字描述和模糊的概念，可以從其他復(fù)雜領(lǐng)域中經(jīng)證實(shí)十分有效的方法中獲得（如軟件開發(fā)領(lǐng)域），一般不通過(guò)正式而又十分嚴(yán)謹(jǐn)?shù)耐緩将@得。就 Deep Learning and Design Patterns 這篇文章而言（http://www.deeplearningpatterns.com/），我預(yù)言廣大人工智能從業(yè)者一定可以獲得設(shè)計(jì)模型。深度學(xué)習(xí)框架會(huì)變得越來(lái)越模塊化而不是越來(lái)越整體化，這也將會(huì)進(jìn)一步促進(jìn)上述預(yù)言的實(shí)現(xiàn)過(guò)程。

?

10. 工程化速度將超過(guò)理論出現(xiàn)的速度

研究人員的背景和其使用的數(shù)學(xué)工具，會(huì)使他們?cè)谘芯窟^(guò)程中會(huì)產(chǎn)生一些偏見。深度學(xué)習(xí)系統(tǒng)和無(wú)監(jiān)督學(xué)習(xí)系統(tǒng)似乎是我們之前從未遇到過(guò)的新事物。因此，沒有證據(jù)表明傳統(tǒng)分析工具會(huì)對(duì)解開 DL 的實(shí)際運(yùn)作機(jī)制提供任何幫助。幾十年來(lái)，物理學(xué)上仍有大量動(dòng)態(tài)系統(tǒng)讓我感到困惑，這與動(dòng)態(tài)學(xué)習(xí)系統(tǒng)的情形相似。

?

盡管我們?nèi)狈?duì)基本原理的理解，但這種情況不會(huì)阻止工程化背景下更為先進(jìn)的應(yīng)用程序。深度學(xué)習(xí)更像是生物學(xué)或遺傳工程，我們能夠創(chuàng)造出仿真學(xué)習(xí)機(jī)器，但是并不能較精確地知道其工作的方式。然而，這并不能組織我們創(chuàng)新的腳步。

?

本文作者 Carlos E. Perez 擁有20年軟件開發(fā)經(jīng)驗(yàn)，自2000年以來(lái)，他主要擔(dān)任軟件開發(fā)中的技術(shù)架構(gòu)師。他是家長(zhǎng)控制融合移動(dòng)電話產(chǎn)品的首席架構(gòu)師和總監(jiān)，并且還是一家風(fēng)險(xiǎn)資本資助的初創(chuàng)公司的首席架構(gòu)師，為 B2B 交易所開發(fā)優(yōu)化解決方案。目前專注于深度學(xué)習(xí)模式，方法和戰(zhàn)略的研究。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754