摘要:大數(shù)據(jù)與深度學(xué)習(xí)是一種蠻力盡管當(dāng)場說了很多觀點,但是最核心的還是援引了愛因斯坦關(guān)于上帝的隱喻。大數(shù)據(jù)與深度學(xué)習(xí)是一種蠻力在算法和模型上,我們是否能發(fā)明所有東西認(rèn)為,在機器學(xué)習(xí)的算法和模型上,我們并不能發(fā)明所有東西。
Facebook去年底挖來了一個機器學(xué)習(xí)大神Vladimir Vapnik,他是統(tǒng)計學(xué)習(xí)理論和支持向量機的主要發(fā)明者。Vladimir Vapnik被稱為統(tǒng)計學(xué)習(xí)理論之父,他出生于俄羅斯,1990年底移居美國,在美國貝爾實驗室一直工作到2002年,之后加入了普林斯頓的NEC實驗室機器學(xué)習(xí)研究組,同時任哥倫比亞大學(xué)特聘教授。2014年,Vladimir Vapnik加入Facebook人工智能實驗室。
Vladimir Vapnik
近日,Vladimir在俄羅斯較大的搜索引擎公司Yandex的大會上發(fā)表了講話,重點討論了深度學(xué)習(xí)是否以蠻力取勝。來自加利福尼亞大學(xué)圣地亞哥分校的Zachary Chase Lipton博士詳細(xì)記錄了會議內(nèi)容,并整理成了文章:
上周,我來到柏林參加機器學(xué)習(xí)展望和應(yīng)用大會。這個大會由Yandex舉辦,主要談了Deep Learning和Intelligent Learning兩個問題,它們經(jīng)常作為對比的概念出現(xiàn)。
雖然我自己也是演講者之一,但是整個會議的高潮部分,還是關(guān)于深度學(xué)習(xí)的方法論,其中經(jīng)驗主義和數(shù)學(xué)推理中的矛盾部分。
第一條是關(guān)于深度學(xué)習(xí),討論的是背后的數(shù)學(xué)支撐,以及未來的方向。問題包括了模型的可解釋性和醫(yī)療領(lǐng)域的應(yīng)用。到了周三晚上,Vladimir Vapnik也參與了討論,說的是知識如何在不同的個體之間傳遞。Vladimir的哲學(xué)觀橫跨了機器學(xué)習(xí)、數(shù)學(xué)和智能的源頭,并且挑戰(zhàn)了深度學(xué)習(xí)的方法論,這很有爭議。
其實在今年夏天,我就寫文章說機器學(xué)習(xí)的成功是大數(shù)據(jù)時代經(jīng)驗主義的勝利。在里面我強調(diào)說,過度去擬合數(shù)據(jù),雖然能在真實數(shù)據(jù)中得到檢驗,但里面會有很大風(fēng)險,至少比基于數(shù)學(xué)推理建立的系統(tǒng)風(fēng)險大得多。在這次會議中,我聽到了Vladimir在這方面的觀點。
為了避免混淆視聽,我得強調(diào):我是一個深度學(xué)習(xí)的實踐者。我個人并不否認(rèn)深度學(xué)習(xí),而且對它的先行者和火炬手充滿尊敬。但我也同樣相信,我們應(yīng)該對深度學(xué)習(xí)的可能性抱有開放性的態(tài)度:
即會有一些數(shù)學(xué)模型,能夠更好的指明未來發(fā)展方向,開啟新的方法論。
很顯然,當(dāng)我們?nèi)ゾ捉篮拖@些觀點的時候,能夠得到很大的價值。
大數(shù)據(jù)與深度學(xué)習(xí)是一種蠻力?
盡管Vapnik當(dāng)場說了很多觀點,但是最核心的還是援引了愛因斯坦關(guān)于上帝的隱喻。簡單的說,Vapnik假設(shè)了一個理論:想法和直覺要么來自上帝,要么出自魔鬼。而區(qū)別在于,上帝是智慧的,而魔鬼往往不是。
在作為數(shù)學(xué)家和機器學(xué)習(xí)研究和踐行者的生涯中,Vapnik得出了一個結(jié)論:魔鬼往往來自于蠻力(Brute Force)。進一步說,如果承認(rèn)深度學(xué)習(xí)系統(tǒng)在解決問題時不可思議的表現(xiàn),那么大數(shù)據(jù)和深度學(xué)習(xí),都有某種蠻力的味道。
不過,我自己并不同意深度學(xué)習(xí)必須等同于機器蠻力。我們?nèi)缃褚材芸吹綄τ诖髷?shù)據(jù)的觀點爭論,其中Vapnik和Nathan Intrator教授就說:小孩不需要幾億的標(biāo)簽樣本以完成學(xué)習(xí)。雖然有大量帶有標(biāo)簽的數(shù)據(jù)時,學(xué)習(xí)會成為一件比較容易的事,但如果依賴這樣的方法,我們就錯失了自然界中關(guān)于學(xué)習(xí)的基本原理。
也許,真正的學(xué)習(xí)只需要數(shù)百樣本,而我們現(xiàn)在卻只有非常大的數(shù)據(jù)量才能完成學(xué)習(xí)。如果我們不去探尋學(xué)習(xí)的本質(zhì),那就是在屈從于懶惰。
我們現(xiàn)在的深度學(xué)習(xí)并非科學(xué)。確切的說,機器學(xué)習(xí)和核心任務(wù)是理解計算本身,而現(xiàn)在的方法和它有所背離。這就好比任務(wù)是制造小提琴,而我們扮演的角色不過是小提琴演奏者,雖然也能創(chuàng)作美妙的音樂,也有演奏的直覺,但我們并不知道小提琴如何創(chuàng)造出音樂。
進一步說,很多深度學(xué)習(xí)實踐者,他們對數(shù)據(jù)和工程有很好的感覺,但其實不知道這里頭是怎么回事。所以在目前的深度學(xué)習(xí)方法中,參數(shù)的調(diào)節(jié)方法依然是一門“藝術(shù)”,而非“工藝”。
在算法和模型上,我們是否能發(fā)明所有東西?
Vapnik認(rèn)為,在機器學(xué)習(xí)的算法和模型上,我們并不能發(fā)明所有東西。他堅持說,他自己并沒有如此的聰明才智,以完成這些算法模型的發(fā)明。(這似乎也在暗示,其他人也沒有那么聰明,去發(fā)明這些玩意)
按照Vapnik的意思,我們在機器學(xué)習(xí)上發(fā)明的東西是微不足道的。真正重要的東西,來自于我們對數(shù)學(xué)本質(zhì)的理解。就深度學(xué)習(xí)來說,模型經(jīng)常被發(fā)明出來、品牌化并申請專利,但這些相比于真正由數(shù)學(xué)驅(qū)動的機器學(xué)習(xí),就顯得很一般了。
關(guān)于深度學(xué)習(xí)的反思,來自紐約州立大學(xué)的顧險峰教授也有很多理解。顧險峰認(rèn)為,深度學(xué)習(xí)方法深刻地轉(zhuǎn)變了學(xué)術(shù)研究的范式。以前學(xué)者們所采用的觀察現(xiàn)象,提煉規(guī)律,數(shù)學(xué)建模,模擬解析,實驗檢驗,修正模型的研究套路被徹底顛覆,被數(shù)據(jù)科學(xué)的方法所取代:收集數(shù)據(jù),訓(xùn)練網(wǎng)絡(luò),實驗檢驗,加強訓(xùn)練。
在深度學(xué)習(xí)新方法下,嚴(yán)格的數(shù)學(xué)推理缺失了。比如說地圖四色定理的證明,數(shù)學(xué)家將平面圖的構(gòu)型分成1936種,然后用計算機逐一驗證。當(dāng)然在足夠的算力下,這可以證明地圖四色定理。但是在這個過程中,沒有新穎概念提出,換言之,機械蠻力代替了幾何直覺。
而在數(shù)學(xué)歷史上,對于一個著名猜想的證明和解答,答案本身也許并不重要,在尋找證明的過程中所凝練的概念,提出的方法,發(fā)展的理論才是真正目的所在。機械定理證明驗證了命題的真?zhèn)危菬o法明確地提出新的概念和方法,實質(zhì)上背離了數(shù)學(xué)的真正目的。
所以說,這是一種“相關(guān)性”而非“因果性”的科學(xué)。歷史上,人類積累科學(xué)知識,在初期總是得到“經(jīng)驗公式”,但是最終還是尋求更為深刻本質(zhì)的理解。例如從煉丹術(shù)到化學(xué)、量子力學(xué)的發(fā)展歷程。
人類智能更為獨特之處也在于數(shù)學(xué)推理,特別是機械定理證明,對于這一點,機器學(xué)習(xí)方法是無能為力的。當(dāng)人的數(shù)學(xué)推理缺失的時候,僅僅依靠機器蠻力,就會遇到很大制約。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法,實際應(yīng)用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉庫,數(shù)據(jù)挖掘工具,報表系統(tǒng)等全方位知識
QQ群:81035754
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/4343.html
摘要:進一步說,如果承認(rèn)深度學(xué)習(xí)系統(tǒng)在解決問題時不可思議的表現(xiàn),那么大數(shù)據(jù)和深度學(xué)習(xí),都有某種蠻力的味道。不過,我自己并不同意深度學(xué)習(xí)必須等同于機器蠻力。 Facebook去年底挖來了一個機器學(xué)習(xí)大神Vladimir Vapnik,他是統(tǒng)計學(xué)習(xí)理論和支持向量機的主要發(fā)明者。Vladimir Vapnik被稱為統(tǒng)計學(xué)習(xí)理論之父,他出生于俄羅斯,1990年底移居美國,在美國貝爾實驗室一直工作到2002...
摘要:第一條是關(guān)于深度學(xué)習(xí)的晚宴,討論的是背后的數(shù)學(xué)支撐,以及未來的方向。大數(shù)據(jù)與深度學(xué)習(xí)是一種蠻力盡管當(dāng)場說了很多觀點,但是最核心的還是援引了愛因斯坦關(guān)于上帝的隱喻。不過,我自己并不同意深度學(xué)習(xí)必須等同于機器蠻力。 Vladimir Vapnik 介紹:Vladimir Vapnik 被稱為統(tǒng)計學(xué)習(xí)理論之父,他出生于俄羅斯,1990 年底移居美國,在美國貝爾實驗室一直工作到 2002 年,之后加...
摘要:主流機器學(xué)習(xí)社區(qū)對神經(jīng)網(wǎng)絡(luò)興趣寡然。對于深度學(xué)習(xí)的社區(qū)形成有著巨大的影響。然而,至少有兩個不同的方法對此都很有效應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的簡單梯度下降適用于信號和圖像,以及近期的逐層非監(jiān)督式學(xué)習(xí)之后的梯度下降。 我們終于來到簡史的最后一部分。這一部分,我們會來到故事的尾聲并一睹神經(jīng)網(wǎng)絡(luò)如何在上世紀(jì)九十年代末擺脫頹勢并找回自己,也會看到自此以后它獲得的驚人先進成果。「試問機器學(xué)習(xí)領(lǐng)域的任何一人,是什...
摘要:團隊或身邊中大多數(shù)人都在問這問題怎么辦,而總是你能站出來告訴大家這事該怎么辦被人所依賴。團隊或身邊中大多數(shù)人在做比較關(guān)鍵的決定時,都會來找你咨詢你的意見和想法。比如,或的某個高級工程師,可能就對應(yīng)于阿里的甚至更高。 文章來源 | 酷殼 作者 | 陳皓 技術(shù)圈中的很多人,最初都堅定地認(rèn)為 coding 能改變世界。然而三五年過去后,還能不忘初心的人,少之又少。 隨著年齡的增長,夢想已被束...
摘要:本文介紹了包括等在內(nèi)的一系列編程語言的深度學(xué)習(xí)庫。是一個部署在編程語言中的深度學(xué)習(xí)工具包,用于通過高效的算法處理大型文本集。是公司基于開發(fā)的深度學(xué)習(xí)框架。是第一個為和編寫的消費級開元分布式深度學(xué)習(xí)庫。 本文介紹了包括 Python、Java、Haskell等在內(nèi)的一系列編程語言的深度學(xué)習(xí)庫。PythonTheano 是一種用于使用數(shù)列來定義和評估數(shù)學(xué)表達的 Python 庫。它可以讓 Pyt...
閱讀 2780·2021-09-23 11:44
閱讀 1671·2021-09-13 10:24
閱讀 2619·2021-09-08 09:36
閱讀 1231·2019-08-30 15:54
閱讀 2248·2019-08-30 13:54
閱讀 3308·2019-08-30 10:57
閱讀 1844·2019-08-29 18:43
閱讀 3609·2019-08-29 15:10