国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

深度學習是否以蠻力取勝?

CarlBenjamin / 2827人閱讀

摘要:第一條是關于深度學習的晚宴,討論的是背后的數學支撐,以及未來的方向。大數據與深度學習是一種蠻力盡管當場說了很多觀點,但是最核心的還是援引了愛因斯坦關于上帝的隱喻。不過,我自己并不同意深度學習必須等同于機器蠻力。

Vladimir Vapnik 介紹:

Vladimir Vapnik 被稱為統計學習理論之父,他出生于俄羅斯,1990 年底移居美國,在美國貝爾實驗室一直工作到 2002 年,之后加入了普林斯頓的 NEC 實驗室機器學習研究組,同時任哥倫比亞大學特聘教授。2006 年,Vladimir 稱為美國工程院院士。2014年 Vladimir Vapnik 加入 Facebook 人工智能實驗室。Vladimir Vapnik 在機器學習上有很多奠基之作,例如 Vapnik–Chervonenkis 理論,Vladimir 是主要發明者。

Facebook 去年底挖來了一個機器學習大神 Vladimir Vapnik,他是統計學習理論和支持向量機的主要發明者。近日 Vladimir 在 Yandex(俄羅斯較大的搜索引擎公司)大會上發表了講話,重點討論了深度學習是否以蠻力取勝?

來自加利福尼亞大學圣地亞哥分校的 Zachary Chase Lipton 博士詳細記錄了會議內容,并整理成文章如下:

上周,我來到柏林參加機器學習:展望和應用大會。這個大會由 Yandex(俄羅斯較大的搜索引擎公司)舉辦,主要談了 Deep Learning 和 Intelligent Learning 兩個問題,它們經常作為對比的概念出現。

雖然我自己也是演講者之一,但是整個會議的高潮部分,還是關于深度學習的方法論,其中經驗主義和數學推理中的矛盾部分。

第一條是關于深度學習的晚宴,討論的是背后的數學支撐,以及未來的方向。問題包括了模型的可解釋性和醫療領域的應用。到了周三晚上,Vladimir Vapnik 也參與了討論,說的是知識如何在不同的個體之間傳遞。Vladimir 的哲學觀橫跨了機器學習、數學和智能的源頭,并且挑戰了深度學習的方法論,這很有爭議。

其實在今年夏天,我就寫文章說機器學習的成功,是大數據時代經驗主義的勝利。在里面我強調說,過度去擬合數據,雖然能在真實數據中得到檢驗,但里面會有很大風險,至少比基于數學推理建立的系統風險大得多。在這次會議中,我聽到了 Vladimir 在這方面的觀點。

為了避免混淆視聽,我得強調:我是一個深度學習的實踐者。我個人并不否認深度學習,而且對它的先行者和火炬手充滿尊敬。但我也同樣相信,我們應該對深度學習的可能性抱有開放性的態度:

即會有一些數學模型,能夠更好的指明未來發展方向,開啟新的方法論。

很顯然,當我們去咀嚼和消化這些觀點的時候,能夠得到很大的價值。

大數據與深度學習是一種蠻力?

盡管 Vapnik 當場說了很多觀點,但是最核心的還是援引了愛因斯坦關于上帝的隱喻。簡單的說,Vapnik 假設了一個理論,想法和直覺要么來自上帝,要么出自魔鬼。而區別在于,上帝是智慧的,而魔鬼往往不是。

在作為數學家和機器學習研究和踐行者的生涯中,Vapnik 得出了一個結論:魔鬼往往來自于蠻力( Brute Force)。進一步說,如果承認深度學習系統在解決問題時不可思議的表現,那么大數據和深度學習,都有某種蠻力的味道。

(這時候一名觀眾提問:進化是否來自于蠻力?但 Vapnik 以不喜歡猜測為由拒絕給出回答。)

不過,我自己并不同意深度學習必須等同于機器蠻力。我們如今也能看到對于大數據的觀點爭論,其中 Vapnik 和 Nathan Intrator 教授就說,小孩不需要幾億的標簽樣本以完成學習。雖然有大量帶有標簽的數據時,學習會成為一件比較容易的事,但如果依賴這樣的方法,我們就錯失了自然界中關于學習的基本原理。

也許,真正的學習只需要數百樣本,而我們現在卻只有非常大的數據量才能完成學習。如果我們不去探尋學習的本質,那就說屈從于懶惰。

深度學習還是深度工程?

我們現在的深度學習并非科學。確切的說,機器學習和核心任務是理解計算本身,而現在的方法和它有所背離。這就好比任務是制造小提琴,而我們扮演的角色不過是小提琴演奏者,雖然也能創作美妙的音樂,也有演奏的直覺,但我們并不知道小提琴如何創造出音樂。

進一步說,很多深度學習實踐者,他們對數據和工程有很好的感覺,但其實不知道里頭是怎么回事。所以在目前的深度學習方法中,參數的調節方法依然是一門“藝術”,而非“工藝”。

在算法和模型上,我們是否能發明所有東西?

Vapnik 認為,在機器學習的算法和模型上,我們并不能發明所有東西。他堅持向現場觀眾說,他自己并沒有如此的聰明才智,以完成這些算法模型的發明。(這似乎也在暗示,其他人也沒有那么聰明,去發明這些玩意)

按照 Vapnik 的意思,我們在機器學習上發明的東西是微不足道的。真正重要的東西,來自于我們對數學本質的理解。就深度學習來說,模型經常被發明出來,品牌化并申請專利,但這些相比于真正由數學驅動的機器學習,就顯得很一般了。

相關性科學和因果性科學

關于深度學習的反思,來自紐約州立大學的顧險峰教授也有很多理解。前些時間顧險峰教授給新智元投稿,談到了機器學習研究范式的變遷,以及背后不足的地方。

顧險峰認為,深度學習方法深刻地轉變了學術研究的范式。以前學者們所采用的觀察現象,提煉規律,數學建模,模擬解析,實驗檢驗,修正模型的研究套路被徹底顛覆,被數據科學的方法所取代:收集數據,訓練網絡,實驗檢驗,加強訓練。

在深度學習新方法下,嚴格的數學推理缺失了。比如說地圖四色定理的證明,數學家將平面圖的構型分成 1936 種,然后用計算機逐一驗證。當然在足夠的算力下,這可以證明地圖四色定理。但是在這個過程中:

沒有新穎概念提出,換言之,機械蠻力代替了幾何直覺。

而在數學歷史上,對于一個著名猜想的證明和解答,答案本身并不重要,在尋找證明的過程中所凝練的概念,提出的方法,發展的理論才是真正目的所在。機械定理證明驗證了命題的真偽,但是無法明確地提出新的概念和方法,實質上背離了數學的真正目的。

所以說,這是一種“相關性”而非“因果性”的科學。歷史上,人類積累科學知識,在初期總是得到“經驗公式”,但是最終還是尋求更為深刻本質的理解。例如從煉丹術到化學,量子力學的發展歷程。

人類智能更為獨特之處也在于數學推理,特別是機械定理證明,對于這一點機器學習方法是無能為力的。當人的數學推理缺失的時候,僅僅依靠機器蠻力,就會遇到很大的制約。

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/4327.html

相關文章

  • 大數據與深度學習是一種蠻力

    摘要:進一步說,如果承認深度學習系統在解決問題時不可思議的表現,那么大數據和深度學習,都有某種蠻力的味道。不過,我自己并不同意深度學習必須等同于機器蠻力。 Facebook去年底挖來了一個機器學習大神Vladimir Vapnik,他是統計學習理論和支持向量機的主要發明者。Vladimir Vapnik被稱為統計學習理論之父,他出生于俄羅斯,1990年底移居美國,在美國貝爾實驗室一直工作到2002...

    lidashuang 評論0 收藏0
  • 大數據與深度學習是一種蠻力

    摘要:大數據與深度學習是一種蠻力盡管當場說了很多觀點,但是最核心的還是援引了愛因斯坦關于上帝的隱喻。大數據與深度學習是一種蠻力在算法和模型上,我們是否能發明所有東西認為,在機器學習的算法和模型上,我們并不能發明所有東西。 Facebook去年底挖來了一個機器學習大神Vladimir Vapnik,他是統計學習理論和支持向量機的主要發明者。Vladimir Vapnik被稱為統計學習理論之父,他出生...

    yankeys 評論0 收藏0
  • 你必須得知道的人工智能領域的大師與大事

    摘要:沒有過年,年后在年后的年打敗了圍棋高手李世石,這下人工智能引起了全世界的關注。隨后的十多年,人工智能轉入第一次低潮,而也在他生日時,因海事喪生,遺憾未能見到神經網絡后期的復興。算力的進步再次加速了人工智能的快速發展。 showImg(https://segmentfault.com/img/remote/1460000019409315); 小西:小迪小迪,我發現人工智能發展史上很多事...

    LeoHsiun 評論0 收藏0

發表評論

0條評論

CarlBenjamin

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<