資訊專欄INFORMATION COLUMN
摘要：等一下，什么樣的神經(jīng)網(wǎng)絡(luò)才算是小型的哈哈這不一定，會(huì)隨著時(shí)間改變。我們一般是依照神經(jīng)網(wǎng)絡(luò)之間的連接數(shù)劃分。訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的連接數(shù)量一般可以達(dá)到幾百億。許多語(yǔ)言學(xué)家對(duì)此表示強(qiáng)烈的不滿，甚至公開(kāi)地向我表示反對(duì)。
在原文作者Caleb Garling對(duì)話吳恩達(dá)時(shí)，他剛結(jié)束在舊金山的深度學(xué)習(xí)大會(huì)，這名斯坦福深度學(xué)習(xí)教授，前Google Brain負(fù)責(zé)人，Coursera的創(chuàng)始人和現(xiàn)任百度首席科學(xué)家在大會(huì)上受到了一大群仰慕他的計(jì)算機(jī)科學(xué)家的訪問(wèn)。
吳恩達(dá)和我談?wù)摿怂麕ьI(lǐng)“中國(guó)的 Google”（百度）在深度學(xué)習(xí)中面臨的挑戰(zhàn)，他強(qiáng)調(diào)，百度只對(duì)可以影響 1 億用戶的技術(shù)有興趣。其本人十分友好溫和，是那種說(shuō)起話來(lái)你不好意思打斷他的人。
以下內(nèi)容節(jié)選自訪問(wèn)：
中文和英文，無(wú)論從哪個(gè)方面來(lái)說(shuō)都是兩種完全不同的語(yǔ)言，所以對(duì)于理解這兩種語(yǔ)言的機(jī)器框架來(lái)說(shuō)，究竟會(huì)有多不同呢？
嗯，現(xiàn)有科技理論還沒(méi)有成熟到讓我可以言簡(jiǎn)意賅地給出答案的地步。對(duì)英語(yǔ)來(lái)說(shuō)我們已經(jīng)有很好的框架了，現(xiàn)在我們想對(duì)中文進(jìn)行嘗試。
英語(yǔ)有 26 個(gè)字母，然而中文大約有 5000 個(gè)字符。如果你看一篇中等長(zhǎng)度英文的語(yǔ)料庫(kù)，出現(xiàn)的總是那么 26 個(gè)字母，而中文的語(yǔ)料庫(kù)中會(huì)有一些你只會(huì)見(jiàn)到一次的生僻字。所以你要如何學(xué)會(huì)認(rèn)識(shí)這些中文字符？
相較而言，羅曼斯語(yǔ)言更加簡(jiǎn)單。從法語(yǔ)轉(zhuǎn)到英語(yǔ)比從中文轉(zhuǎn)到英語(yǔ)要容易得多。
所以如果你有一張英文標(biāo)簽的圖片，你如何把這些標(biāo)簽轉(zhuǎn)換成中文？
我認(rèn)為我很多值得嘗試的方法，并且這些方法都還沒(méi)有探索過(guò)。我們一般用的是多任務(wù)學(xué)習(xí)的方法。假設(shè)說(shuō)你有一個(gè)識(shí)別英語(yǔ)標(biāo)簽圖像的網(wǎng)絡(luò)，現(xiàn)在你要訓(xùn)練一個(gè)網(wǎng)絡(luò)可以識(shí)別中文標(biāo)簽，如果你訓(xùn)練一個(gè)網(wǎng)絡(luò)同時(shí)完成這兩件事，很有可能這個(gè)網(wǎng)絡(luò)會(huì)比多帶帶兩個(gè)網(wǎng)絡(luò)分別識(shí)別英語(yǔ)和中文要好得多。
這么做是有優(yōu)勢(shì)的，但是優(yōu)勢(shì)并不明顯。原因是這樣，機(jī)器可能會(huì)學(xué)習(xí)識(shí)別圖像中的邊，然后又學(xué)會(huì)了辨別圖像中的角。對(duì)于兩種語(yǔ)言來(lái)說(shuō)，這種知識(shí)都是通用的。一旦你學(xué)會(huì)了識(shí)別英語(yǔ)中的物體，這事實(shí)上對(duì)于你學(xué)習(xí)中文中的物體也有幫助，因?yàn)槟憧梢员鎰e這些邊和物體。
那么，那些只存在于一種語(yǔ)言之中的詞又該怎么辦呢？
在英語(yǔ)里，姐妹只有一個(gè)單詞“sister”，但是在中文中，“姐”和“妹”是兩個(gè)不同意思的詞。事實(shí)上，當(dāng)你想要翻譯“sister”這個(gè)詞的時(shí)候，就會(huì)遇到問(wèn)題，因?yàn)槟悴恢缿?yīng)該把它翻譯成姐姐還是妹妹。不過(guò)我認(rèn)為如果機(jī)器知道你的 sister 和屋子里其他的物體是有區(qū)別的話，那再區(qū)別是姐姐或者是妹妹并不困難。如果你不知道“sister”的概念，就要從零學(xué)習(xí)“姐妹”的概念了。
隨著不斷地訓(xùn)練，投入會(huì)越來(lái)越昂貴，當(dāng)然，除非你的神經(jīng)網(wǎng)絡(luò)規(guī)模比較小了。
等一下，什么樣的神經(jīng)網(wǎng)絡(luò)才算是小型的？
【哈哈】這不一定，會(huì)隨著時(shí)間改變。我們一般是依照神經(jīng)網(wǎng)絡(luò)之間的連接數(shù)劃分。Baidu 訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的連接數(shù)量一般可以達(dá)到幾百億。
那我們來(lái)聊聊語(yǔ)言識(shí)別，百度會(huì)不會(huì)從一些特殊的音節(jié)或是字母組合入手，比如像“th”這樣的組合？
過(guò)去的語(yǔ)音識(shí)別是這么做的。過(guò)去的語(yǔ)音識(shí)別都有一個(gè)標(biāo)準(zhǔn)管道，你輸入音頻，預(yù)計(jì)這些音節(jié)到底是什么。然后你再用另一套系統(tǒng)，把這些音節(jié)轉(zhuǎn)化成文字。不過(guò)近來(lái)人們一直在爭(zhēng)論，到底音節(jié)是語(yǔ)言的一個(gè)基本組成部分，還是語(yǔ)言學(xué)家臆想出來(lái)的？我花了很多年試圖向人們解釋，音節(jié)其實(shí)是人為劃分的，它不是語(yǔ)言的一個(gè)基本事實(shí)，只是人類發(fā)明出來(lái)，對(duì)語(yǔ)言的一種描述方式。許多語(yǔ)言學(xué)家對(duì)此表示強(qiáng)烈的不滿，甚至公開(kāi)地向我表示反對(duì)。
我們?cè)诎俣日Z(yǔ)音系統(tǒng)中做事并沒(méi)有用到音節(jié)的概念，這個(gè)過(guò)程更像是小孩學(xué)習(xí)語(yǔ)言的過(guò)程：我們給電腦聽(tīng)一段音頻，告訴它文字的內(nèi)容，然后讓它自己建立對(duì)應(yīng)，而不是人工的構(gòu)建所謂“音節(jié)”的概念。在我還不知道音節(jié)是什么之前，我就已經(jīng)會(huì)說(shuō)英語(yǔ)了。
那么電影呢？百度有關(guān)注這方面嗎？
深度學(xué)習(xí)在視頻方面有很多的成果，但是考慮到機(jī)器對(duì)于時(shí)間這個(gè)基本維度的認(rèn)識(shí)，我并不認(rèn)為它們很成功。所以深度學(xué)習(xí)的研究者們常常會(huì)爭(zhēng)論，時(shí)間的概念對(duì)于我們的智能發(fā)展到底有多重要。
你能詳細(xì)闡述一下機(jī)器如何學(xué)習(xí)“時(shí)間”這個(gè)概念嗎？
當(dāng)你的頭移動(dòng)的時(shí)候，你看到的物體都是有視差的（這意味著你可以辨別不同時(shí)間下你所看到物體的差別）。有的在前景中移動(dòng)，有的在后景中移動(dòng)。我們不知道小孩子到底是不是先學(xué)會(huì)區(qū)分這些物體，再根據(jù)視察學(xué)會(huì)分辨它們之間的距離。反正我是不知道，我也不認(rèn)為有人知道。也有一些圍繞視頻的其他特性的（關(guān)于時(shí)間的）想法，但是關(guān)于應(yīng)該怎么處理時(shí)間，目前也沒(méi)有很好的結(jié)果。
動(dòng)物們看到的世界就是一個(gè)視頻，那如果動(dòng)物只能看到靜態(tài)的圖像呢，它們的視覺(jué)系統(tǒng)會(huì)怎么發(fā)展。神經(jīng)科學(xué)家們?cè)谪埳砩献鲞^(guò)一個(gè)實(shí)驗(yàn)，它們把貓放在黑暗的環(huán)境中，利用頻閃閃光燈使貓只能看到不動(dòng)的圖像，結(jié)果這些貓的視覺(jué)都沒(méi)有發(fā)育完全，所以看到動(dòng)態(tài)的世界是很重要的，但是算法又該怎么寫？機(jī)器的“視覺(jué)系統(tǒng)”又該怎么利用它？
我認(rèn)為解決這個(gè)問(wèn)題的關(guān)鍵還是時(shí)間，只是我們現(xiàn)在還沒(méi)有開(kāi)發(fā)出好的算法。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/4296.html
摘要：百度北京深度學(xué)習(xí)實(shí)驗(yàn)室主任余凱和吳是朋友，就是他力勸吳恩達(dá)加入百度的，余凱說(shuō)實(shí)驗(yàn)室確實(shí)以基礎(chǔ)技術(shù)為目標(biāo)。實(shí)驗(yàn)結(jié)果證實(shí)，深度學(xué)習(xí)是開(kāi)發(fā)機(jī)器學(xué)習(xí)軟件的切實(shí)可行的辦法。 百度是中國(guó)網(wǎng)民上網(wǎng)時(shí)的常用工具，它致力于成為影響全球的力量。作為世界上人工智能領(lǐng)域的頂尖研究員，吳恩達(dá)先生能否助其成功挑戰(zhàn)硅谷較大的互聯(lián)網(wǎng)公司？百老匯音樂(lè)廳位于舊金山北海岸，是新古典主義建筑，已擁有95年歷史，歷經(jīng)歲月磨蝕，四周環(huán)...
摘要：今日，在第屆神經(jīng)信息處理系統(tǒng)大會(huì)中，百度首席科學(xué)家吳恩達(dá)教授發(fā)表演講利用深度學(xué)習(xí)開(kāi)發(fā)人工智能應(yīng)用的基本要點(diǎn)。為了方便讀者學(xué)習(xí)和收藏，雷鋒網(wǎng)特地把吳恩達(dá)教授的做為中文版。吳恩達(dá)先講述了常見(jiàn)的深度學(xué)習(xí)模型，然后再著分析端到端學(xué)習(xí)的具體應(yīng)用。 今日，在第 30 屆神經(jīng)信息處理系統(tǒng)大會(huì)（NIPS 2016）中，百度首席科學(xué)家吳恩達(dá)教授發(fā)表演講：《利用深度學(xué)習(xí)開(kāi)發(fā)人工智能應(yīng)用的基本要點(diǎn)（Nuts an...
摘要：根據(jù)百度的說(shuō)法，這是全球首次將深度學(xué)習(xí)領(lǐng)域技術(shù)應(yīng)用在客戶端，獨(dú)創(chuàng)了深度神經(jīng)網(wǎng)絡(luò)查殺技術(shù)。在過(guò)去，吳恩達(dá)說(shuō)，百度用神經(jīng)網(wǎng)絡(luò)來(lái)幫助偵測(cè)廣告。 吳恩達(dá)拿起他的手機(jī)，打開(kāi)了臉優(yōu) app。他現(xiàn)在正位于硅谷公司的研究室。在辦公桌邊吃飯，談話內(nèi)容很自然地也涉及到人工智能。他是百度的首席科學(xué)家，同時(shí)也是斯坦福大學(xué)計(jì)算機(jī)系的教授。在其他搜索引擎仍在發(fā)展時(shí)，他就曾幫助谷歌啟動(dòng)了腦計(jì)劃，現(xiàn)在他在百度從事相似的人工...
摘要：的研究興趣涵蓋大多數(shù)深度學(xué)習(xí)主題，特別是生成模型以及機(jī)器學(xué)習(xí)的安全和隱私。與以及教授一起造就了年始的深度學(xué)習(xí)復(fù)興。目前他是僅存的幾個(gè)仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學(xué)計(jì)算機(jī)視覺(jué)博士學(xué)位，讀博期間師從現(xiàn)任 Google AI 首席科學(xué)家李飛飛，研究卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理上的應(yīng)...
摘要：騰訊張潼在吳恩達(dá)宣布從百度離職后，行業(yè)內(nèi)另一勁爆消息令人驚震，即張潼出任騰訊騰訊人工智能實(shí)驗(yàn)室負(fù)責(zé)人。在人工智能浪潮下，每個(gè)企業(yè)都在談，各種產(chǎn)品和服務(wù)都將嵌入技術(shù)，賦予設(shè)備各種交互及感知能力。 人工智能熱潮，你家有AI大牛嗎？ 人工智能的異?；馃幔型蔀槲磥?lái)10年乃至更長(zhǎng)時(shí)間內(nèi)科技產(chǎn)業(yè)發(fā)展焦點(diǎn)，但推動(dòng)該技術(shù)的發(fā)展關(guān)鍵因素是人才和數(shù)據(jù)，下面就來(lái)看看科舉巨頭和初創(chuàng)企業(yè)都有哪些人工智能技術(shù)...
閱讀 2604·2021-11-02 14:39
閱讀 4321·2021-10-11 10:58
閱讀 1446·2021-09-06 15:12
閱讀 1837·2021-09-01 10:49
閱讀 1326·2019-08-29 18:31
閱讀 1882·2019-08-29 16:10
閱讀 3331·2019-08-28 18:21
閱讀 864·2019-08-26 10:42
