摘要:而這種舉一反三的能力在機器學習領域同樣適用,科學家將其稱之為遷移學習。與深度學習相比,我們技術較大優點是具有可證明的性能保證。近幾年的人工智能熱潮中,深度學習是最主流的技術,以及之后的成功,更是使其幾乎成為的代名詞。
如今,人類將自己的未來放到了技術手里,無論是讓人工智能更像人類思考的算法,還是讓機器人大腦運轉更快的芯片,都在向奇點靠近。谷歌工程總監、《奇點臨近》的作者庫茲韋爾認為,一旦智能機器跨過奇點,人工智能的發展將進入加速噴發狀態,可以與人腦相媲美,甚至比人腦更具可塑性的“仿生大腦”終將出現。
究竟有哪些技術能夠推動AI邁過這個奇點呢?在本期專刊中,我們采訪了全球AI界的頂尖技術“大咖”:“德撲AI之父”卡內基梅隆大學教授托馬斯·桑德霍普,遷移學習“掌門人”香港科技大學教授、國際人工智能聯合會理事會主席楊強以及“膠囊網絡”較好的解讀者Aurélien Géron,試圖尋找能推動AI邁過這個奇點的技術引擎。
源起
“玄學”深度學習之惑:
打不破的“煉丹爐”黑盒子?
2018年初,一個來自伯克利大學、阿姆斯特丹大學、MPI for Informatics以及Facebook的人工智能研究部門開始向人工智能傳授自我判斷和解釋的能力,試圖讓“黑盒”變得透明。這已經不是人類對深度學習黑盒子探索的首次嘗試,但至少說明人類對黑盒子的解釋正在不斷努力。
黑盒子,顧名思義,就是內部結構不可探視的密閉空間。對于深度學習研究者來說,層層疊加的神經元網絡結構使程序在經過幾千萬個樣本訓練以后,對輸出的結果無法解釋。也就是說,一旦程序輸出結果有錯,人們無法知曉是哪里出了錯,應該調整什么地方。
人工智能正處于初始階段,香港科技大學教授楊強告訴我們,因果關系非常重要。在很多實際領域中,如果一個計算機模型只給出結論,但人類并不知道這個結論如何得出,往往這個模型不會被實際使用。
楊強認為,讓黑箱模型具有可解釋只是人工智能未來的一個方向。在未來,人工智能還身兼太多重任——讓機器學習更快速更可靠、使機器實現自動推理、使預測更遠更精準,使機器能夠理解人,能夠觀看和收聽影像……也就是說,讓機器具有人的能力,在人不想做的領域都能超過人,但這個階段還有相當長的時間。
因此,在主流的深度學習和卷積神經元網絡結構之外,人工智能領域還在嘗試許多其他方向,科學家們希望通過不同的技術路徑,可以用更小的成本、更快的速度實現人工通用智能。當這些源自不同“山頭”的技術匯聚成海時,或許技術爆炸的奇點就到來了。
遷移學習:
批量生產“小而美”的AI公司?
數據缺失、算力有限,很多公司在解決AI可移植問題和普適性問題。試想當你學會中英文互譯,就可以將翻譯的法則同時運用在中法互譯當中;當你學會騎自行車,也就同時具備了駕駛摩托車的技能……這就是遷移學習的初衷,利用更低成本實現更多功能。在大數據成本居高不下、小企業無力彎道超車的人工智能領域,遷移學習或將成為顛覆現有格局的下一個技術風口。
讓機器學會舉一反三。
《論語·述而》曾有云:舉一隅不以三隅反,則不復也。正如物理學家開爾文通過巴斯德高溫殺菌的發現,延伸出低溫存儲的“冷藏工藝”,舉一反三能夠幫助人類解決生活中各種各樣的問題。而這種舉一反三的能力在機器學習領域同樣適用,科學家將其稱之為“遷移學習”。
2009年,新加坡南洋理工Sinno Jialin Pan 和香港科技大學教授楊強在一篇調查中首次提出人工智能領域“遷移學習”的概念。楊強是首位也是至今為止的AAAI(美國人工智能協會)華人執委,同時也是第一位擔任IJCAI(國際人工智能聯合會議)理事會主席的華人科學家。這位AI牛人對“遷移學習”技術的研究直指人工智能發展的痛點——用于支持機器深度學習的基礎大數據往往未經標注,收集標注數據或者從頭開始構建模型代價高昂且費時。
機器學習是人工智能的核心,卡內基梅隆大學人工智能教授Tom Mitchell曾定義機器學習為“對能通過經驗自動改進的計算機算法的研究”,即機器通過對大量數據和過往經驗的學習,提升計算機程序的性能。楊強說,在這個過程中,機器內置的模型往往已經人為預測好,但是如果未來有所變化,這個模型就會無法擴展,遷移學習意在使模型具備可擴展性,增強其范化能力。也就是說,遷移學習可以使機器學習通過更低廉的數據成本,解決更廣泛的問題。
實現不同場景AI模型再利用?
遷移學習之于深度學習,就好比通過節約用紙保護森林。在人工智能領域,當模型具備一定可擴展性,就能反復被“回收利用”,減少不必要的數據成本。“回收利用”的想法十分誘人,而在現實應用當中,表現也并不遜色。
楊強說,遷移學習已經在現實中很多領域應用廣泛:人類可以通過建立語音識別模型,將對普通話的深度學習模型遷移到方言;也可以建立起人臉識別模型,將光照很好狀態下的模型遷移到不同光照場景;甚至可以實現不同領域、不同背景下的文本和輿情分析。
在大數據甚囂塵上的數字化時代,基于大數據深度學習下的人工智能并不能滿足所有細分場景,更何況“大數據”并非輕易得來。楊強認為,如何用少量數據實現同樣預測效果,即“遷移學習”,將會是人工智能中一個未來的發展方向。而在遷移學習技術面前,中國平行于世界先進水平,甚至走在世界的前端。
楊強在2017年7月CCF-GAIR(全球人工智能與機器人峰會)的演講中曾提到一個愿景——利用遷移學習,即使是自身沒有條件獲得大量訓練數據的小公司,也可以按照自己的需要應用大公司訓練出來的模型,從而普及AI的應用。或許公司小而美,技術精而尖,將是人工智能公司的下一個發展方向。
冷撲大師:
玩一場不完美信息的游戲?
這是一場“不完美信息”的游戲。
2017年1月30日,AI機器人Libratus和四個全球較高級德州撲克玩家,用20天完成了一場人機大戰,Libratus(中文名:冷撲)大獲全勝,贏得了176萬美元獎金。
或許因為德州撲克是舶來品,與Alpha Go大戰李世石相比,這場比賽并不太為中國大眾所知,但在人工智能圈里,冷撲和他的創建者美國卡內基梅隆大學(CMU)的計算機系教授托馬斯·桑德霍姆(Tuomas Sandholm)和其研究生諾姆·布朗(Noam Brown)卻是2017年最閃亮的明星。在全球AI較高級峰會2017 NIPS上,他倆合寫的論文《不完美信息游戲中安全內嵌的殘局計算法》在3240篇投稿論文中脫穎而出,被評為最優秀論文,桑德霍姆也被稱為德州撲克AI之父。
它學會了“詐唬”對手。
“與深度學習相比,我們技術較大優點是具有可證明的性能保證。”5月13日,桑德霍姆表示。
近幾年的人工智能熱潮中,深度學習是最主流的技術,Alpha Go以及之后Alpha Zero的成功,更是使其幾乎成為AI的代名詞。然而,盡管Alpha Zero成為全棋類冠軍,但這些游戲都屬于所謂“完美信息游戲”,也就是說,交戰雙方清楚每一時刻棋面上的全部情況。
德州撲克是典型的不完美信息博弈,除了牌面信息,對手有什么牌?對手會怎么出牌?下一張翻出的公共牌會是什么?通常這種博弈會出現納什均衡的局面。所謂納什均衡,是指在博弈中,每個人都在猜測對手會出什么牌,每個人的策略都是對其他人策略的最優反應。
和完美博弈不同,不完美信息博弈不能通過將博弈分解為可獨立求解的子博弈而求得占優策略,所以冷撲必須通過納什均衡來計算該如何應對對手那些沒出現在決策樹上的招數,并以收益反饋對自身的出招進行動態修正,以期達到較大可能的收益,而非簡單地將對手的行為進行近似處理。
簡而言之,冷撲不僅要猜下一張牌可能是什么,還要猜對手可能會如何押注,更要最后做出決策,自己該怎么押注,它學會了分析對手是否“詐唬”,甚至自己也會“詐唬”對手,總之,它變成了一個“心理學高手”。
讓冷撲幫你炒股
“現實世界中的大多數應用都是不完美的信息游戲,休閑游戲、商業戰略談判、戰略定價、產品組合規劃、金融、投資銀行、投標策略、拍賣設計、政治活動、自動駕駛和車輛車隊、醫療規劃、網絡安全、物理安全、軍事應用等等,在面對這些不確定性問題時,我們可以幫助人們找到最優策略。”桑德霍姆認為,冷撲在現實生活中應該比Alpha Go更實用。
舉個例子,一家企業要為自己的產品定價,但它的決策一定基于市場中同類競品的定價、市場需求等多種因素,如果競爭對手突然改變了自己的定價,你為了實現價值最優,必須也要改變自己的定價。AI技術的作用在于可以進行事先戰略性定價,也就是說,預判對手可能的策略,提前進行戰略部署,這樣市場的主動權便掌握在自己手里。
膠囊網絡:
讓人工神經元像人腦那樣思考?
當Alpha Go帶起的深度學習浪潮席卷AI界時,一位年近70的老人,卻開始對它說“不”,盡管他是它的“創造者”。2011年開始,被譽為深度學習之父的Geoffrey Hinton(杰弗里·辛頓)開始反思CNNs(卷積神經網絡,深度學習的一種結構)的弱點,并提出了一種新的神經元網絡計算結構——膠囊網絡(the capsule network)。
這種自我顛覆在AI圈掀起一陣巨浪,有的人堅定地站在Hinton一邊,認為膠囊有可能對深度學習帶來深遠影響,特別是在計算機視覺領域,會大大減少訓練計算機所需要的數據量,但也有人認為,膠囊網絡并沒有新鮮的理論,算不上什么特別大的革新。
那么,膠囊網絡究竟是什么?它會對人工智能領域帶來什么?Hinton最近因為家庭原因,閉門謝客,于是我們找到了Aurélien Géron。
Aurélien Géron是一名機器學習咨詢師,也是《Hands-on Machine Learning with Scikit-Learn and TensorFlow》(《用Scikit-Learn and TensorFlow實際操作機器學習》)一書的作者(這本書很快將在中國出版),他在谷歌時曾領導了YouTube的視頻分類團隊。Aurélien制作發布的兩個視頻,被稱為“史上最通俗易懂的膠囊網絡科普視頻”。5月9日,專訪Aurélien,請他深度解析膠囊網絡。
1、請問膠囊網絡是什么?目前有技術進展嗎?
Aurélien Géron:先舉一個簡單的例子理解深度學習中的CNNs,如何確認一張臉?對于CNNs來說,一個橢圓形的臉,有兩只眼睛、一個鼻子和一個嘴巴,這些對于它判斷這是否一張臉是很重要的指標,但這些器官是不是在正確的位置,并不是它做判斷的依據。
膠囊網絡核心思想是,將神經元分組成一個一個小膠囊,每一個決策點,并不需要每個人工神經元都做出判斷,而是只要檢查這個膠囊是否同意,然后將結果輸入下一層合適的膠囊中。
我覺得這個理論很有前途,但局限性也很明顯,特別是在識別大圖片的時候,效果并不是很理想,而且訓練的速度非常慢。總得來說,膠囊網絡相當程度上依然是實驗性的。
2、世界范圍內的膠囊網絡研究者有多少?與其他深度學習相比,這項技術處于什么階段?
Aurélien Géron:目前還很難判斷,在谷歌論文上,我看到了“膠囊間動態路由”論文的73篇引文,其中46篇引用了標題中的“膠囊”一詞。平均一篇論文大約有3到5個作者,這意味著大約有200名研究人員出版了論文。所以我猜想,全球大概有500名研究人員正在研究膠囊網絡,但這也只是一個猜想:研究是分散的,所以很難具體知道研究者的數量。
3、膠囊網絡較大的優勢是什么,特別是與其他深度學習方法相比?研究者可以減少數據和輸入嗎?
Aurélien Géron:膠囊網絡的好處還是很明顯的,比如它比CNNs需要更少的訓練實例,當信號通過膠囊時,可以更好地保存關于對象的位置、方向等方面的詳細信息,這對于需要這些詳細信息的應用來說非常有前途,類似像對象檢測、圖像分割(即發現哪些像素屬于哪個對象)等應用。其次,膠囊比CNNs更善于總結歸納,如果你訓練它們識別一些物體,然后向它們顯示方向不同的同一個物體,它們可能比CNNs更不容易被迷惑。
4、膠囊網絡未來可以有哪些應用場景?
Aurélien Géron:膠囊網絡已經成功地被用于檢測癌癥,因為幾乎不需要太多的訓練數據和較精確的位置信息。我相信還會有很多其他的場景,例如,分析衛星圖像或者檢測制造業的缺陷。
5、吳恩達曾說:“今天的人工智能的成就更多地是由計算機科學的原理推動的,而不是神經科學的原理。”您對這句話如何理解?
Aurélien Géron:最初人工智能的整個領域都受到生物學的啟發:人工神經元便是由生物神經元激發的,因為新(大腦)皮質層似乎就是這樣組織的,卷積神經網絡也是受到視覺皮層的啟發。
6、《IT時報》:人工智能的最終形式是什么?你認為AI離這個理想狀態有多遠?
Aurélien Géron:人工智能的最終形式將是人工通用智能(AGI),一種能夠快速學習并掌握任何新智力任務的計算機系統,它能不斷地學習和改進,希望能造福于全人類,而不是少數人(或僅僅為自己)。它不一定像人類一樣思考,我們大部分行為來自于對吃飯、繁殖、社會交往等的需求,機器不會有同樣的需求,因此它可能不會像我們一樣思考。但是,由于我們大部分智力來自于我們的文化(語言、書籍、科學……),它可能很早就需要學習我們的方法,所以我認為它會很好地與我們進行交流和互動,甚至可能會將我們的局限性和偏見也考慮進去。
人類面前有很多風險、變化和機會,我們需要做好準備。
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法,實際應用案例分享與討論,分析工具,ETL工具,數據倉庫,數據挖掘工具,報表系統等全方位知識
QQ群:81035754
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/4779.html
摘要:本期貓薦書欄目系列之六,就以此為話題,推薦給大家兩本書它們都叫深度學習,但是內容很不一樣。事實上,第一本書被很多人譽為深度學習的圣經,知名度極高,有一個昵稱叫作花書。 最近出了兩件大新聞,相信大家可能有所耳聞。 我來當個播報員,給大家轉述一下: 1、中國隊在第 11 界羅馬尼亞數學大師賽(RMM)中無緣金牌。該項賽事是三大國際賽事之一,被譽為中學奧數的最高難度。其中一道題,令中國隊全軍...
摘要:被稱為亞馬遜的新服務提供了強大的功能,如圖像分析,文本到語音轉換和自然語言處理。換句話說,其任務是將谷歌的機器學習功能產品化。亞馬遜平臺推出的這些新服務中的第一個是名為的圖像識別服務。 亞馬遜一直在其零售業務中使用深度學習和人工智能來提高客戶體驗。該公司聲稱,它有數千名工程師專門從事人工智能相關開發,以改善搜索、物流、產品推薦和庫存管理。亞馬遜現在正在將相同的專業知識帶給云,展示了開發人員可...
閱讀 2367·2021-11-18 10:07
閱讀 2317·2021-09-22 15:59
閱讀 3076·2021-08-23 09:42
閱讀 2275·2019-08-30 15:44
閱讀 1191·2019-08-29 15:06
閱讀 2302·2019-08-29 13:27
閱讀 1209·2019-08-29 13:21
閱讀 1411·2019-08-29 13:13