摘要：沒有過年，年后在年后的年打敗了圍棋高手李世石，這下人工智能引起了全世界的關(guān)注。隨后的十多年，人工智能轉(zhuǎn)入第一次低潮，而也在他生日時(shí)，因海事喪生，遺憾未能見到神經(jīng)網(wǎng)絡(luò)后期的復(fù)興。算力的進(jìn)步再次加速了人工智能的快速發(fā)展。

小西：小迪小迪，我發(fā)現(xiàn)人工智能發(fā)展史上很多事情都跟下棋有關(guān)吶。

小迪：是啊，人工智能發(fā)展史還是要從下棋說起，棋類游戲很多時(shí)候都被人類看做高智商游戲，在棋類游戲中讓機(jī)器與人類博弈自然再好不過了。早在1769年，匈牙利作家兼發(fā)明家Wolfgang von Kempelen就建造了機(jī)器人TheTurk，用于與國(guó)際象棋高手博弈，但是最終被揭穿，原來是機(jī)器人的箱子里藏著一個(gè)人。雖然這是個(gè)騙局，但是也體現(xiàn)了棋類游戲是人機(jī)博弈中的焦點(diǎn)。

小西：哇，這么早啊！

小迪：是啊，在1968年上映的電影《2001太空漫游》里，有個(gè)情節(jié)是機(jī)器人HAL與人類Frank下國(guó)際象棋，最終人類在機(jī)器人面前甘拜下風(fēng)。

小西：哈哈，看來很早人們就覺得有一天，機(jī)器人會(huì)在下棋方面超過人類哦。

小迪：是啊，直到1997年，IBM的深藍(lán)智能系統(tǒng)戰(zhàn)勝了國(guó)際象棋世界冠軍Kasparov，這是一次正式意義上的機(jī)器在國(guó)際象棋領(lǐng)域戰(zhàn)勝了人類。不過，當(dāng)時(shí)時(shí)代雜志發(fā)表的文章還認(rèn)為，計(jì)算機(jī)想要在圍棋上戰(zhàn)勝人類，需要再過上一百年甚至更長(zhǎng)的時(shí)間。因?yàn)閲逑啾扔趪?guó)際象棋復(fù)雜很多，而IBM的深藍(lán)也只是一個(gè)暴力求解的系統(tǒng)，當(dāng)時(shí)的計(jì)算機(jī)能力在圍棋千千萬(wàn)萬(wàn)種變化情況下取勝是不可能的。

小西：后來我知道。沒有過100年，20年后AlphaGo在20年后的2016年打敗了圍棋高手李世石，這下人工智能引起了全世界的關(guān)注。

小迪：恭喜你，學(xué)會(huì)搶答了！

小西：哈哈，過獎(jiǎng)過獎(jiǎng)。除了下棋，人工智能發(fā)展史上有沒有什么特別著名的事件或者有名的大師呢，快給我科普科普呀！

小迪：那可就太多了啊，無數(shù)科學(xué)家默默地耕耘才有了今天智能化的社會(huì)，三天三夜都說不完。我就說說近些年火爆的深度學(xué)習(xí)的發(fā)展史吧。

小西：好，洗耳恭聽呢！

1943年Warren McCulloch和Walter Pitts一起提出計(jì)算模型，在1957年康奈爾大學(xué)的Frank Rosenblatt提出了感知器的概念，這是整個(gè)深度學(xué)習(xí)的開端，感知器是第一個(gè)具有自組織自學(xué)習(xí)能力的數(shù)學(xué)模型。Rosenblatt樂觀地預(yù)測(cè)感知器最終可以學(xué)習(xí)，做決定和翻譯語(yǔ)言。感知器技術(shù)在六十年代非常火熱，受到了美國(guó)海軍的資金支持，希望它以后能夠像人一樣活動(dòng)，并且有自我意識(shí)。

Rosenblatt有一個(gè)高中校友叫做Minsky，在60年代，兩人在感知器的問題上吵得不可開交。R認(rèn)為感知器將無所不能，M覺得感知器存在很大的缺陷，應(yīng)用有限。1969年，Minsky出版了新書《感知器：計(jì)算幾何簡(jiǎn)介》，這本書中描述了感知器的兩個(gè)重要問題：

單層神經(jīng)網(wǎng)絡(luò)不能解決不可線性分割的問題，典型例子：異或門；

當(dāng)時(shí)的電腦完全沒有能力承受神經(jīng)網(wǎng)絡(luò)的超大規(guī)模計(jì)算。

隨后的十多年，人工智能轉(zhuǎn)入第一次低潮，而Rosenblatt也在他43生日時(shí)，因海事喪生，遺憾未能見到神經(jīng)網(wǎng)絡(luò)后期的復(fù)興。

1970年，此時(shí)的神經(jīng)網(wǎng)絡(luò)正處于第一次低潮期，愛丁堡大學(xué)的心理學(xué)學(xué)士Geoffrey Hinton剛剛畢業(yè)。他一直對(duì)腦科學(xué)非常著迷，同學(xué)告訴他，大腦對(duì)事物和概念的記憶，不是存儲(chǔ)在某個(gè)單一的地方，而是分布式的存在一個(gè)巨大的神經(jīng)網(wǎng)絡(luò)中。分布式表征讓Hinton感悟很多，隨后的多年里他一直從事神經(jīng)網(wǎng)絡(luò)方面的研究，在愛丁堡繼續(xù)攻讀博士學(xué)位的他把人工智能作為自己的研究領(lǐng)域。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)擁有巨大的計(jì)算量，上世紀(jì)的計(jì)算機(jī)計(jì)算能力尚未能滿足神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。1986年7月，Hinton和David Rumelhart合作在Nature雜志上發(fā)表論文系統(tǒng)地闡述了BP算法：

反向傳播算法（BP）把糾錯(cuò)運(yùn)算量下降到只和神經(jīng)元數(shù)目有關(guān)；

BP算法在神經(jīng)網(wǎng)絡(luò)中加入隱層，能夠解決非線性問題。

BP算法的效率相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)大大提高，計(jì)算機(jī)的算力在上世紀(jì)后期也大幅提高，神經(jīng)網(wǎng)絡(luò)開始復(fù)蘇，引領(lǐng)人工智能走向第二次輝煌。

1960年Yann Lecun在巴黎出身，在法國(guó)獲得博士學(xué)位后，追隨Hinton做了一年博士后，隨后加入貝爾實(shí)驗(yàn)室。在1989年，Lecun發(fā)表論文提出卷積神經(jīng)網(wǎng)絡(luò)，并且結(jié)合反向傳播算法應(yīng)用在手寫郵政編碼上，取得了非常好的效果，識(shí)別率高達(dá)95%。基于這項(xiàng)技術(shù)的支票識(shí)別系統(tǒng)在90年代占據(jù)了美國(guó)接近20%的市場(chǎng)。

但也是在貝爾實(shí)驗(yàn)室，Yann Lecun的同事Vladmir Vapnik的研究又把神經(jīng)網(wǎng)絡(luò)的研究帶入了第二個(gè)寒冬。

2003年，Geoffrey Hinton在多倫多大學(xué)苦苦鉆研著神經(jīng)網(wǎng)絡(luò)。在與加拿大先進(jìn)研究院（CIFAR）的負(fù)責(zé)人Melvin Silverman交談后，負(fù)責(zé)人決定支持Hinton團(tuán)隊(duì)十年來進(jìn)行神經(jīng)網(wǎng)絡(luò)的研究。在拿到資助后，Hinton做的第一件事就是把神經(jīng)網(wǎng)絡(luò)改名為深度學(xué)習(xí)。此后的一段時(shí)間里，同事經(jīng)常會(huì)聽到Hinton在辦公室大叫：“我知道神經(jīng)網(wǎng)絡(luò)是如何工作的了！”

2006年Hinton與合作者發(fā)表論文——《A Fast Algorithm for Deep BeliefNet》（DBN）。這篇文章中的算法借用了統(tǒng)計(jì)力學(xué)中“波爾茲曼分布”的概念，使用了所謂的“受限玻爾茲曼機(jī)”，也就是RBN來學(xué)習(xí)。而DBN也就是幾層RBN疊加在一起。RBN可以從輸入數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，自己發(fā)現(xiàn)重要的特征，對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行有效的初始化。這里就出現(xiàn)了另外兩個(gè)技術(shù)——特征提取器與自動(dòng)編碼器。經(jīng)過MNIST數(shù)據(jù)集的訓(xùn)練后，識(shí)別錯(cuò)誤率最低降到了只有1.25%。

2007年，英偉達(dá)推出cuda的GPU軟件接口，GPU編程得以極大發(fā)展。2009年6月，斯坦福大學(xué)的Rajat Raina和吳恩達(dá)合作發(fā)表文章，論文采用DBNs模型和稀疏編碼，模型參數(shù)高達(dá)一億，使用GPU運(yùn)行速度訓(xùn)練模型，相比傳統(tǒng)雙核CPU最快時(shí)相差70倍，把本來需要幾周訓(xùn)練的時(shí)間降到了一天。算力的進(jìn)步再次加速了人工智能的快速發(fā)展。

黃仁勛也是一名華人，1963年出生于臺(tái)灣，在1993年于斯坦福畢業(yè)后創(chuàng)立了英偉達(dá)公司，英偉達(dá)起家時(shí)主要做圖像處理芯片，后來黃仁勛發(fā)明GPU這個(gè)詞。相比于CPU架構(gòu)，GPU善于大批量數(shù)據(jù)并行處理。而神經(jīng)網(wǎng)絡(luò)的計(jì)算工作，本質(zhì)上就是大量的矩陣計(jì)算的操作，GPU的發(fā)展為深度學(xué)習(xí)奠定了算力的基礎(chǔ)。

深度學(xué)習(xí)的三大基礎(chǔ)——算法，算力和數(shù)據(jù)。上面提到的主要是算法與算力的發(fā)展，而數(shù)據(jù)集在深度學(xué)習(xí)發(fā)展也起到了至關(guān)重要的作用。又是一位華人學(xué)者——李飛飛，于2009年建立ImageNet數(shù)據(jù)集，以供計(jì)算機(jī)視覺工作者使用，數(shù)據(jù)集建立的時(shí)候，包含320個(gè)圖像。2010年，ILSVRC2010第一次舉辦，這是以ImageNet為基礎(chǔ)的大型圖像識(shí)別大賽，比賽也推動(dòng)了圖像識(shí)別技術(shù)的飛速發(fā)展。2012年的比賽，神經(jīng)網(wǎng)絡(luò)第一次在圖像識(shí)別領(lǐng)域擊敗其他技術(shù)，人工智能步入深度學(xué)習(xí)時(shí)代，這也是一個(gè)歷史性的轉(zhuǎn)折點(diǎn)。

2011年，加拿大學(xué)者Xavier Glorot與Yoshua Bengio聯(lián)合發(fā)表文章，在算法中提出一種激活函數(shù)——RELU，也被稱為修正線性單元，不僅識(shí)別錯(cuò)誤率普遍降低，而且其有效性對(duì)于神經(jīng)網(wǎng)絡(luò)是否預(yù)訓(xùn)練過并不敏感。而且在計(jì)算力方面得到提升，也不存在傳統(tǒng)激活函數(shù)的梯度消失問題。

其實(shí)早在1997年，瑞士Lugano大學(xué)的Suhmidhuber和他的學(xué)生合作，提出了長(zhǎng)短期記憶模型（LSTM）。LSTM背后要解決的問題就是如何將有效的信息，在多層循環(huán)神經(jīng)網(wǎng)絡(luò)傳遞之后，仍能傳送到需要的地方去。LSTM模塊，是通過內(nèi)在參數(shù)的設(shè)定，決定某個(gè)輸入?yún)?shù)在很久之后是否還值得記住，何時(shí)取出使用，何時(shí)廢棄不用。

小迪：其實(shí)還有好多有突出貢獻(xiàn)的的大師，要是都列出來可以出一本很厚很厚的書啦！

小西：這些大師都好厲害呀，為了我們的智能化生活體驗(yàn)，辛勤付出了一輩子。

小迪：是啊，還有很多學(xué)者默默無聞地工作，一生清苦。

小西：他們都好偉大，有突出貢獻(xiàn)的都應(yīng)該發(fā)獎(jiǎng)發(fā)獎(jiǎng)金，對(duì)對(duì)對(duì)，諾貝爾獎(jiǎng)！

小迪：哈哈。諾貝爾獎(jiǎng)多數(shù)是為基礎(chǔ)學(xué)科設(shè)立的。不過計(jì)算機(jī)界也有“諾貝爾獎(jiǎng)”——圖靈獎(jiǎng)，這可是計(jì)算機(jī)界最高獎(jiǎng)項(xiàng)哦！2019年3月27日，ACM宣布，Geoffrey Hinton，Yann LeCun ，和Yoshua Bengio共同獲得了2018年的圖靈獎(jiǎng)。

小西：太棒了，實(shí)至名歸！

小迪：當(dāng)然，圖靈獎(jiǎng)在此之前也授予了很多在人工智能領(lǐng)域的大牛，像Minsky，John McCarthy這些，還有華人科學(xué)家，現(xiàn)在在清華大學(xué)任職從事人工智能教育的姚期智先生在2000也獲得過圖靈獎(jiǎng)呢！

小西：大師們太不容易了，我們也要好好學(xué)習(xí)呀！

小迪：是呀！如今我們站在巨人的肩膀上，許多人都可以接觸到深度學(xué)習(xí)，機(jī)器學(xué)習(xí)的內(nèi)容，不管是工業(yè)界還是學(xué)術(shù)界，人工智能都是一片火熱！

小西：希望這一輪人工智能的興起不會(huì)有低潮，一直蓬勃發(fā)展下去，更好地造福人類。

小迪：嗯！