摘要：如果這個場景足夠簡單的話，深度學習并不能表現出相對于其它基于傳統模式識別方法的優勢。這是深度學習目前受到關注的一個非常重要的原因。通過積累大量的數據進行足夠的訓練，基于深度學習的系統可以給出最優規劃。

谷歌和李世石的人機大戰引爆了公眾對于人工智能的關注，也讓基于深度學習的人工智能成為汽車業界關注的重點，那么深度學習在智能駕駛的應用場景下有什么幫助呢?

自動駕駛最先出現在美國，而不是歐洲或者日本，更不是中國，非常關鍵的一個原因在于，美國的駕駛環境相對于其它地區而言，是最簡單的，無論是道路情況還是駕駛習慣。這就意味著，開發一個自動駕駛原型產品的技術難度可以大大降低。

這種高度復雜的場景很難用有限的規則來定義清楚，所以傳統的算法的表現往往無法滿足自動駕駛的要求，而深度學習非常適合在復雜場景下的自動駕駛應用。如果這個場景足夠簡單的話，深度學習并不能表現出相對于其它基于傳統模式識別方法的優勢。

更具體一點來講，對于非結構化數據的識別、判斷、分類是它的優勢所在。圖像、語音都是非結構化的，而像 Excel 表格上的數據，我們稱之為結構化的數據。自動駕駛所面臨的環境，如果表達出來，正是非結構化的數據，深度學習可以很好地處理這種場景。

深度學習的前沿技術

深度學習的發展其實有很長的歷史，它的原理從上世紀五十年代末期就已經出，80 年代在手寫體數字的識別方面取得相當的成就，并應用于美國的郵政系統。但其真正崛起還是在十年前開始的。

這里面其實是有時代的大背景的因素，這個時代提供了深度學習兩個最關鍵的助推引擎：大數據和高性能處理器。深度學習非常適合利用大數據提高性能，隨著用于訓練的數據量不斷增加，深度學習的性能也得到持續的提升。

事實上到目前為止，我們還沒有發現其性能提升的上限。這是深度學習目前受到關注的一個非常重要的原因。過去很難獲得如此大量的數據，也缺乏足夠強勁的計算平臺，而今天隨著物聯網的發展，據獲取已經不再是問 題。另一方面，著單個處理器的性能進入 TFLOPS 時代，深度學習所需要海量計算已經在經濟上變得可承受了。谷歌的 AlphaGo 的計算能力是當年擊敗國際象棋冠軍的 IBM 深藍的三萬倍。要知道當年的深藍可是大型機，成本不是一般應用可以承受的。

從 2012 年 Hinton 和他的學生 Alex 在國際上權威的圖像識別領域 Imagenet 比賽奪冠以來，深度學習目前已經可以達到 97%的識別準確率，超過普通人的 95% 的識別準確率。機器視覺的識別能力超過人類，這是人工智能領域了不起的成就， 而這一切在僅僅 4 年的時間內就實現，則更凸顯了深度學習的潛力和業界的研究 熱潮。深度學習還在持續擴展其潛力，在人臉識別方面的準確率可達 99.5%以 上（基于 LFW 數據庫）。

很多人也會問，到底深度學習是一個什么樣的東西？要用簡單的話解釋清楚其實是一件很有挑戰性的事情，它涉及很多較為抽象的基礎知識，比較形象地描述：深度學習其實是對人的大腦識別機制的模擬。

舉個例子，我看到對面走來一個人，瞬間就可以判斷出這個人是我的同事。眼睛獲取的影像有幾十萬像素， 需要上百萬字節去描述，而大腦經過處理后，可以將它簡化為幾個字節，就是同事的名字。人的大腦可以非常高效地處理海量的非結構化數據，把其中的內容識別出來，用極其精簡的信息去描述。這也正是深度學習的本質——把復雜信息精簡地表達出來。

技術化的描述是：基于數據驅動的、自動學習要建模的數據的潛在（隱含）分布的多層（復雜）表達的算法（車云菌表示讀完以后，舌頭已經不好使了）。目前深度學習使用最多的建模技術是多層卷積神經網絡，并建立大量的隱含層（可達上百層）。

這個技術出現已經很久了，但在此之前一直表現不好，那個時候大家都是在小規模樣本下進行的，對于參數的調整非常困難。深度學習一個較大的突破就是，將參數的計算自動化，人不再進行干預，而是讓它通過大量的數據學習，自己確定這個參數。

深度學習的技術也在快速演進，比如 LSTM（長短期記憶模型）的使用，賦予深度神經網絡保存狀態的能力。也就是，我們將賦予機器記憶的能力。

它的用途在哪里呢？拿玩游戲來說。比如射擊類的游戲，目前基于深度學習和增強學習的人工智能系統可以有非常出色的表現，因為它不需要記住過去的游戲狀態，而當機器玩一些策略類游戲 的時候，比如星際爭霸，沒有記憶能力導致它無法進行長時間跨度的策略規劃，與人的表現就相差甚遠。

LSTM 使得深度神經網絡從一個二維空間網絡變成了一 個時空結構的網絡，即在時間尺度上也表現出深度，結果就是機器不需要從頭開始認知，而是把過去和現在連接在一起，規劃下一步的行動。顯然，這讓大型的策略類游戲成為機器的下一個征服目標。上周傳出消息 AlphaGo 要在今年內對戰柯潔，期待一下 AlphaGo 的下一次驚艷出場吧。

深度學習的注意力模型也是一個技術熱點，它是對整個場景進行語義級別的理解，可以讓機器鎖定圖像中我們需要關注的部分。在未來幾年，這些技術可以讓機器理解視頻流，并將其轉化為直接的語義述。這么說吧，結合上面的技術，機器可以跟你一起看電影，并分享對于電影的理解(單身狗的福利呀，一個人去電影院也不會感到寂寞了，只要帶著你的機器寵物一起去) 。

總體來講，具備深度學習能力的設備就好像是一個有生命力的機器，它會隨著數據訓練的過程逐步成長，它的本領是可以持續提高的，而且這種本領可以被復制到另一個設備中。

深度學習與增強學習雙管齊下通往自動駕駛

深度學習對感知有非常強的能力，可以理解各種復雜圖像的含義，但是它并不能把這種感知轉化為決策能力。增強學習就是用來解決這個問題。

如果打個比方的話，增強學習借鑒了馴獸員的方法，不教動物們任何規則(當然也教不會呀)， 一開始讓動物們隨便地做各種動作。當其中有一個動作是符合期望的時候，立即給它們好吃的，就是增強了它們繼續這個動作的動力。隨著訓練時間和次數的增加，動物們就會真的在頭腦里建立一個規則：做某個動作可以得到好吃的。因而，將其稱之為「增強（reinforcement）」學習的原因。

某種意義上，這也借鑒了管理學上的結果導向的理念，有兩個關鍵點：第一，只看重結果，不關心過程或者動機；第二，對于每一次行動，及時獎懲，強化認知。

自動駕駛的整個系統，一般來說由三個層級組成：感知層、規劃決策層和控制執行層。深度學習和增強學習結合的結果，會使得感知和執行以前所未有地方式真正緊密地結合在一起，完成自動駕駛。

1.感知

感知層的任務是完成環境態勢感知，這個是自動駕駛的核心環節。在自動駕駛中，任何執行動作都要以理解整個駕駛環境為前提。這里面分為兩層：車外環境和車內環境。

對于車外環境，首先是多種傳感器的輸入，比如多攝像頭、毫米波雷達以及激光雷達等，通過融合映射到一個統一的坐標系中，這些圖像信息需要進行物體的識別和分類，比如車道、路肩、車輛、行人等等，這正是深度學習的優勢。利用深度學習，在計算系統中重構出來一個 3D 環境，這個環境中的各個物體都會被識別并理解。

對于車內環境，是指對車內駕駛員的感知，包括其疲勞程度、駕駛意圖等，這將給后面的決策控制提供決策基礎信息，如疲勞檢測系統在檢測到駕駛員進入嚴重的疲勞狀態后，自動將駕駛狀態從人工操控轉為自動駕駛。

2.局部路徑規劃

這里需要對整個車外環境中車輛、交通狀況和行人等的意圖或者在一段時間內的行為進行預測，再根據本車的狀態和意圖，結合前面的環境感知結果和高精度地圖提供的道路信息等，規劃出較佳的行駛路徑，這個規劃需要可以滿足駕駛意圖，并對周圍的車輛友好、安全。

通過積累大量的數據進行足夠的訓練，基于深度學習的系統可以給出最優規劃。當然，這種規劃不能單純依賴深度學習的預判，它必須和交通規則的專家系統，以及其它高可靠性手段結合，才可以達到實用。例如 V2X 的普及，會使得本車可以在超視距范圍內，較精確地獲取周圍車輛的位置、速度以及駕駛意圖（轉彎/變道）等。

3.決策控制

在路徑規劃確定后，自動駕駛系統需要進行本車意圖決策，比如什么時候進行超車、什么時候轉彎、選擇什么時機進行變道是最優的等等。自動駕駛系統需要學習人類開車的習慣，學會如何在復雜的會車場景下進行操作、保持合理的車距等，更進一步地，學習主人的開車習慣，在滿足安全性的前提下，盡量使自動駕駛的風格與其開車行為相適應，提供更好的用戶體驗，并優化自己的駕駛效率。很顯然，這里增強學習是非常適合的技術。

目前，前沿的研究人員正利用深度學習和增強學習開展一些非常炫酷的功能，例如完成從原始傳感器數據到實際動作執行器的直接過渡。

在今年的 CES 展上，豐田展示了一套類似的自動駕駛演示系統，在一塊布有障礙并有指示方向的方形地形中，8 輛沒有駕駛經驗的模型車，將傳感器監測到的環境信息輸入深度學習系統，并將深度學習系統與油門、制動和方向輸出連接。經歷約 4 個小時的學習后， 基本實現了零事故。

自動駕駛的測試是一個非常耗時、費錢的工作，谷歌累計的自動駕駛實際道路測試里程已經超過 100 萬英里，如何更高效地測試也是自動駕駛領域的一個關鍵問題。

從理論上講，我們可以用計算系統去模擬實際道路的情形，如果我們可以對道路上的各個要素進行準確地建模， 并且模擬這些要素的行為，例如超車、剎車、變道。利用蒙特卡洛模擬，配合增強學習的技術，就能構建一個自主運行的系統。這個系統本身在不需要耗費一滴汽油的情況下，產生大量的模擬場景，發現自動駕駛原型的各種缺陷，并獲得大量的數據。就像谷歌訓練它的 AlphaGo 一樣。

車云小結

去年 10 月，豐田宣布投入 10 億美元，設立一家專注于研發人工智能的新公司 Toyota Research Institute，希望打造像人類一樣會自己「思考」的、可以應對突發情況的汽車， 讓自動駕駛技術更加可靠。

去年年底，豐田還投資了 Preferred Networks，另外一家深度學習領域的初創公司，通用則直接收購了初創公司 Cruise Automation，只要看名字你就知道這家公司是干什么的。

真金白銀的投入，其背后折射出的是車廠對于深度學習技術的認可。奧迪在 2015 年首次在美國從硅谷自動駕駛至拉斯維加斯測試其基于 A7 的自動駕駛汽車時，就明確表示：“自動駕駛的關鍵是深度學習”。

作者簡介，本文作者李星宇，現地平線機器人汽車業務總監，前飛思卡爾應用處理器汽車業務市場經理，原士蘭微電子安全技術專家。

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754