摘要：今年月，谷歌發布了。在谷歌內部被稱為的方法中，一個控制器神經網絡可以提出一個子模型架構，然后可以在特定任務中對其進行訓練和評估質量。對于整個領域來說，一定是下一個時代發展重點，并且極有可能是機器學習的大殺器。

為什么我們需要 AutoML？

在談論這個問題之前，我們需要先弄清楚機器學習的一般步驟。

其實，不論是圖像識別、語音識別還是其他的機器學習項目，其結構差別是很小的，一個效果好的模型需要大量的經驗來調優。實現過程有以下步驟：

數據預處理

特性選擇

模型算法選擇

調參

上線后模型的再優化

效果評估

在 AI 浪潮再次興起的背景下，許多企業都對 AI 躍躍欲試，但因為相關人才在全球都呈現稀缺，企業想招人也不見得招得到，要不就是得重金聘請，像是美國頂尖 AI 科學家的年薪已經達到美國國家美式足球聯盟（NFL）四分衛的水平（平均 270 萬美金 / 年），甚至還有的已經超過 NBA 球星的平均薪水（2017 年數據：平均 800 萬美金）。因此，對有意嘗試或導入 AI 的企業來說，“讓機器學習得以自動化”具有很大的吸引力。

深度學習技術往往比較復雜，從頭開發的難度較大，有一些公司提供了能幫助開發者輕松使用深度學習的自動化深度學習（ADL）平臺，比如微軟的 CustomVision.AI、谷歌的 Cloud AutoML，國內諸如第四范式、智鈾科技等公司也推出了 AutoML 平臺。作為 AI 前線 AutoML 專題文章的第一篇，本文將重點介紹谷歌的 Cloud AutoML。

谷歌 Cloud AutoML

概況

AutoML 的概念源自 2012 年學術界提出一個新觀念——Programming by Optimization（PbO），字面上的意思是指以最優化程序開發，乍聽之下似乎看不出個所以然，這卻是一個相當創新的觀念，實質上就是要解決編程時人工調校參數的問題。

今年 1 月，谷歌發布了 Cloud AutoML。北京時間 1 月 18 日凌晨時分，李飛飛連發三條推特，發布了谷歌 AI 產品——Cloud AutoML Vision，“無需精通機器學習，每個人都能用這款 AI 產品定制機器學習模型。”

鏈接：https://cloud.google.com/automl

AutoML Vision 是 Cloud AutoML 這個大項目推出的第一項服務，提供自定義圖像識別系統自動開發服務。根據谷歌介紹，即使是沒有機器學習專業知識的的小白，只需了解模型基本概念，就能借這項服務輕松搭建定制化的圖像識別模型。 只需在系統中上傳自己的標簽數據，就能得到一個訓練好的機器學習模型。整個過程，從導入數據到標記到模型訓練，都可以通過拖放式界面完成。

除了圖像識別，谷歌未來還計劃將 AutoML 服務拓展到翻譯、視頻和自然語言處理等領域。

解析

Google Cloud AutoML 服務使用了三個核心技術，分別是：神經架構搜索技術（Neural Architecture Search Technology）、 learning2learn 以及遷移學習 (transfer learning) 。

通過這些技術把參數以及結構的調整交給機器。運作的概念是機器利用神經架構搜索技術不斷測試，找出一個好的參數＋神經網絡結構的組合，AI 開發人員覺得這個組合不錯，認可了之后，機器就會記住，下一次就會做得更快更精準，這就是 learning2learn；或是可以將此組合轉移到另外的應用場景下使用，這就是遷移學習。

AutoML 神經架構

通常來說，機器學習模型是由工程師和科學家小組精心設計的。手動設計機器學習模型的過程是很困難的，因為所有可能的模型的搜索空間可以組合地大，典型的 10 層網絡一般具有 10^10 個候選網絡。出于這個原因，設計網絡的過程往往需要大量的時間和具有重要機器學習專業知識的人進行實驗。

GoogleNet 架構。這個網絡的設計需要從卷積體系結構的初始版本進行多年的仔細實驗和改進。

為了使機器學習模型的設計過程更容易獲得，谷歌一直在探索使機器學習模型的設計自動化的方法。在他們研究的許多算法中，演化算法和強化學習算法表現出了很大的希望。

在谷歌內部被稱為 Auto ML 的方法中，一個控制器神經網絡可以提出一個“子”模型架構，然后可以在特定任務中對其進行訓練和評估質量。之后，這種反饋被用來通知控制器如何改進其下一輪提案。經過數千次的重復，新的體系結構生成了。最終，控制器學習為空間區域分配高可能性，以在保持出來的驗證數據集上實現更高的準確性，并且對建筑空間區域得分較低的區域的可能性低。以下是這一過程的樣子：

這種方法已經被谷歌應用于深度學習中的兩個高度基準測試數據集：使用 CIFAR-10 進行圖像識別以及使用 Penn Treebank 進行語言建模。在這兩個數據集上，該方法可以設計出與機器學習專家設計的較先進模型相媲美的模型。

那么，它會產生什么樣的神經網絡？舉一個例子：經過訓練的經常性架構可以預測 Penn Treebank 數據集中的下一個單詞。這里左邊是由專家設計的神經網絡。右邊是上述方法創建的經常性架構：

機器選擇的體系結構確實與人體設計共享一些共同特征，例如使用加法將輸入和以前的隱藏狀態組合在一起。但是，有一些值得注意的新元素 ：例如，機器選擇的體系結構包含乘法組合（右圖中最左邊的藍色節點，標記為“ elem_mult ”）。這種類型的組合對于經常性網絡并不常見，這可能是因為研究人員沒有看到明顯的好處。有趣的是，這種方法最簡單的形式最近由人類設計師提出，他們也認為這種乘法組合可以實際上減輕梯度消失 / 爆炸問題，這表明機器選擇的架構能夠發現一種有用的新型神經網絡架構。

這種方法也可以證明為什么某些類型的神經網絡工作得很好。這里右邊的架構有很多通道，所以梯度可以倒退，這可能有助于解釋為什么 LSTM RNN 比標準 RNN 更好地工作。

遷移學習

遷移學習 (Transfer learning) 顧名思義就是就是把已學訓練好的模型參數遷移到新的模型來幫助新模型訓練。

考慮到大部分數據或任務是存在相關性的，所以通過遷移學習可以將已經學到的模型參數（也可理解為模型學到的知識）通過某種方式來分享給新模型從而加快并優化模型的學習效率不用像大多數網絡那樣從零學習（starting from scratch，tabula rasa）。

Cloud AutoML 通過遷移學習（Transfer Learning）將已訓練完成的模型，轉移到新的模型訓練過程。這樣，能夠用較少量數據訓練出機器學習模型。對于醫療領域而言，這點尤為重要，因為在為罕見疾病和一些特殊案例建模時，往往無法取得足夠的訓練數據。

Learning2learn?

Cloud AutoML 通過 learning2learn 功能自動挑選適合的模型，搭配超參數調整技術（Hyperparameter tuning technologies）自動調整參數。

AutoML 面臨的挑戰

谷歌人工智能部門的掌門人 Jeff Dean 對 Auto ML 的出現感到興奮，因為它幫助 Google“自動解決問題”，但對 AutoML 的使用也提出了獨特的問題。

Dean 表示：“由于我們使用的是比傳統手工編碼軟件更多的系統，我認為這給我們帶來了很多挑戰，我們正在處理這些問題。如果你從數據中學習并且數據已經對它做出了偏差決定，那么學習的機器學習模型本身會使這些偏見永久化。所以我們正在做很多工作，同機器學習社區中的其他人一起，努力研究如何培訓沒有偏見形式的機器學習模型。”

另一個挑戰：如何使用 AutoML 正確設計安全關鍵系統，為醫療保健等行業創建 AI。已經建立了數十年的計算機科學較佳實踐，以便對這些系統進行手工編碼，機器制造機器也必須執行相同的步驟。

Dean 表示：在分類狗的種類時發現錯誤是一回事，但是在安全關鍵系統中犯下錯誤完全是另一回事。他說：“我認為這對我們來說是一個非常有意義且重要的應用方向，特別是當我們開始在更安全的關鍵系統中進行機器學習，比如對醫療保健或自動駕駛汽車進行決策。”

除了谷歌自家大佬提出的一些問題，其他專家也都對 AutoML 發表過看法。

一位不愿透露姓名的技術專家告訴 AI 前線，Cloud AutoML 目前推出的第一項服務是針對 Vision 的，ImageNet 數據集夠好夠大，所以大多情況下確實能夠遷移出不錯的效果，而且視覺現在屬于比較好做的領域了，如果是 NLP、CTR 這些領域，則要難很多。大家現在有點“谷歌做的肯定都是好的”的心理，不得不說谷歌 PR 能力確實厲害。

當然，通過遷移學習實現 AutoML 這件事情本身確實給了從業者很大的想象空間，可以打破數據孤島，更低成本地解決更多問題，比如用電商的數據去做傳統行業的推薦，或者一個新公司沒有數據但可以用其他公司或行業數據來做事情。

谷歌介紹稱 AutoML Vision 提供了簡潔的圖形化用戶界面，只需導入數據和拖拽組件就能打造全新模型，更有媒體報道直接突出“無需寫一行代碼”，那么真的可以不用寫代碼嗎？這位專家諱莫如深地告訴 AI 前線：“不寫代碼容易做，不寫代碼能做出好結果難呀。”

What`s Next？

對于整個 AI 領域來說，AutoML 一定是下一個時代發展重點，并且極有可能是機器學習的“大殺器”。但是，對于大多數企業來說，哪怕是谷歌這樣的大廠，AutoML 仍然是一個新興的領域，所有人都在摸索，誰能先人一步搶占技術先機就顯得尤為重要。

然而在前不久舉辦的谷歌 I/O 開發者大會上，除了 Jeff Dean 偶爾提到了 AutoML 以外，并沒有任何的專題演講來對 AutoML 的進展進行講述，更是讓人感覺到這一新型技術的神秘和巨大潛力。

除了谷歌，在國際上如微軟這樣的大廠也已入局，本系列之后的文章也會提到。當然，各位讀者可千萬不要以為 AutoML 這樣的服務只有國外用戶才能享受到，在國內，也有一批公司推出了自家的 AutoML 平臺，令人驚喜的是，它們當中有相當一部分是初創公司，在本系列中，我們還會介紹幾個國產的 AutoML 平臺，請拭目以待！

參考鏈接

http://developers.googleblog.cn/2017/11/automl.html

https://zhuanlan.zhihu.com/p/27792859

https://www.datasciencecentral.com/profiles/blogs/automated-deep-learning-so-simple-anyone-can-do-it

http://www.mittrchina.com/news/1582

https://www.zhihu.com/question/41979241/answer/123545914

https://www.jianshu.com/p/1430dcc71d15

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754