摘要：據(jù)介紹，在谷歌近期的強(qiáng)化學(xué)習(xí)和基于進(jìn)化的的基礎(chǔ)上構(gòu)建，快速靈活同時能夠提供學(xué)習(xí)保證。剛剛，谷歌發(fā)布博客，開源了基于的輕量級框架，該框架可以使用少量專家干預(yù)來自動學(xué)習(xí)高質(zhì)量模型。

TensorFlow 是相對高階的機(jī)器學(xué)習(xí)庫，用戶可以方便地用它設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而不必為了追求高效率的實現(xiàn)親自寫 C++或 CUDA 代碼。它和 Theano 一樣都支持自動求導(dǎo)，用戶不需要再通過反向傳播求解梯度。

而基于 TensorFlow 的輕量級框架 AdaNet，可以使用少量專家干預(yù)來自動學(xué)習(xí)高質(zhì)量模型。據(jù)介紹，AdaNet 在谷歌近期的強(qiáng)化學(xué)習(xí)和基于進(jìn)化的 AutoML 的基礎(chǔ)上構(gòu)建，快速靈活同時能夠提供學(xué)習(xí)保證（learning guarantee）。重要的是，AdaNet 提供通用框架，不僅能用于學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)，還能學(xué)習(xí)集成架構(gòu)以獲取更好的模型。

結(jié)合不同機(jī)器學(xué)習(xí)模型預(yù)測的集成學(xué)習(xí)在神經(jīng)網(wǎng)絡(luò)中得到廣泛使用以獲得最優(yōu)性能，它從其悠久歷史和理論保證中受益良多，從而在 Netflix Prize 和多項 Kaggle 競賽等挑戰(zhàn)賽中取得勝利。但是，因其訓(xùn)練時間長、機(jī)器學(xué)習(xí)模型的選擇要求領(lǐng)域?qū)I(yè)知識，它們在實踐中并不那么常用。而隨著算力、深度學(xué)習(xí)專用硬件（如 TPU）的發(fā)展，機(jī)器學(xué)習(xí)模型將越來越大，集成技術(shù)也將越發(fā)重要。現(xiàn)在，想象一個工具，它能夠自動搜索神經(jīng)架構(gòu)，學(xué)習(xí)將最好的神經(jīng)架構(gòu)集成起來構(gòu)建高質(zhì)量模型。

剛剛，谷歌發(fā)布博客，開源了基于 TensorFlow 的輕量級框架 AdaNet，該框架可以使用少量專家干預(yù)來自動學(xué)習(xí)高質(zhì)量模型。AdaNet 在谷歌近期的強(qiáng)化學(xué)習(xí)和基于進(jìn)化的 AutoML 的基礎(chǔ)上構(gòu)建，快速靈活同時能夠提供學(xué)習(xí)保證（learning guarantee）。重要的是，AdaNet 提供通用框架，不僅能用于學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)，還能學(xué)習(xí)集成架構(gòu)以獲取更好的模型。

AdaNet 易于使用，能夠創(chuàng)建高質(zhì)量模型，節(jié)省 ML 從業(yè)者在選擇最優(yōu)神經(jīng)網(wǎng)絡(luò)架構(gòu)上所花費的時間，實現(xiàn)學(xué)習(xí)神經(jīng)架構(gòu)作為集成子網(wǎng)絡(luò)的自適應(yīng)算法。AdaNet 能夠添加不同深度、寬度的子網(wǎng)絡(luò)，從而創(chuàng)建不同的集成，并在性能改進(jìn)和參數(shù)數(shù)量之間進(jìn)行權(quán)衡。

AdaNet 適應(yīng)性地增長集成中神經(jīng)網(wǎng)絡(luò)的數(shù)量。在每次迭代中，AdaNet 衡量每個候選神經(jīng)網(wǎng)絡(luò)的集成損失，然后選擇最好的神經(jīng)架構(gòu)進(jìn)入下一次迭代。

如果對Python編程、網(wǎng)絡(luò)爬蟲、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、web開發(fā)、人工智能、面試經(jīng)驗交流。感興趣可以519970686，群內(nèi)會有不定期的發(fā)放免費的資料鏈接，這些資料都是從各個技術(shù)網(wǎng)站搜集、整理出來的，如果你有好的學(xué)習(xí)資料可以私聊發(fā)我，我會注明出處之后分享給大家。

AdaNet 實現(xiàn)了 TensorFlow Estimator 接口，通過壓縮訓(xùn)練、評估、預(yù)測和導(dǎo)出極大地簡化了機(jī)器學(xué)習(xí)編程。它整合如 TensorFlow Hub modules、TensorFlow Model Analysis、Google Cloud』s Hyperparameter Tuner 這樣的開源工具。它支持分布式訓(xùn)練，極大減少了訓(xùn)練時間，使用可用 CPU 和加速器（例如 GPU）實現(xiàn)線性擴(kuò)展。

AdaNet 在 CIFAR-100 上每個訓(xùn)練步（x 軸）對應(yīng)的準(zhǔn)確率（y 軸）。藍(lán)線是訓(xùn)練集上的準(zhǔn)確率，紅線是測試集上的性能。每一百萬個訓(xùn)練步開始一個新的子網(wǎng)絡(luò)，最終提高整個集成網(wǎng)絡(luò)的性能。灰色和綠色線是添加新的子網(wǎng)絡(luò)之前的集成準(zhǔn)確率。

TensorBoard 是 TensorFlow 最好的功能之一，能夠可視化訓(xùn)練過程中的模型指標(biāo)。AdaNet 將 TensorBoard 無縫集成，以監(jiān)控子網(wǎng)絡(luò)的訓(xùn)練、集成組合和性能。AdaNet 完成訓(xùn)練后將導(dǎo)出一個 SavedModel，可使用 TensorFlow Serving 進(jìn)行部署。

構(gòu)建神經(jīng)網(wǎng)絡(luò)集成存在多個挑戰(zhàn)：最佳子網(wǎng)絡(luò)架構(gòu)是什么？重復(fù)使用同樣的架構(gòu)好還是鼓勵差異化好？雖然具備更多參數(shù)的復(fù)雜子網(wǎng)絡(luò)在訓(xùn)練集上表現(xiàn)更好，但也因其極大的復(fù)雜性它們難以泛化到未見過的數(shù)據(jù)上。這些挑戰(zhàn)源自對模型性能的評估。我們可以在訓(xùn)練集分留出的數(shù)據(jù)集上評估模型表現(xiàn)，但是這么做會降低訓(xùn)練神經(jīng)網(wǎng)絡(luò)的樣本數(shù)量。

不同的是，AdaNet 的方法是優(yōu)化一個目標(biāo)函數(shù)，在神經(jīng)網(wǎng)絡(luò)集成在訓(xùn)練集上的表現(xiàn)與泛化能力之間進(jìn)行權(quán)衡。直觀上，即僅在候選子網(wǎng)絡(luò)改進(jìn)網(wǎng)絡(luò)集成訓(xùn)練損失的程度超過其對泛化能力的影響時，選擇該候選子網(wǎng)絡(luò)。這保證了：

集成網(wǎng)絡(luò)的泛化誤差受訓(xùn)練誤差和復(fù)雜度的約束。

通過優(yōu)化這一目標(biāo)函數(shù)，能夠直接最小化這一約束。

優(yōu)化這一目標(biāo)函數(shù)的實際收益是它能減少選擇哪個候選子網(wǎng)絡(luò)加入集成時對留出數(shù)據(jù)集的需求。另一個益處是允許使用更多訓(xùn)練數(shù)據(jù)來訓(xùn)練子網(wǎng)絡(luò)。

AdaNet 目標(biāo)函數(shù)教程：https://github.com/tensorflow...

谷歌認(rèn)為，創(chuàng)建有用的 AutoML 框架的關(guān)鍵是：研究和產(chǎn)品使用方面不僅能夠提供合理的默認(rèn)設(shè)置，還要讓用戶嘗試自己的子網(wǎng)絡(luò)/模型定義。這樣，機(jī)器學(xué)習(xí)研究者、從業(yè)者、喜愛者都能夠使用 tf.layers 這樣的 API 定義自己的 AdaNet adanet.subnetwork.Builder。

已在自己系統(tǒng)中融合 TensorFlow 模型的用戶可以輕松將 TensorFlow 代碼轉(zhuǎn)換到 AdaNet 子網(wǎng)絡(luò)中，并使用 adanet.Estimator 來提升模型表現(xiàn)同時獲取學(xué)習(xí)保證。AdaNet 將探索他們定義的候選子網(wǎng)絡(luò)搜索空間，并學(xué)習(xí)集成這些子網(wǎng)絡(luò)。例如，采用 NASNet-A CIFAR 架構(gòu)的開源實現(xiàn)，把它遷移到一個子網(wǎng)絡(luò)，經(jīng)過 8 次 AdaNet 迭代后提高其在 CIFAR-10 上的當(dāng)前最優(yōu)結(jié)果。此外，獲得的模型在更少參數(shù)的情況下獲得了以下結(jié)果：

在 CIFAR-10 數(shù)據(jù)集上，NASNet-A 模型的表現(xiàn) vs 結(jié)合多個小型 NASNet-A 子網(wǎng)絡(luò)的 AdaNet 的表現(xiàn)。

通過固定或自定義 tf.contrib.estimator.Heads，用戶可以使用自己定義的損失函數(shù)作為 AdaNet 目標(biāo)函數(shù)的一部分來訓(xùn)練回歸、分類和多任務(wù)學(xué)習(xí)問題。

用戶也可以通過拓展 adanet.subnetwork.Generator 類別，完全定義要探索的候選子網(wǎng)絡(luò)搜索空間。這使得用戶能夠基于硬件擴(kuò)大或縮小搜索空間范圍。子網(wǎng)絡(luò)的搜索空間可以簡單到復(fù)制具備不同隨機(jī)種子的同一子網(wǎng)絡(luò)配置，從而訓(xùn)練數(shù)十種具備不同超參數(shù)組合的子網(wǎng)絡(luò)，并讓 AdaNet 選擇其中一個進(jìn)入最終的集成模型。

出處：https://blog.csdn.net/Stephen...