資訊專欄INFORMATION COLUMN
摘要：最近老顧收到很多讀者來信，絕大多數詢問對抗生成網絡的最優傳輸解釋，以及和蒙日安培方程的關系。蒙日安培方程的幾何解法硬件友好，可以用目前的并行實現。蒙日安培方程的正則性理論更加復雜，但是對于模式塌縮的理解非常關鍵。
最近老顧收到很多讀者來信，絕大多數詢問對抗生成網絡的最優傳輸解釋，以及和蒙日-安培方程的關系。很多問題涉及到經典蒙日-安培方程理論，這里我們從偏微分方程和幾何角度介紹一下蒙日-安培方程的理論，主要是解的存在性，性。我們盡量用較為初等的方式來解釋。
深度學習和最優傳輸
深度學習的巨大成功可以歸結為自然數據所滿足如下兩個定則：1）流形分布律：同類自然數據滿足特定的概率分布，可以用概率分布來刻畫，其支集是高維數據背景空間中的低維流形；2）聚類分布律：同一數據中的不同子類表示成不同的概率分布；并且這些概率分布之間的距離足夠遠，使得這些子類可以被區分。因此，深度學習的核心任務包括：1）學習流形結構：即計算從流形到參數域的參數化映射（編碼、解碼映射）；也計算流形之間的映射；2）概率分布變換：在特征空間或者圖像空間中，計算兩種概率分布之間的距離，和兩種概率分布之間的變換。
基于最優傳輸觀點，特別是幾何上的Alexandrov途徑，我們設計了新穎的生成模型，進行了初步試驗。這里的幾何算法可以用硬件加速。詳細的討論請見深度學習和幾何（演講提要）。下面，我們用盡量初等的方法來介紹蒙日-安培方程弱解的存在性和性。
凸函數
圖1. 左幀非凸集，右幀凸集。
證明基于下面事實：正定矩陣之和、正定矩陣和正常數的數乘還是正定矩陣；或者用第一個定義。
圖3. 凸函數的次微分。
圖4. 勒讓德變換。
圖5. 由支撐平面重構凸函數。
蒙日-安培測度
蒙日-安培測度具有非常直觀而且重要的特性。
不等式成立。
圖6. 次微分的單調性。
蒙日-安培方程
我們可以得到迪利克雷問題弱解的穩定性如下：
圖7. 錐函數。
最優傳輸映射和蒙日-安培方程
小結
對抗生成模型（GAN model）可以用最優傳輸理論來解釋和計算，生成器等價于求解最優傳輸映射，判別器等價于計算Wasserstein距離，即最優傳輸映射的傳輸總代價。
傳輸代價的Brenier理論將最優傳輸映射求解歸結為蒙日-安培方程的弱解。這里我們用盡量初等的方法介紹了蒙日-安培方程弱解（Alexandrov 解）的存在性和性，由此幫助大家奠定學習GAN模型的理論基礎。
除了理論嚴密清晰，白箱替代黑箱，從深度學習的實戰角度而言，用蒙日-安培方程的幾何解法計算最優傳輸映射來部分替代目前深度神經網絡生成模型方法，具有很多優點：
蒙日-安培方程的幾何解法歸結為凸優化問題，保證最優解的存在性和性，不會停留在局部最優上面；
蒙日-安培方程的幾何解法具有明確的海森矩陣，可以用牛頓法進行優化，二階收斂?；蛘哂贸€性的擬牛頓法，效率遠高于線性的梯度下降法。
蒙日-安培方程幾何解法的誤差可以較精確控制，采樣密度和逼近Brenier勢能函數的
誤差模有確定關系，可以自適應條件采樣密度，以提高逼近精度。
算法設計具有層級（hirearchical）和自適應（self adaptive）特性，進一步提高效率。
蒙日-安培方程的幾何解法硬件友好，可以用目前的GPU并行實現。
實驗結果驗證了我們的看法，用這種方法從效率和生成質量而言，優于傳統方法。
蒙日-安培方程的正則性理論更加復雜，但是對于模式塌縮的理解非常關鍵。我們會在未來加以詳盡討論。
聲明：文章收集于網絡，為傳播信息而發，如有侵權，請聯系小編及時處理，謝謝！
商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4848.html
摘要：我們將這些現象籠統稱為廣義的模式崩潰問題。這給出了模式崩潰的直接解釋。而傳統深度神經網絡只能逼近連續映射，這一矛盾造成了模式崩潰。 春節前夕，北美遭遇極端天氣，在酷寒中筆者來到哈佛大學探望丘成桐先生。新春佳節，本是普天同慶的日子，但對于孤懸海外的游子而言，卻是更為凄涼難耐。遠離父母親朋，遠離故國家園，自然環境寒風凜冽，飛雪漫天，社會環境疏離淡漠，冷清寂寥。在波士頓見到導師和朋友，倍感欣慰。筆...
摘要：老顧受邀在一些大學和科研機構做了題為深度學習的幾何觀點的報告，匯報了這方面的進展情況。深度學習的主要目的和功能之一就是從數據中學習隱藏的流形結構和流形上的概率分布。 （最近，哈佛大學丘成桐先生領導的團隊，大連理工大學羅鐘鉉教授、雷娜教授領導的團隊應用幾何方法研究深度學習。老顧受邀在一些大學和科研機構做了題為深度學習的幾何觀點的報告，匯報了這方面的進展情況。這里是報告的簡要記錄，具體內容見【1...
摘要：在最近的一次人工智能會議上，表示自己對于反向傳播非常懷疑，并提出應該拋棄它并重新開始。在人工智能多年的發展過程中，反向傳播已經成為了深度學習不可或缺的一部分。最后，我們會將這些規則組合成可用于任意神經網絡的反向傳播算法。 現在的深度學習發展似乎已經陷入了大型化、深度化的怪圈，我們設計的模型容易被對抗樣本欺騙，同時又需要大量的訓練數據——在無監督學習上我們取得的突破還很少。作為反向傳播這一深度...
摘要：因為深度學習的正統觀念在該領域已經很流行了。在機器和深度學習空間中進行的大多數數學分析傾向于使用貝葉斯思想作為參數。如果我們接受了目前深度學習的主流觀點任何一層的微分都是公平的，那么或許我們應該使用存儲多種變體的復分析。 深度學習只能使用實數嗎？本文簡要介紹了近期一些將復數應用于深度學習的若干研究，并指出使用復數可以實現更魯棒的層間梯度信息傳播、更高的記憶容量、更準確的遺忘行為、大幅降低的網...
閱讀 1824·2019-08-30 15:55
閱讀 1017·2019-08-26 11:57
閱讀 521·2019-08-26 11:29
閱讀 3365·2019-08-26 10:49
閱讀 1916·2019-08-23 18:40
閱讀 1755·2019-08-23 16:04
閱讀 3115·2019-08-23 11:01
閱讀 2282·2019-08-23 10:56
