深度神經網絡：WX+b vs XW+b

rose 發布于2019-07-30 15:16 / 3239人閱讀

摘要：作者微信號微信公眾號簡書地址在大多數的神經網絡教科書中，神經網絡一般都會使用或者的形式。但是在或者中，神經網絡的實現都是采用了的形式。從理論上講，和在神經網絡中是等價的其實就是一個矩陣的轉置。然而，當我們計算兩者的導數的時候卻差別很大。

作者：chen_h
微信號 & QQ：862251340
微信公眾號：coderpai
簡書地址：https://www.jianshu.com/p/856...

在大多數的神經網絡教科書中，神經網絡一般都會使用 y = WX+B 或者 y = XW+B 的形式。但是在 tensorflow 或者 theano 中，神經網絡的實現都是采用了 y = XW+B 的形式。這是為什么呢？我花了很多的時間去查找資料，最后發現一點，可能是 y = XW+B 計算導數比 y = WX+B 容易。

從理論上講，XW+B 和 WX+B 在神經網絡中是等價的（其實就是一個矩陣的轉置）。然而，當我們計算兩者的導數的時候卻差別很大。我們通過具體的數學推導來感受一下吧。

比如：y = XW

比如：y = WX

原文 matrix cookbook

作者：chen_h
微信號 & QQ：862251340
簡書地址：https://www.jianshu.com/p/856...

CoderPai 是一個專注于算法實戰的平臺，從基礎的算法到人工智能算法都有設計。如果你對算法實戰感興趣，請快快關注我們吧。加入AI實戰微信群，AI實戰QQ群，ACM算法微信群，ACM算法QQ群。長按或者掃描如下二維碼，關注 “CoderPai” 微信號（coderpai）

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/41145.html

TensorFlow2

摘要：讓我們觀察一下這個例子中的損失函數到底長什么樣子。因此，我們可以通過梯度下降的方法求解使得損失函數達到最小值的。機器學習基礎線性回歸邏輯回歸 Softmax分類神經網絡線性回歸什么是回歸？ showImg(https://segmentfault.com/img/bVXGfb?w=765&h=514);通俗地講：給定X1, X2, ..., Xn，通過模型或算法預測數值...

XFLY 2019-07-30 14:52 評論0 收藏0
人工智能期末筆記

摘要：舉例，神經元，感知機，神經網絡行為主義智能機器人認為人工智能源于控制論。人工智能的研究領域包括專家系統推薦系統等等。是一種實現人工智能的方法根據某些算法，通過大量數據進行訓練和學習，然后對真實世界中的事件做出決策和預測。 1. 緒論四大流派符號主義(知識圖譜)原理主要為物理符號系統(即符號操作系統)假設和有限合理性原理用數理邏輯描述智能行為, 在計算機上實現了邏輯演繹系統。 ...

CodeSheep 2019-06-26 18:48 評論0 收藏0
OpenAI Ian Goodfellow的Quora問答：高歌猛進的機器學習人生

摘要：我仍然用了一些時間才從神經科學轉向機器學習。當我到了該讀博的時候，我很難在的神經科學和的機器學習之間做出選擇。 1.你學習機器學習的歷程是什么？在學習機器學習時你最喜歡的書是什么？你遇到過什么死胡同嗎？我學習機器學習的道路是漫長而曲折的。讀高中時，我興趣廣泛，大部分和數學或科學沒有太多關系。我用語音字母表編造了我自己的語言，我參加了很多創意寫作和文學課程。高中畢業后，我進了大學，盡管我不想去...

nihao 2019-04-25 18:26 評論0 收藏0
Poseidon：高效的分布式深度學習通信架構

摘要：我們提出了，它是一個分布式在上可實現高效通信的架構。利用深度程序中的層級模型結構而疊加通信與計算，這樣以減少突發性網絡通信。此外，使用混合的通信方案，并根據層級屬性和機器數量優化每一層同步所要求的字節數。表神經網絡的評估。論文：Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on...

caspar 2019-04-25 18:14 評論0 收藏0