機器學習-斯坦福大學 -Andrew Ng: 前兩周課程小結

zgbgx 發布于2019-08-15 11:09 / 3530人閱讀

摘要：前兩周的課程主要數學知識點為矩陣乘法如若可以相乘必然有，最后的結果為的在線性回歸中矩陣用處在于數據量有數據有實際值向量預測值向量監督學習與非監督學習監督學習我們的目標是從輸入到輸出的一種映射關系。

1、前兩周的課程主要數學知識點為矩陣乘法

A m*n B k*y
如若 A*B 可以相乘 必然有 n=k，最后的結果為 m*y的matrix
在線性回歸中矩陣用處在于：
 x10 x11 x12 x13  y1          &1
 x20 x21 x22 x23  y2          &2
  .   .   .   .    .          &3
  .   .   .   .    .      

 數據量有 m  &數據有 n                         
 X = m n
 Y=m 1(實際值向量)
 &=n 1
 Final =X*Y
 Final=m 1 (預測值向量)

2、監督學習與非監督學習

監督學習：我們的目標是從輸入到輸出的一種映射關系。其中輸出的值已經有了，其指導我們輸出的數據了。我們根據已經有的輸出值，對輸入值進行學習，尋找輸入值與輸出值之間的關系。例：一堆（x,y），數據學習其中x（輸入值）與y（輸出值）之間的關系。
非監督學習：與監督學習最大的區別在于，非監督沒有已知的輸出值給予訓練，完全依靠模型尋找輸入值之間內在的關系。例：新聞聚類，給新聞分類
總：有輸出值得數據為監督學習，沒有輸出值為非監督學習。

3.1、線性回歸-代價函數(cost function)

y擬合=θ0x0+θ1x1
選擇合適θ0和θ1來使直線最好的擬合圖中的數據點。
所以這里有一個最小化的概念就是使假設函數與訓練樣本之間的誤差最小。
最小化：就是直線最佳擬合圖中數據點。
求法：(y擬合(x)-y(x))^2, 其實就是求預測函數取x值是y預測到y真實的距離的平方，這是一個點，最后將每一個點都加和起來，求平均值

3.2、線性回歸-梯度下降（gradient descent）

梯度下降：重復計算直到收斂

圖中的 := 代表賦值符號,而且需要注意的是每次更新都是同時賦值。
alpha 代表的是學習速率，它控制我們以多大的的幅度更新這個參數代表θj。也就是上面說的大步流星下山或是小碎步下山。
alpha大小取值過大會導致最終不能收斂。
             過小會導致收斂次數對多，耗費時間長。

3.2、線性回歸-特征縮放（Feature Scaling）

特征縮放：是梯度下降快速收斂到終止位置（閾值點）。

    μi：所有特征(i)的平均值。
    si：特征(i)的(max - min)或者標準偏差。

3.3、線性回歸-正常方程求解（Normal Equation）

梯度下降與正常方程求解優缺點：
梯度下降                               正常求解
需要選擇alpha大小                      不需要考慮alpha大小
需要很多次迭代                         不需要迭代
O(Kn^2)                               O(n^3),并且需要計算X"X
在特征比較多的時候使用                  特征數量較小時使用

云服務器 GPU云服務器大學機器學習機器學習大學機器學習學習課程學習機器學習課程

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/67568.html

我是如何在1天內構建一個深度學習模型并進擊Kaggle比賽的

摘要：是為結果導向型人群開設的深度學習在線課程。但是最關鍵的是，我想通過構建簡單的深度學習解決方案來實現理論和實踐的相結合。我的目標是在一天結束前進入排名的前。我的時間都用于學習庫組織數據和評估結果都是一些與深度學習無關的簡單流程。 Fast.ai是Jeremy Howard為結果導向型人群開設的深度學習在線課程。我讀過很多關于機器學習的書，也參加過不少這方面的課程，但我認為Fast.ai是迄今為...

shinezejian 2019-04-25 18:14 評論0 收藏0
機器學習Ng課程筆記——線性回歸算法

摘要：在回歸分析中，只包括一個自變量和一個因變量，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析如果回歸分析中包括兩個及以上個自變量，且因變量和自變量直接是線性關系，則稱之為多元線性回歸分析。參考斯坦福大學機器學習公開課定義假設函數與代價函數(損失函數) 特征量放縮最小化代價函數收斂判定 1.什么是線性回歸在統計學中，線性回歸是利用被稱為線性回歸方程的最小平...

Chaz 2019-07-30 15:42 評論0 收藏0
6張圖像vs13000張圖像，超越2013 Kaggle貓狗識別競賽領先水平

摘要：年，舉辦過一個很受歡迎的貓狗識別競賽。當時，正如比賽官網宣布的，在使用張貓和狗的圖像進行訓練后，較先進的算法分辨貓狗的準確率是。醫學診斷異常檢測圖像識別的工業應用，等等。小結結果令人吃驚。 2013年，Kaggle舉辦過一個很受歡迎的貓狗識別競賽（Dogs vs. Cats）。比賽的目標是訓練一種能夠檢測圖像中是否包含貓或者狗的算法。當時，正如比賽官網宣布的，在使用13000張貓和狗的圖像進...

RdouTyping 2019-04-25 18:18 評論0 收藏0
PyTorch一周年戰績總結：是否比TensorFlow來勢兇猛？

摘要：截止到今天，已公開發行一周年。一年以來，社區中的用戶不斷做出貢獻和優化，在此深表感謝。所以與衡量它的指標包括在機器學習研究論文中的使用。來自香港科技大學的在上推出了面向普通觀眾的在線課程。 Yann LeCun Twitter截止到今天，PyTorch 已公開發行一周年。一年以來，我們致力于打造一個靈活的深度學習研究平臺。一年以來，PyTorch 社區中的用戶不斷做出貢獻和優化，在此深表感謝...

ymyang 2019-04-25 18:23 評論0 收藏0
重磅 | 完備的 AI 學習路線，最詳細的資源整理！

摘要：是你學習從入門到專家必備的學習路線和優質學習資源。的數學基礎最主要是高等數學線性代數概率論與數理統計三門課程，這三門課程是本科必修的。其作為機器學習的入門和進階資料非常適合。書籍介紹深度學習通常又被稱為花書，深度學習領域最經典的暢銷書。 showImg(https://segmentfault.com/img/remote/1460000019011569); 【導讀】本文由知名開源平...

荊兆峰 2019-06-26 18:54 評論0 收藏0