国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

【機(jī)器學(xué)習(xí)】回歸算法-精講

mtunique / 1313人閱讀

摘要:回歸分析中,只包括一個自變量和一個因變量,且二者的關(guān)系可用一條直線近似表示,這種回歸分析稱為一元線性回歸分析。

回歸算法

數(shù)據(jù)類型分為連續(xù)型和離散型。離散型的數(shù)據(jù)經(jīng)常用來表示分類,連續(xù)型的數(shù)據(jù)經(jīng)常用來表示不確定的值。比如一個產(chǎn)品質(zhì)量分為1類,2類,這是離散型。房價(jià)1.4萬/平,3.4萬/平,這是連續(xù)型。之前我們學(xué)的都是分類,那么對于一些連續(xù)型的數(shù)據(jù),我們就可以通過回歸算法來進(jìn)行預(yù)測了。

回歸分析中,只包括一個自變量和一個因變量,且二者的關(guān)系可用一條直線近似表示,這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量,且因變量和自變量之間是線性關(guān)系,則稱為多元線性回歸分析。那么什么是線性關(guān)系和非線性關(guān)系?

線性回歸和非線性回歸:

比如說在房價(jià)上,房子的面積和房子的價(jià)格有著明顯的關(guān)系。那么X=房間大小,Y=房價(jià),那么在坐標(biāo)系中可以看到這些點(diǎn):

如果房間面積大小和房價(jià)的關(guān)系可以用一根直線表示,那么這就是線性關(guān)系:

而如果不是一根直線,那么就是非線性關(guān)系:

線性回歸

線性回歸通過一個或者多個自變量與因變量之間進(jìn)行建模的回歸分析。其中特點(diǎn)為一個或多個稱為回歸系數(shù)的模型參數(shù)的線性組合。

線性回歸方程:

線性回歸方程,就是有k個特征,然后每個特征都有相應(yīng)的系數(shù),并且在所有特征值為0的情況下,目標(biāo)值有一個默認(rèn)值。因此線性回歸方程如下:
h ( ? ) = ? ? + ? ? ? ? ? + ? ? ? ? ? + … ?(?)= ?? + ??*?? + ??*??+… h(w)=w?+w??x?+w??x?+
整合后的公式為:
h ( w ) = ∑ i n w i x i = θ T x h(w)=∑_i^nw_ixi=θ^Tx h(w)=in?wi?xi=θTx

損失函數(shù):

損失函數(shù)是一個貫穿整個機(jī)器學(xué)習(xí)重要的一個概念,大部分機(jī)器學(xué)習(xí)算法都會有誤差,我們得通過顯性的公式來描述這個誤差,并且將這個誤差優(yōu)化到最小值。

假設(shè)現(xiàn)在真實(shí)的值為y,預(yù)測的值為h,那么損失函數(shù)的公式如下:
J ( θ ) = 1 2 ∑ i m ( y ( i ) ? θ T x ( i ) ) 2 J(θ)=/frac{1}{2}∑_i^m(y^{(i)}-θ^Tx^{(i)})^2 J(θ)=21?im?(y(i)?θTx(i))2

也就是所有誤差和的平方。損失函數(shù)值越小,說明誤差越小.這個損失函數(shù)也有一個專門的叫法,叫做最小二乘法


損失函數(shù)推理過程:

公式轉(zhuǎn)換:

首先,我們是想要獲取到這樣一個公式:
h ( θ ) = θ 0 + θ 1 ? x 1 + θ 2 ? x 2 + … ?(θ)= θ_0 + θ_1*x_1 + θ_2*x_2+… h(θ)=θ0?+θ1??x1?+θ2??x2?+
那么為了更好的計(jì)算,我們將這個公式進(jìn)行一些變形,將 w 0 w_0 w0?后面加個 x 0 x_0 x0?,只不過這個 x 0 x_0 x0?是為1。所以可以變化成以下:
h ( θ ) = ∑ i n θ i x i ?(θ)= ∑_i^nθ_ix_i h(θ)=in?θi?xi?
θ i θ_i θi? x i x_i xi?可以寫成一個矩陣:
[ θ 0 θ 1 θ 3 . . . ] /left[/begin{matrix} θ_0 θ_1 θ_3 ... /end{matrix} /right] [θ0?θ1?θ3?...?] x [ 1 x 1 x 3 . . . ] /left[/begin{matrix} 1 // x_1 // x_3 // ... /end{matrix} /right] ?????1x1?x3?...?????? = ∑ i n θ i x i ∑_i^nθ_ix_i in?θi?xi? = θ T x θ^Tx θTx

用矩陣主要是方便計(jì)算。

誤差公式:

其次,以上求得的,只是一個預(yù)測的值,而不是真實(shí)的值,他們中間肯定會存在誤差,因此會有以下公式:
y i = θ i x i + ? i y_i=θ_ix_i + ?_i yi?=θi?xi?+?i?
我們要做的,就是找出最小的 ? i ?_i ?i?,使得預(yù)測值和真實(shí)值的差距最小。

轉(zhuǎn)化為θ求解:

然后, ? i ?_i ?i?是存在正數(shù),也存在負(fù)數(shù),所以可以簡單的把這個數(shù)據(jù)集,看做是一個服從均值為0,方差為 σ 2 σ^2 σ2的正態(tài)分布。所以 ? i ?_i ?i?出現(xiàn)的概率為:

p ( ? i ) = 1 2 π σ e x p ? ( ? i ) 2 2 σ 2 p(?_i)=/frac{1}{/sqrt{2π}σ}exp{/frac{-(?_i)^2}{2σ^2}} p(?i?)=2π ?σ1?exp2σ2?(?i?)2?

? i = y i ? θ i x i ?_i=y_i-θ_ix_i ?i?=yi??θi?xi?代入到以上高斯分布的函數(shù)中,變成以下式子:

p ( ? i ) = 1 2 π σ e x p ? ( y i ? θ i x i ) 2 2 σ 2 p(?_i)=/frac{1}{/sqrt{2π}σ}exp{/frac{-(y_i-θ_ix_i)^2}{2σ^2}} p(?

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/123370.html

相關(guān)文章

  • 前饋神經(jīng)網(wǎng)絡(luò)開山鼻祖---一些概念

    摘要:下文主要講述前饋神經(jīng)網(wǎng)絡(luò)這個值稱之為損失,我們的目標(biāo)就是使對所有訓(xùn)練數(shù)據(jù)的損失和盡可能的小。對于前饋神經(jīng)網(wǎng)絡(luò)中,這個有向圖是沒有回路的。反饋神經(jīng)網(wǎng)絡(luò)也是一類重要的神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)中的也屬于一種反饋神經(jīng)網(wǎng)絡(luò)。 監(jiān)督學(xué)習(xí)中,如果預(yù)測的變量是離散的,我們稱其為分類(如決策樹,支持向量機(jī)等); 如果預(yù)測的變量是連續(xù)的,我們稱其為回歸。 反向傳播算法(back propagation alg...

    MASAILA 評論0 收藏0
  • 機(jī)器學(xué)習(xí)算法基礎(chǔ)(使用Python代碼)

    摘要:機(jī)器學(xué)習(xí)算法類型從廣義上講,有種類型的機(jī)器學(xué)習(xí)算法。強(qiáng)化學(xué)習(xí)的例子馬爾可夫決策過程常用機(jī)器學(xué)習(xí)算法列表以下是常用機(jī)器學(xué)習(xí)算法的列表。我提供了對各種機(jī)器學(xué)習(xí)算法的高級理解以及運(yùn)行它們的代碼。決策樹是一種監(jiān)督學(xué)習(xí)算法,主要用于分類問題。 showImg(https://segmentfault.com/img/remote/1460000019086462); 介紹 谷歌的自動駕駛汽車和機(jī)...

    BenCHou 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<