摘要：在大量對象上應用了回歸分析甚至包括人的身高。孩子的高度向著平均高度回退回歸。回歸的目的是預測數值型的目標值。這就是監督學習算法的一個例子。

@toc

大自然讓我們回歸到一定的區間范圍之內；反過來說就是，有一個平均的水平，可以讓突出的事物能向他靠攏。

回歸是由達爾文(Charles Darwin)的表兄弟Francis Galton發明的。 Galton于1877年完成了第一次回歸預測,目的是根據上一代豌豆種子(雙親)的尺寸來預測下一代豌豆種子(孩子)的尺寸。Galton在大量對象上應用了回歸分析,甚至包括人的身高。他注意到,如果雙親的高度比平均高度高,他們的子女也傾向于比平均高度高,但尚不及雙親。孩子的高度向著平均高度回退(回歸)。Galton在多項研究上都注意到這個現象,所以盡管這個英文單詞跟數值預測沒有任何關系,但這種研究方法仍被稱作回歸 2 。

那些高個子的后代的身高，有種回歸到大眾身高的趨勢。 eg: 姚明身高2米26，葉莉身高1米90， 但是他們后代的身高是會逐漸回歸到正常的身高水平。

回歸可以做任何事情。然而大多數公司常常使用回歸法做一些比較沉悶的事情,例如:

銷售量預測

制造缺陷預測。

當然也可以做有新意的應用,例如:

預測名人的離婚率。

預測所在地區的房價。

回歸,一般都是指線性回歸(linear regression).

從我們最熟悉的開始， 已知兩點，求直線公式設 y = ax+b, 帶入兩點，求得解析解為 y = 3x-60

回歸方程 (regression equation)： y = 3x-60

回歸系數 (regression weights)： 3和-60可以稱為回歸系數

回歸: 求這些回歸系數的過程

這個例子是預測住房價格的，我們要使用一個數據集，數據集包含西安市的住房價格。在這里，我要根據不同房屋尺寸所售出的價格，畫出我的數據集。比方說，如果你朋友的房子是40平方米大小，你要告訴他們這房子能賣多少錢。那么，你可以做的一件事就是構建一個模型，也許是條直線，從這個數據模型上來看，也許你可以告訴你的朋友，他能以大約78萬(人民幣)左右的價格賣掉這個房子。這就是監督學習算法的一個例子。

    m:表示訓練集數據的總量
    x:表示輸入變量
    y:表示輸出變量
    (x,y): 表示一個訓練樣本
    (x(i),y(i)): 表示第i個訓練樣本

對于一元線性回歸(單變量線性回歸)來說，學習算法為 y = ax + b
我們換一種寫法： hθ(x) = θ0 + θ1x1

實現步驟
1). 模擬數據
2). 調用sklearn擬合數據, 把theta0 theta1求出來
3). 預測

from sklearn.linear_model import LinearRegression
import numpy as np

# 1).模擬數據
X = np.random.rand(100, 1)
Y = 4 + 2 * X + np.random.randn(100, 1)

# 2). 調用sklearn擬合數據, 把theta0 theta1求出來
# 導入線性回歸類
lin_reg = LinearRegression()
# 讓線性回歸類做訓練
lin_reg.fit(X, Y)
# 輸出theta0 theta1; intercept_是截距, coef_是斜率系數;
print("
theat0, theta1:", lin_reg.intercept_, lin_reg.coef_)

# 3). 預測
X_new = np.array([[0], [1]])
print("
x=0, x=1預測結果:
", lin_reg.predict(X_new))

測試結果:

線性回歸實際上要做的事情就是： 選擇合適的參數（θ0, θ1），使得hθ(x)方程，很好的擬合訓練集。實現如何把最有可能的直線與我們的數據相擬合。

擬合就是把平面上一系列的點，用一條光滑的曲線連接起來。因為這條曲線有無數種可能，從而有各種擬合方法。擬合的曲線一般可以用函數表示.

下面的三張圖， 展示了擬合的三種狀態：

圖一是部分擬合

圖二是完全不擬合

圖三是完全擬合

擬合過程中因為theta0和theta1的取值準確度， 預測的結果與訓練集中的實際值有差距。

我們選擇的參數決定了我們得到的直線相對于我們的訓練集的準確程度，模型所預測的值與訓練集中實際值之間的差距（下圖中藍線所指）就是建模誤差（modeling error）。

我們的目標便是選擇出可以使得建模誤差的平方和能夠最小的模型參數。 即使得損函數最小。

二維空間求均方差

上圖是參考吳恩達視頻的圖片， 我們會發現隨著theta1的不斷變化， 均方誤差MSE會找到一個最小值。 如果從數學角度來看， 就是求解函數的導數，計算函數的最小值。

三維空間求均方差

上圖是參考吳恩達視頻的圖片， 我們會發現隨著theta0和theta1的不斷變化， 均方誤差MSE會找到一個最小值。為了通過圖形化看到最小的均方差， 三維圖片并不直觀。 通常使用等高線實現。如下圖：

更高維空間

我們會遇到更復雜、更高維度、更多參數的情況，而這些情況是很難畫出圖的，因此更無法將其可視化，因此我們真正需要的是編寫程序來找出這些最小化代價函數的和的值，而梯度下降算法就是能夠自動地找出能使代價函數最小化的參數和的值。

梯度下降是一個用來求函數最小值的算法，我們將使用梯度下降算法來求出代價函數的最小值。

梯度下降背后的思想是：開始時我們隨機選擇一個參數的組合，計算代價函數，然后我們尋找下一個能讓代價函數值下降最多的參數組合。我們持續這么做直到到到一個局部最小值（local minimum），因為我們并沒有嘗試完所有的參數組合，所以不能確定我們得到的局部最小值是否便是全局最小值（global minimum），選擇不同的初始參數組合，可能會找到不同的局部最小值。

想象一下你正站立在山的這一點上，站立在你想象的公園這座紅色山上，在梯度下降算法中，我們要做的就是旋轉360度，看看我們的周圍，并問自己要在某個方向上，用小碎步盡快下山。這些小碎步需要朝什么方向？如果我們站在山坡上的這一點，你看一下周圍，你會發現最佳的下山方向，你再看看周圍，然后再一次想想，我應該從什么方向邁著小碎步下山？然后你按照自己的判斷又邁出一步，重復上面的步驟，從這個新的點，你環顧四周，并決定從什么方向將會最快下山，然后又邁進了一小步，并依此類推，直到你接近局部最低點的位置。

公式:

理解

a是學習率（learning rate），它決定了我們沿著能讓代價函數下降程度最大的方向向下邁出的步子有多大;

如果α太小的話，梯度下降會很慢

如果α太大的話，梯度下降越過最小值，不僅不會收斂，而且有可能發散

不論斜率正或負，梯度下降都會逐漸趨向最小值

即使學習率α是固定不變的，梯度下降也會收斂到一個最低點

梯度下降的兩種更新方式:

批梯度下降：指的是每下降一步，使用所有的訓練集來計算梯度值

在梯度下降中，在計算微分求導項時，我們需要進行求和運算，所以，在每一個多帶帶的梯度下降中，我們最終都要計算這樣一個東西，這個項需要對所有個訓練樣本求和。因此，批量梯度下降法這個名字說明了我們需要考慮所有這一"批"訓練樣本，

代碼實現

"""
線性回歸實現梯度下降的批處理（batch_gradient_descent ）
"""
import numpy as np

X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
X_b = np.c_[np.ones((100, 1)), X]
# print(X_b)

learning_rate = 0.1
# 通常在做機器學習的時候，一般不會等到他收斂，因為太浪費時間，所以會設置一個收斂次數
n_iterations = 100000
m = 100

# 1.初始化theta， w0...wn
theta = np.random.randn(2, 1)
count = 0

# 4. 不會設置閾值，之間設置超參數，迭代次數，迭代次數到了，我們就認為收斂了
for iteration in range(n_iterations):
    count += 1
    # 2. 接著求梯度gradient
    gradients = 1/m * X_b.T.dot(X_b.dot(theta)-y)
    # 3. 應用公式調整theta值， theta_t + 1 = theta_t - grad * learning_rate
    theta = theta - learning_rate * gradients

print(count)
print(theta)

執行結果

隨機梯度下降：指的是每下降一步，使用一條訓練集來計算梯度值

“Mini-Batch”梯度下降：指的是每下降一步，使用一部分的訓練集來計算梯度值