摘要:深度神經網絡就是用一組函數去逼近原函數,訓練的過程就是尋找參數的過程。說了很多概念,搞個看看,下面是一個最簡單的線性回歸的模型。
目錄
推薦閱讀??點擊標題可跳轉
今天是第一篇文章,希望自己能堅持,加油。
深度神經網絡就是用一組函數去逼近原函數,訓練的過程就是尋找參數的過程。
神經網絡的訓練過程如下:
收集數據,整理數據
實現神經網絡用于擬合目標函數
做一個真實值和目標函數值直接估計誤差的損失函數,一般選擇既定的損失函數
用損失函數值前向輸入值求導,
再根據導數的反方向去更新網絡參數(x),目的是讓損失函數值最終為0.,最終生成模型
各層概念解釋
輸入層:就是參數輸入
輸出層:就是最后的輸出
隱藏層(隱含層):除去其他兩層之外的層都可以叫隱藏層
?模型是什么:
模型包含兩部分,一部分是神經網絡的結構,一部分是各個參數,最后訓練的成果就是這個
1、數學知識
1.1導數
導數在大學的時候還是學過的,雖然概念很簡單,但是過了這么多年幾乎也都忘了,連數學符號都不記得了,在復習之后才理解:就是表示數據變化的快慢,是變化率的概念
,比如重力加速度,表示你自由落體之后每秒速度的增量。
數學公式是:
不重要,看不看的懂都行,因為在后面的學習中也不會讓你手動求導,框架里都有現成的函數
1.2 梯度
梯度的本意是一個向量(矢量),表示某一函數在該點處的方向導數沿著該方向取得最大值,即函數在該點處沿著該方向(此梯度的方向)變化最快,變化率最大(為該梯度的模)
梯度:是一個矢量,其方向上的方向導數最大,其大小正好是此最大方向導數。
2、前向傳播和反向傳播
前向傳播就是前向調用,正常的函數調用鏈而已,沒什么特別的,破概念搞得神神秘秘的
比如
def?a(input):????return?ydef?b(input):????return?y2# 前向傳播def?forward(input):????y?=?a(input)????y2?=?b(y)
反向傳播
反向傳播就是根據誤差和學習率,將參數權重進行調整,具體的算法下次會專門寫一篇文章進行解析。
3.1 歸一化(normalization)
將數據放縮到0~1區間,利用公式(x-min)/(max-min)
3.2 標準化(Standardization)
? ?數據的標準化是將數據按比例縮放,使之落入一個小的特定區間。將數據轉化為標準的正態分布,均值為0,方差為1
3.3 正則化
正則化的主要作用是防止過擬合,對模型添加正則化項可以限制模型的復雜度,使得模型在復雜度和性能達到平衡。
3.4 獨熱碼編碼 (one hot)
one hot編碼是將類別變量轉換為機器學習算法易于使用的一種形式的過程。one-hot通常用于特征的轉換
比如:一周七天,第三天可以編碼為 [0,0,1,0,0,00]
注:我把英語都補在了后面,并不是為了裝逼,只是為了下次看到這個單詞的時候知道這個單詞在表示什么。
numpy ,pandas, matplotlib 這三個是數據分析常用的庫,也是深度學習中常用的三個庫
4.1 numpy
numpy 是優化版的python的列表,提高了運行效率,也提供了很多便利的函數,一般在使用的時候表示矩陣
numpy中的一個重要概念叫shape ,也就是表示維度
注:numpy 的api 我也使用不熟練,相信會在以后的學習過程中熟練的,使用的時候查一查,不用擔心。
4.2 pandas
Pandas 的主要數據結構是 Series (一維數據)與 DataFrame(二維數據).
[Series] 是一種類似于一維數組的對象,它由一組數據(各種Numpy數據類型)以及一組與之相關的數據標簽(即索引)組成。
DataFrame 是一個表格型的數據結構,它含有一組有序的列,每列可以是不同的值類型(數值、字符串、布爾型值)。DataFrame 既有行索引也有列索引,它可以被看做由 Series 組成的字典(共同用一個索引)。
注:pandas 可以當做Excel使用,里面的api 我也使用不熟練,不用擔心,可以掃下核心概念就好
4.3 matplotlib
Matplotlib ?是畫圖用的,可以用來在學習的過程中對數據進行可視化,我還沒有學習這個庫,只會照貓畫虎,所以放輕松,只是告訴你有這么個東西,不一定現在就要掌握
訓練集:用來訓練模型的數據,用來學習的
驗證集:用來驗證模型的數據,主要是看下模型的訓練情況
測試集: 訓練完成之后,驗證模型的數據
一般數據的比例為6:2:2
一個形象的比喻:
訓練集----學生的課本;學生 根據課本里的內容來掌握知識。驗證集----作業,通過作業可以知道 不同學生學習情況、進步的速度快慢。測試集----考試,考的題是平常都沒有見過,考察學生舉一反三的能力。
損失函數用來評價模型的預測值和真實值不一樣的程度,損失函數越好,通常模型的性能越好。不同的模型用的損失函數一般也不一樣.
注:f(x) 表示預測值,Y 表示真實值,
這些只是常用的損失函數,實現不同而已,在后面的開發理解各個函數就行了,API caller 不用理解具體的實現,就像你知道快速排序的算法原理,但是沒必要自己去實現,現成的實現拿來用不香嗎?
優化器就是在深度學習反向傳播過程中,指引損失函數(目標函數)的各個參數往正確的方向更新合適的大小,使得更新后的各個參數讓損失函數(目標函數)值不斷逼近全局最小。
常見的幾種優化器
激活函數就是對輸入進行過濾,可以理解為一個過濾器
常見的非線性激活函數通常可以分為兩類,一種是輸入單個變量輸出單個變量,如sigmoid函數,Relu函數;還有一種是輸入多個變量輸出多個變量,如Softmax函數,Maxout函數。
對于二分類問題,在輸出層可以選擇 sigmoid 函數。
對于多分類問題,在輸出層可以選擇 softmax 函數。
由于梯度消失問題,盡量sigmoid函數和tanh的使用。
tanh函數由于以0為中心,通常性能會比sigmoid函數好。
ReLU函數是一個通用的函數,一般在隱藏層都可以考慮使用。
有時候要適當對現有的激活函數稍作修改,以及考慮使用新發現的激活函數。
說了很多概念,搞個demo 看看,下面是一個最簡單的線性回歸的模型。
環境的安裝在文章的開頭。
import torch as timport torch.nn as nnimport torch.optim as optimimport matplotlib.pyplot as pltimport numpy as np# 學習率,也就是每次參數的移動的大小lr = 0.01# 訓練數據集的次數num_epochs = 100# 輸入參數的個數in_size = 1#輸出參數的個數out_size = 1# x 數據集x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168], [9.779], [6.182], [7.59], [2.167], [7.042], [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)# y 對應的真實值y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573], [3.366], [2.596], [2.53], [1.221], [2.827], [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)# 線性回歸網絡class LinerRegression(nn.Module): def __init__(self, in_size, out_size): super(LinerRegression, self).__init__() self.fc1 = nn.Linear(in_size, out_size) def forward(self, x): y_hat = self.fc1(x) return y_hatmodel = LinerRegression(in_size, out_size)# 損失函數lossFunc = nn.MSELoss()# 優化器optimizer = optim.SGD(model.parameters(), lr=lr)# 對數據集訓練的循環次數for epoch in range(num_epochs): x = t.from_numpy(x_train) y = t.from_numpy(y_train) y_hat = model(x) loss = lossFunc(y_hat, y) # 導數歸零 optimizer.zero_grad() # 反向傳播,也就是修正參數,將參數往正確的方向修改 loss.backward() optimizer.step() print("[{}/{}] loss:{:.4f}".format(epoch+1, num_epochs, loss))# 畫圖看下最終的模型擬合的怎么樣y_pred = model(t.from_numpy(x_train)).detach().numpy()plt.plot(x_train, y_train, "ro", label="Original Data")plt.plot(x_train, y_pred, "b-", label="Fitted Line")plt.legend()plt.show()
上面是最簡單的一個線性回歸的神經網絡,沒有隱藏層,沒有激活函數。
運行很快,因為參數很少,運行的最終結果可以看下,最終達到了我們的結果,你可以試著調整一些參數
今天寫了很多的概念,不需要全部掌握,先混個臉熟,先有個全局觀,慢慢的認識即可,里面的公式很多,不需要看懂,be easy.
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/118775.html
摘要:目前來看等語言還難以企及和。作為一個資深的開發者,在技術上給各位程序十點未來的建議,希望對大家有所幫助。開發者應當學習掌握規范,在開發程序時應當盡量遵循規范。程序員除了寫后臺程序之外,還有很大一部分工作在展現層,和瀏覽器前端打交道。 PHP 從誕生到現在已經有20多年歷史,從Web時代興起到移動互聯網退潮,互聯網領域各種編程語言和技術層出不窮, Node.js 、 GO 、 Pytho...
摘要:網易跨境電商考拉海購在線筆試現場技術面面。如何看待校招面試招聘,對公司而言,是尋找勞動力對員工而言,是尋找未來的同事。 如何準備校招技術面試 標簽 : 面試 [TOC] 2017 年互聯網校招已近尾聲,作為一個非 CS 專業的應屆生,零 ACM 經驗、零期刊論文發表,我通過自己的努力和準備,從找實習到校招一路運氣不錯,面試全部通過,謹以此文記錄我的校招感悟。 寫在前面 寫作動機 ...
摘要:幸運的是,這些正是深度學習所需的計算類型。幾乎可以肯定,英偉達是目前執行深度學習任務較好的選擇。今年夏天,發布了平臺提供深度學習支持。該工具適用于主流深度學習庫如和。因為的簡潔和強大的軟件包擴展體系,它目前是深度學習中最常見的語言。 深度學習初學者經常會問到這些問題:開發深度學習系統,我們需要什么樣的計算機?為什么絕大多數人會推薦英偉達 GPU?對于初學者而言哪種深度學習框架是較好的?如何將...
閱讀 2734·2021-09-02 15:11
閱讀 905·2019-08-26 18:18
閱讀 1867·2019-08-26 11:57
閱讀 3317·2019-08-23 16:59
閱讀 1993·2019-08-23 16:51
閱讀 2305·2019-08-23 16:11
閱讀 3120·2019-08-23 14:58
閱讀 1106·2019-08-23 11:34