【DL-CV】線性分類器

ISherry 發布于2019-07-30 17:23 / 1001人閱讀

摘要：每傳遞一層，就相當于執行一次線性分類器和激活函數，其輸出可作為下一個線性分類器的輸入繼續往下傳遞。像這樣多個線性分類器疊加起來，那種網絡結構就成型了。

【DL-CV】計算機視覺前置了解<前篇---后篇>【DL-CV】損失函數，SVM損失與交叉熵損失

神經網絡的變種很多，各種模型滿天飛，但是相信大家見得最多的是這種

這是多層感知器（multilayer perceptron/MLP），不加特效的最原始的神經網絡，經典中的經典。（如無特別注釋，神經網絡通常指經典的mlp神經網絡）。在接觸其他熱門變種如卷積神經網絡前，我們會好好和MLP這位小朋友玩，了解他的特性，調教教導他，這樣遇到其他小朋友才會有法可教，最終征服所有孩子成為孩子王啦。
然而要搞好MLP也是一個漫長的過程，作為第一步，首先來了解線性分類器，并看看它是如何解決圖像分類問題的

線性分類器

現在有輸入的圖像數組x，以及一堆參數W和b，如何組合它們將圖像的像素值映射為各個分類類別的得分？最簡單的方式就是乘起來求和（線性組合），這就是一個線性分類器。該方法可以地延伸到神經網絡和卷積神經網絡上

其形式就是一個函數 $$f(x,W,b) = {W*x+b}$$這里的x是圖像數據/特征值展開成的列向量；W是參數矩陣，稱其為權重（weights）；b叫偏置值（bias），與W*x形狀相同。
但更多時候我們會把W與b合并在一起,然后給x增加一維并用1填充這一維，變成 $f(x,W_{new}) = {W_{new}*x}$ 的形式，這種變換是等價的

注：除了W*x外，x*W也是可以的，取決于x是列向量還是行向量。

理解線性分類器

將每行W和b看做一個模板：假設我們把函數直接用于評分

如圖，每種顏色都是服務于某個的類評分的，相當于W和b的每一行都是一個小的分類器/模板。上圖的結果很不理想（貓被硬說成是狗），當然后面會有方法實現學習功能讓其通過訓練集自學到更好的W和b，使得計算出來的類別分值情況和訓練集中圖像數據的真實類別標簽相符。在這你可以暫時忽略這些問題只關注函數本身原理。

將圖像看做高維度的點：既然圖像被伸展成為了一個高維度的列向量，那么我們可以把圖像看做這個高維度空間中的一個點。整個數據集就是一個點的集合，每個點都帶有1個分類標簽。W和b的作用就相當于在這個空間中劃線分開這些點，W相當于斜率（使線旋轉），b相當于截距（使線平移）

以紅色的汽車分類器為例，紅線表示空間中汽車分類分數為0的點的集合，紅色的箭頭表示分值上升的方向。所有紅線右邊的點的分數值均為正，且線性升高。紅線左邊的點分值為負，且線性降低。

和網絡的關系

函數我都懂，但這和本文開始的那張圖有什么關系？
答案就在藏在矩陣乘法，矩陣的乘法形成了網狀結構。每條連線對應權重的一個值，傳遞時進行乘法操作；所以上層所有的神經元（儲存特征值或輸入的單元）與下層一個神經元的連線對應一行權重，傳遞時進行線性組合后加上偏置值，得到的結果還要通過激活函數（后面再講）最終的到特征值。每傳遞一層，就相當于執行一次線性分類器和激活函數，其輸出可作為下一個線性分類器的輸入繼續往下傳遞。像這樣多個線性分類器疊加起來，那種網絡結構就成型了。

另外補充一下：實際上我們不會/很少用單層神經網絡，使用一個線性分類器就實現對圖像分類的評分是不現實的，因為這樣提取的特征信息太淺了，往往因為顏色或形狀相近就會被歸為同類。正確做法應該是使用多層網絡，對淺層特征進行再組合獲得深層特征，最后才根據深層特征值來評分

云服務器 GPU云服務器分類器svm 機器學習分類器分類器 python 圖像識別分類器訓練

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42200.html

【DL-CV】線性分類器

摘要：每傳遞一層，就相當于執行一次線性分類器和激活函數，其輸出可作為下一個線性分類器的輸入繼續往下傳遞。像這樣多個線性分類器疊加起來，那種網絡結構就成型了。【DL-CV】計算機視覺前置了解【DL-CV】損失函數，SVM損失與交叉熵損失神經網絡的變種很多，各種模型滿天飛，但是相信大家見得最多的是這種showImg(https://segmentfault.com/img/bVbeWOO?w...

Muninn 2019-06-26 18:31 評論0 收藏0
【DL-CV】激活函數及其選擇

摘要：為什么呢本文將對這一問題進行解疑并介紹多種多種激活函數。激活函數就是用來引入這個非線性因素的，下面介紹幾種常見的激活函數及其優缺點正負號表示。如果想了解更多可上網搜激活函數選擇在同一個模型中，激活函數不會混搭使用，選定一個就用一個。【DL-CV】反向傳播，（隨機）梯度下降【DL-CV】神經網絡的補充在介紹線性分類器的時候，提到了激活函數，還提到線性分類器的輸出要經過激活函數才能作為...

jokester 2019-06-26 18:31 評論0 收藏0