sklearn中的gbdt源碼分析

hiYoHoo 發布于2019-07-25 10:35 / 1821人閱讀

摘要：簡單看了一下中的源碼在這里記錄一下，目前來說還不能把的所有理論都搞清楚有兩個類似于的實現一個用于分類，另一個用于回歸這兩個類其實區別只在于上，下面是類繼承關系繼承了繼承了和的區別使用的是準確率來計算誤差而回歸的是使用來計算誤差實際上這兩個模

簡單看了一下sklearn中的gbdt源碼
在這里記錄一下，目前來說還不能把gbdt的所有理論都搞清楚
sklearn有兩個類似于gbdt的實現

GradientBoostingClassifier
GradientBoostingRegressor

一個用于分類，另一個用于回歸
這兩個類其實區別只在于mixin上，下面是類繼承關系

GradientBoostingRegressor繼承了
    BaseGradientBoosting
    RegressorMixin
GradientBoostingClassifier繼承了
    BaseGradientBoosting
    ClassifierMixin
ClassifierMixin和RgressorMixin的區別：
    classifierMixin使用的是準確率來計算誤差
    而回歸的是使用r_square來計算誤差
實際上這兩個模型的差距是很小的，就是計算一下擬合度

然后是整個訓練的過程
訓練的過程會先設置一些參數
設置n_estimators是要訓練的分類器數據
如果損失函數是loss的話，那么就比較簡單了
每次訓練弱分類器都會根據上一次的結果來
上次生成的y - y_pred會作為新的y傳進去
這樣來訓練直到n_estimators足夠

不過在predict結果的時候有點看不懂代碼
后面看了再補充

GPU云服務器云服務器 GBDT Sklearn webrtc 源碼中的demo sklearn圖像識別

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/38049.html

【學習摘錄】機器學習特征選擇

摘要：應用過機器學習進行數據挖掘的同學應該都知道特征選擇對模型表現的重要性。本文基于網上經典特征選擇相關文章整理出干貨常用方法分類以及調包俠該如何用快速上手，供大家參考。應用過機器學習進行數據挖掘的同學應該都知道特征選擇對模型表現的重要性。本文基于網上經典特征選擇相關文章整理出干貨：常用方法分類以及調包俠該如何用sklearn快速上手，供大家參考。（一）預處理： 1 無量綱化： 1.1 ...

lyning 2019-07-25 11:36 評論0 收藏0
sklearn做交叉驗證

摘要：交叉驗證是經常用到的驗證方法使用可以很大程度上簡化交叉驗證的過程使用過程見下方這里以模型為例訓練集標簽交叉驗證的倍數返回結果的類型，可以自定義，也有很多默認選項例如就是返回準確率都是可以的這就是簡單的用法，只有比較復雜，其他都比較簡單交叉驗證是經常用到的驗證方法使用sklearn可以很大程度上簡化交叉驗證的過程使用過程見下方： from sklearn import cross_va...

KitorinZero 2019-07-25 10:22 評論0 收藏0
?openGauss數據庫源碼解析系列文章—— DeepSQL?

???大家好，我是Gauss松鼠會，歡迎進來學習啦~??? 上一篇介紹了 8.6 AI查詢時間預測的相關內容，本篇我們介紹8.7 DeepSQL、8.8 小結的相關精彩內容介紹。 8.7 DeepSQL 前面提到的功能均為AI4DB領域，AI與數據庫結合還有另外一個大方向，即DB4AI。在本章中，我們將介紹openGauss的DB4AI能力，探索通過數據庫來高效驅動AI任務的新途徑。使用場景 ...

Atom 2021-09-29 09:35 評論0 收藏0
第7期 Datawhale 組隊學習計劃

馬上就要開始啦這次共組織15個組隊學習涵蓋了AI領域從理論知識到動手實踐的內容按照下面給出的最完備學習路線分類難度系數分為低、中、高三檔可以按照需要參加 - 學習路線 - showImg(https://segmentfault.com/img/remote/1460000019082128); showImg(https://segmentfault.com/img/remote/...

dinfer 2019-06-26 18:55 評論0 收藏0