amazon access代碼分析和記錄

nanchen2251 發布于2019-07-24 18:24 / 635人閱讀

摘要：這是一個項目的冠軍代碼看起來還是比較麻煩，這里記錄一下這個冠軍代碼的一些處理方法這部分使用了集成學習的方法主要使用了這三種學習方法每一種學習方法大概使用了四五次，也就是對數據集也進行了各種處理上面左邊是算法名字，右邊的是數據集代號左邊的分類

這是一個kaggle項目的冠軍代碼
看起來還是比較麻煩，這里記錄一下這個冠軍代碼的一些處理方法
這部分使用了集成學習的方法
主要使用了LR、RF、GB這三種學習方法
每一種學習方法大概使用了四五次，也就是對數據集也進行了各種處理

"LR:tuples_sf",
"LR:greedy_sfl",
"LR:greedy2_sfl",
"LR:greedy3_sf",
"RFC:basic_b",
"RFC:tuples_f",
"RFC:tuples_fd",
"RFC:greedy_f",
"RFC:greedy2_f",
"GBC:basic_f",
"GBC:tuples_f",
"LR:greedy_sbl",
"GBC:greedy_c",
"GBC:tuples_cf"
上面左邊是算法名字，右邊的是數據集代號

左邊的分類方法比較好理解，不過右邊的不好理解
這里記錄一下右邊是如何處理數據的

數據的情況：
共有十列：
      ACTION                      是否有權限
      RESOURCE                    資源id
      MGR_ID                      經理id
      ROLE_ROLLUP_1               
      ROLE_ROLLUP_2
      ROLE_DEPTNAME
      ROLE_TITLE
      ROLE_FAMILY_DESC
      ROLE_FAMILY
      ROLE_CODE
bsfeats:
   去掉ROLE_CODE和ACTION這兩列
   X_all["ROLE_TITLE"] = X_all["ROLE_TITLE"] + (1000 * X_all["ROLE_FAMILY"])
   X_all["ROLE_ROLLUPS"] = X_all["ROLE_ROLLUP_1"] + (10000 * X_all["ROLE_ROLLUP_2"])
   X_all = X_all.drop(["ROLE_ROLLUP_1", "ROLE_ROLLUP_2", "ROLE_FAMILY"],axis=1)
   到現在就剩下六列：
       RESOURCE,MGR_ID,ROLE_DEPTNAME,ROLE_TITLE,ROLE_FAMILY_DESC,ROLE_ROLLUPS
   對每一列添加cnt列：
       此步驟是為了對前六列做處理，生成新的六列，過程如下
          對每列進行分組，然后把組數的log值填充到相應的位置
   再添加Duse列：
       還是先按列各自進行分組，然后再按照resource分組
       用每組RESOURCE的個數除以總個數
   添加mdept列：
       主要是添加相同經理的個數，按照經理先對數據進行分組
       填充該經理組中資源的種類數
   處理完后把前六列的數據刪除
greedy:
   這個處理過程就比較重量級了，由于數據都是類別型的，所以都使用了編碼
   首先把特征中的ACTION和ROLE_CODE兩個特征去掉
   然后讓剩下的特征兩兩組合
   這樣就生成了很多新的特征，每一列的值用組合數據的hash值填充
   下一步要給所有的特征做onehot編碼
   然后要選取比較好的feature選擇過程是使用auc的得分來算
       使用n-cv的方式，對選取的特征使用logisticReg的方法來判斷auc計算得分
       最終獲取得分高的幾個特征
       基本思想就是這樣

GPU云服務器云服務器 access代碼 access日志分析 access數據分析 asp和access

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/37729.html

記錄一次AWS架構面試內容

摘要：最近參加了一次架構師的面試，吐槽一下整個面試時間相當的長，幾乎經歷了半年左右，但是我也是抱著學習偉大的云產品的態度所以在整個過程中學到不少的云產品的功能設計等知識，所以說還是相當有益處的。最近參加了一次AWS 架構師的面試，吐槽一下整個面試時間相當的長，幾乎經歷了半年左右，但是我也是抱著學習偉大的AWS云產品的態度所以在整個過程中學到不少的云產品的功能、設計等知識，所以說還是相當有益...

bergwhite 2019-08-16 17:28 評論0 收藏0
為 Amazon EKS 配置 kubectl

摘要：最近重新給配置，記錄下配置過程。配置安裝需要滿足，安裝可以參考下安裝安裝參數會更新安裝中所有依賴，會安裝到用戶目錄下，而不會更改系統庫。最近重新給aws eks配置kubectl，記錄下配置過程。首先需要配置awscli，其次就是配置kubectl的config了。配置awscli 安裝awscli需要滿足Python 2 version 2.6.5+ or Python 3 v...

Michael_Lin 2019-07-01 16:55 評論0 收藏0
Amazon DynamoDB 入門1：配置（本地）及python示例

摘要：使用配置注冊并創建訪問密鑰創建憑證文件開啟服務在計算機上運行除了服務之外，還提供可本地運行的可下載版本的。設置此參數有助于更逼真地模擬服務的行為。目前，此參數僅為處于或狀態的引入延遲。原文鏈接安裝及配置什么是 Amazon DynamoDB Amazon DynamoDB 是一種完全托管的 NoSQL 數據庫服務，提供快速而可預測的性能，能夠實現無縫擴展。使用 DynamoDB，您可...

ddongjian0000 2019-07-25 11:20 評論0 收藏0