Day 1_Data PreProcessing

Kylin_Mountain 發布于2019-07-30 17:34 / 2297人閱讀

Data PreProcessing

As shown in the infograph we will break down data preprocessing in 6 essential steps.
Get the dataset from here that is used in this example

Step 1: Importing the libraries

import numpy as np
import pandas as pd

Step 2: Importing dataset

dataset = pd.read_csv("Data.csv")
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 3].values

Step 3: Handling the missing data

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
imputer = imputer.fit(X[ : , 1:3])
X[ : , 1:3] = imputer.transform(X[ : , 1:3])

Step 4: Encoding categorical data

from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])

Creating a dummy variable

onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()
labelencoder_Y = LabelEncoder()
Y =  labelencoder_Y.fit_transform(Y)

Step 5: Splitting the datasets into training sets and Test sets

from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)

Step 6: Feature Scaling

from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)

Done

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42285.html

聚類分析——Kmeans

摘要：導入數據預處理計算值從到對應的平均畸變程度用求解距離平均畸變程度用肘部法則來確定最佳的值建模導入數據 cus_general = customer[[wm_poi_id,city_type,pre_book,aor_type,is_selfpick_poi,is_selfpick_trade_poi]] cus_ord = customer[[wm_poi_id,month_orig...

Scholer 2019-07-31 11:04 評論0 收藏0
100天搞定機器學習|Day1數據預處理

摘要：導入庫導入數據集這一步的目的是將自變量和因變量拆成一個矩陣和一個向量。數據預處理是機器學習中最基礎也最麻煩的一部分內容在我們把精力撲倒各種算法的推導之前，最應該做的就是把數據預處理先搞定在之后的每個算法實現和案例練手過程中，這一步都必不可少同學們也不要嫌麻煩，動起手來吧基礎比較好的同學也可以溫故知新，再練習一下哈閑言少敘，下面我們六步完成數據預處理其實我感覺這里少了一步：觀察數據...

xeblog 2019-07-31 11:30 評論0 收藏0
機器學習之數據歸一化

摘要：機器學習中，數據歸一化是非常重要，如果不進行數據歸一化，可能會導致模型壞掉或者訓練出一個奇怪的模型。解決方法就是將是數據映射到同一尺度，這就是數據歸一化。數據歸一化的兩個常用方式為最值歸一化和均值方差歸一化。機器學習中，數據歸一化是非常重要，如果不進行數據歸一化，可能會導致模型壞掉或者訓練出一個奇怪的模型。為什么要進行數據歸一化現在有一個訓練數據集，包含兩個樣本，內容如下： ...

W4n9Hu1 2019-07-31 11:15 評論0 收藏0