摘要：由于近期學(xué)業(yè)繁重，所以我就不說廢話了，直接上代碼運(yùn)行結(jié)果代碼使用二元切分法每次將數(shù)據(jù)集切成兩份如果數(shù)據(jù)的某特征值等于切分所要求的值，那么這些數(shù)據(jù)就進(jìn)入樹的左子樹，反之則進(jìn)入右子樹將每行映射成浮點(diǎn)數(shù)將文件中的所有數(shù)據(jù)都保存在同一個矩陣中參數(shù)數(shù)

由于近期學(xué)業(yè)繁重QAQ，所以我就不說廢話了，直接上代碼~

from numpy import *
#使用二元切分法——每次將數(shù)據(jù)集切成兩份
#如果數(shù)據(jù)的某特征值等于切分所要求的值，
#那么這些數(shù)據(jù)就進(jìn)入樹的左子樹，反之則
# 進(jìn)入右子樹
def loadDataSet(fileName):
    dataMat=[]
    fr=open(fileName)
    for line in fr.readlines():
        curLine=line.strip().split("	")
        #將每行映射成浮點(diǎn)數(shù)
        fltLine=list(map(float,curLine))
        dataMat.append(fltLine)
    #將文件中的所有數(shù)據(jù)都保存在同一個矩陣中
    return dataMat


#參數(shù)：數(shù)據(jù)集，待切分的特征，該特征的某個值
def binSplitDataSet(dataSet,feature,value):
    #將數(shù)據(jù)集合切分得到兩個子集并返回
    mat0 = dataSet[nonzero(dataSet[:,feature] > value)[0],:]
    mat1 = dataSet[nonzero(dataSet[:,feature] <= value)[0],:]

    return mat0,mat1

#建立葉結(jié)點(diǎn)的函數(shù)
#當(dāng)chooseBestSplit函數(shù)決定不再對數(shù)據(jù)集進(jìn)行切分時，將調(diào)用該regLeaf函數(shù)
#來得到葉節(jié)點(diǎn)的模型。在回歸樹種，該模型其實(shí)就是目標(biāo)變量的均值
def regLeaf(dataSet):
    return mean(dataSet[:,-1])

#計算誤差的函數(shù)——這里計算的是總方差
def regErr(dataSet):
    #均方差函數(shù)var*數(shù)據(jù)集中樣本的個數(shù)=總方差
    return var(dataSet[:,-1]) * shape(dataSet)[0]

#給定某個誤差計算方法，該函數(shù)會找到數(shù)據(jù)集上最佳的二元切割方式
#（他遍歷所有的特征及可能的取值來找到使誤差最小化的切分閾值）
#另外，該函數(shù)還要確定什么時候停止切分，一旦停止切分就會生成一個葉節(jié)點(diǎn)
#errType為平方誤差的總值（總方差）
def chooseBestSplit(dataSet, leafType=regLeaf, errType=regErr, ops=(1,4)):
    #用戶指定的參數(shù)，用于控制函數(shù)停止時機(jī)
    #tolS為誤差下降值，tolN為切分的最少樣本數(shù)
    tolS = ops[0]; tolN = ops[1]
    #如果所有值相等則退出
    if len(set(dataSet[:,-1].T.tolist()[0])) == 1:
        #找不到一個“好”的二元切分，返回None并同時調(diào)用leafType來生成葉節(jié)點(diǎn)
        return None, leafType(dataSet)
    m,n = shape(dataSet)
    S = errType(dataSet)
    bestS = inf; bestIndex = 0; bestValue = 0
    for featIndex in range(n-1):
        for splitVal in set((dataSet[:,featIndex].T.A.tolist())[0]): 
            mat0, mat1 = binSplitDataSet(dataSet, featIndex, splitVal)
            if (shape(mat0)[0] < tolN) or (shape(mat1)[0] < tolN): continue
            newS = errType(mat0) + errType(mat1)
            if newS < bestS: 
                bestIndex = featIndex
                bestValue = splitVal
                bestS = newS
    #如果誤差減少不大則退出
    if (S - bestS) < tolS: 
        return None, leafType(dataSet) 
    mat0, mat1 = binSplitDataSet(dataSet, bestIndex, bestValue)
    #如果切分出的數(shù)據(jù)集很小則退出
    if (shape(mat0)[0] < tolN) or (shape(mat1)[0] < tolN): 
        return None, leafType(dataSet)
    #找到了一個“好”的切分方式，返回特征編號和切分特征值
    #找到了最佳的切分方式：切分后能達(dá)到最低誤差的切分
    return bestIndex,bestValue


#構(gòu)建樹的函數(shù)
#dataSet為數(shù)據(jù)集
#leafType為建立葉結(jié)點(diǎn)的函數(shù)，errType為誤差計算函數(shù)
#ops是一個包含書構(gòu)建所需其他參數(shù)的元組
def createTree(dataSet, leafType=regLeaf, errType=regErr, ops=(1,4)):
    #chooseBestSplit為切分函數(shù)
    #若滿足停止條件chooseBestSplit將返回None和某類模型的值
    #如果構(gòu)建的是回歸樹，該模型是一個常數(shù)，如果是模型樹，其
    #模型是一個線性方程(回歸樹假設(shè)葉節(jié)點(diǎn)是常數(shù)值)
    #若不滿足停止條件，chooseBestSplit將創(chuàng)建一個新的python
    #字典，并將數(shù)據(jù)集分成兩份，在這兩份數(shù)據(jù)集上分別繼續(xù)遞歸調(diào)
    #用createTree函數(shù)
    feat,val=chooseBestSplit(dataSet,leafType,errType,ops)
    #滿足停止條件時返回葉節(jié)點(diǎn)
    if feat==None:
        return val
    retTree={}
    retTree["spInd"]=feat
    retTree["spVal"]=val
    #將數(shù)據(jù)集按照待分特征和該特征的某個值進(jìn)行二分操作
    lSet,rSet=binSplitDataSet(dataSet,feat,val)
    #創(chuàng)建左右子樹
    retTree["left"]=createTree(lSet,leafType,errType,ops)
    retTree["right"]=createTree(rSet,leafType,errType,ops)
    return retTree


def drawFigure1():
    # import matplotlib.pyplot as plt 
    # myDat=loadDataSet("ex00.txt") 
    # myMat=mat(myDat) 
    # createTree(myMat) 
    # plt.plot(myMat[:,0],myMat[:,1],"ro") 
    # plt.show()
    import matplotlib.pyplot as plt 
    myDat=loadDataSet("ex0.txt") 
    myMat=mat(myDat) 
    createTree(myMat) 
    plt.plot(myMat[:,1],myMat[:,2],"ro") 
    plt.show()



def main():
    drawFigure1()
    # myDat=loadDataSet("ex00.txt")
    # myMat=mat(myDat)
    # myTree=createTree(myMat)
    # print(myTree)


    #建立一個主對角線元素全為1的矩陣
    #testMat=mat(eye(4))
    #print(testMat)
    #要分割的特征位于第一列
    #按照0.5去劃分
    #mat0,mat1=binSplitDataSet(testMat,0,0.5)
    # print(mat0)
    # print(mat1)

if __name__=="__main__":
    main()```


  [1]: /img/bVbqGCZ