国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

機器學習項目之實現垃圾郵件處理(1)——數據清洗

fantix / 1847人閱讀

摘要:學習了支持向量機算法后想自己用一些數據集來嘗試一下,在網絡上找了一個垃圾郵件處理的數據集正好適用于支持向量算法,所以在這里不講算法內容,而是分享我是如何用來實現的。

學習了支持向量機算法后(SVM)想自己用一些數據集來嘗試一下,在網絡上找了一個垃圾郵件處理的數據集正好適用于SVM支持向量算法,所以在這里不講SVM算法內容,而是分享我是如何用Python來實現的。
具體數據集:[郵件數據集][1]
[1]: https://pan.baidu.com/s/1ivQmo-04fCa3qVG0SAiUtQ
1. 首先查看數據集

郵件中有很多中特征值,有些是有用的有些卻無法幫助我們判斷是否是垃圾郵件,所以這里我們選取其中4個特征值(From,To,Data,Content)。
(1、郵件的內容分析——主要包含:發件人、收件人、發件時間以及郵件的內容)
![分類][3]
(2、是否為垃圾郵件的標簽,spam——是垃圾郵件;ham——不是垃圾郵件)
2. 分析數據集
分析:垃圾郵件處理問題是一個**監督學習**,僅用來分類郵件好壞固為**二分類**問題,分類內容為**長文本**。
所有非向量形式的特征工程,首先要轉換成向量的形式
該數據集適合很多種模型(貝葉斯,KNN),在這里我用SVM來解決
3. 開始進行數據清洗的工作

引入模塊常用功能

import os

索引文件(分類標簽)讀取,該文件中分為兩列
第一列:分類標簽是否為垃圾郵件(是:spam、否:ham);
第二列:存放郵件對應文件夾路徑,兩列之間通過空格分割

def read_index_file(file_path):
    type_dict={"spam":"1","ham":"0"}        #用字典存放分類的垃圾郵件(0/1)
    index_file=open(file_path)
    index_dict={}        #存儲分類后得到的結構字典
    
    try:
        for line in index_file:        #按照行來讀取
            arr=line.split(" ")        #從每行的第一個空格分開
            
            if len(arr) == 2:
                key,value = arr        #將key和value分別賦值前后兩段
            #將value中的數據規整,將../data去掉
            value=value.replace("../data","").replace("
","")
            #將每一個值是1/0對應加入數據字典中
            index_dict[value]=type_dict[key.lower()]        #將spam/ham中可能出現的大寫字母換成小寫
    finally:
        index_file.close()
    return index_dict   

郵件的文件內容數據讀取

def read_file(file_path):
    #打開郵件只讀r,編碼方式gb2312,錯誤忽略
    file=open(file_path,"r",encoding="gb2312",errors="ignore")
    content_dict={}
    
    try:
        is_content = False
        for line in file:        #按行讀取
            line = line.strip()        #去掉每行的空格
            if line.startswith("From:"):
                #將From:后的內容加入數據字典,將key="from:",value=line[5:]5以后的內容
                content_dict["from:"]=line[5:]
            elif line.startswith("To:"):
                content_dict["to:"]=line[3:]
            elif line.startswith("Date:"):
                content_dict["date:"]=line[5:]
            elif not line:
                # 郵件內容與上面信息存在著第一個空行,遇到空行時,這里標記為True以便進行下面的郵件內容處理
                # line文件的行為空時是False,不為空時是True
                is_content = True
            #如果這一行是空行表明下一行開始是具體的內容(content),則開始處理郵件
            if is_content:
                if "content" in content_dict:
                    #如果這一行有內容則加入字典
                    content_dict["content"] += line
                else:
                    #如果這一行沒有內容則不加入,繼續下一行
                    content_dict["content"] = line
    finally:
        file.close()
 
    return content_dict

3、郵件數據處理(內容的拼接,并用逗號進行分割)

def process_file(file_path):
    content_dict = read_file(file_path)
    
    #進行處理(拼接),get()函數返回指定鍵的值,指定鍵的值不存在用指定的默認值unkown代替
    #2,是將需要是數據特征取出來放在鍵值對中保存,3,則是將所有的特征值合并成,進行拼接
    result_str = content_dict.get("from","unkown").replace(",","").strip()+","
    result_str += content_dict.get("to:","unkown").replace(",","").strip()+","
    result_str += content_dict.get("date:","unkown").replace(",","").strip()+","
    result_str += content_dict.get("content","unkown").replace(",","").strip()
    return result_str

4、開始進行數據處理——函數調用

## os.listdir    返回指定的文件夾包含的文件或文件夾包含的名稱列表
index_dict = read_index_file("../data/full/index")        #調用第一個函數
list0 = os.listdir("../data/data")
#開始打印list0
for l1 in list0:        #循環000-299
    l1_path = "../data/data/" + l1         #l1_path   ../data/data/(215)
    print("開始處理文件夾:"+l1_path)
    list1 = os.listdir(l1_path)        #list1:["000", "001", "002", "003"...."299"]
    #將list1打印出來
    write_file_path = "../data/process01_" + l1        #用這個來存放
    with open(write_file_path,"w",encoding="utf-8") as writer:
        for l2 in list1:        #l2循環000-299
            l2_path = l1_path + "/" + l2        #l2_path = ../data/data/(000-215)/(000-299)
            #這就得到了具體的文件內容,然后進行文件數據的讀取
            index_key = "/" + l1 + "/" + l2        #index_key = /(000-215)/(000-299)
            
            if index_key in index_dict:
                #讀取數據
                content_str = process_file(l2_path)        #3的函數,用來拼接數據元素,及特征值的合并
                #添加分類標簽(0/1),可用逗號隔開
                content_str += "," + index_dict[index_key] + "
"
                #進行數據的輸出
                writer.writelines(content_str)

將所有構建好的內容進行合并

with open("../data/result_process01","w",encoding="utf-8") as writer:
    #將所有內容合并到result_process01中
    for l1 in list0:
        file_path = "../data/process01_" + l1
        print("開始合并文件:" + file_path)
        
        with open(file_path, encoding="utf-8") as file:
            for line in file:
                writer.writelines(line)

清洗結果

到這一步數據的清洗就完成了,所有我們需要的特征值都被整合到了一起,并且為郵件做了加上了是否為垃圾郵件的標記。

推薦使用jupyter,注意文件的路徑問題,特征工程和后面的分類會在下一篇。

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/44016.html

相關文章

  • 成為數據科學家的入門項目

    摘要:基于大量的數據統計,網球是一種很好的預測類體育項目。數據科學家根據歷史數據和玩家信息來構建預測模型,并將結果與博彩公司的評估進行比較。目標是找出機器學習模型與博彩公司評估之間的差距,從而有機會獲勝。這是一個很好的實際數據科學項目。 作者:chen_h微信號 & QQ:862251340微信公眾號:coderpai簡書地址:https://www.jianshu.com/p/56c......

    Julylovin 評論0 收藏0
  • 機器學習項目:構建垃圾郵件分類

    摘要:幾乎所有大型電子郵箱服務提供商都內置了垃圾郵件檢測系統,能夠自動將此類郵件分類為垃圾郵件。大多數機器學習算法都要求傳入的輸入是數字數據,而電子郵件信息通常都是文本。 我們的任務 垃圾郵件檢測是機器學習在現今互聯網領域的主要應用之一。幾乎所有大型電子郵箱服務提供商都內置了垃圾郵件檢測系統,能夠自動將此類郵件分類為垃圾郵件。 在此項目中,我們將使用樸素貝葉斯算法創建一個模型,該模型會通過...

    xcc3641 評論0 收藏0

發表評論

0條評論

fantix

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<