資訊專欄INFORMATION COLUMN
摘要：項(xiàng)目的主要運(yùn)行部分，采集器驗(yàn)證器打分檢測(cè)等功能實(shí)現(xiàn)的模塊。在中可以配置異步的并發(fā)量等來控制驗(yàn)證器。調(diào)用有了穩(wěn)定的高分代理數(shù)據(jù)，那么就可以掛起一個(gè)為我們的爬蟲保駕護(hù)航，這一部分可以多帶帶拿出來編寫，使用其他框架之類的都是不錯(cuò)的選擇。
FooProxy
穩(wěn)健高效的評(píng)分制 IP代理池 + API服務(wù)提供，可以自己插入采集器進(jìn)行代理IP的爬取，支持 MongoDB 4.0 使用 Python3.7
github 地址: FooProxy背景
因?yàn)槠綍r(shí)爬取某些網(wǎng)站數(shù)據(jù)時(shí)，經(jīng)常被封IP，同時(shí)網(wǎng)上很多的接口又不方便，免費(fèi)的也少，穩(wěn)定的更少，所以自己寫了一個(gè)評(píng)分制的ip代理API進(jìn)行爬蟲的供給.
起初對(duì)MySQL和MongoDB進(jìn)行了兼容的編寫，后來發(fā)現(xiàn)在高并發(fā)的情況下，MySQL并不能很好的讀寫數(shù)據(jù)，經(jīng)常莫名其妙的出現(xiàn)死機(jī)、讀寫巨慢、緩執(zhí)行等各種奇葩現(xiàn)象，對(duì)比MongoDB高效的數(shù)據(jù)文檔讀寫，最終還是放棄了mysql的兼容。(dev分支保留了對(duì)mysql的部分支持，如爬取評(píng)分)
開發(fā)環(huán)境
PyCharm 2018.2.4 (Professional Edition)
Python 3.7
MongoDB 4.0
Windows 7 64bits
需安裝的庫(kù)
pymongo
aiohttp
flask
requests
bs4
lxml
項(xiàng)目目錄基本流程APIserver
一個(gè)簡(jiǎn)單的代理API接口服務(wù)器，使用Flask實(shí)現(xiàn)，可以自己按需求寫路由邏輯。這部分當(dāng)然可以獨(dú)立出來寫，只是集成寫在了項(xiàng)目里面。
components
項(xiàng)目的主要運(yùn)行部分，采集器、驗(yàn)證器、打分檢測(cè)等功能實(shí)現(xiàn)的模塊。
config
其中的DBsettings是數(shù)據(jù)庫(kù)的設(shè)置，用戶名密碼之類的，以及存儲(chǔ)的數(shù)據(jù)庫(kù)名，還有備用有效數(shù)據(jù)庫(kù)(standby)的自定義名字和高分穩(wěn)定數(shù)據(jù)庫(kù)(stable)的自定義名字。config文件是整個(gè)項(xiàng)目的主要參數(shù)配置，可以設(shè)置采集器采集間隔、驗(yàn)證器的抓取驗(yàn)證數(shù)量間隔和協(xié)程并發(fā)極值等。
const
項(xiàng)目的靜態(tài)配置，一般不用動(dòng)的設(shè)置參數(shù)
custom
自定義模塊，可以編寫自己要增加的爬蟲采集函數(shù)到采集器中進(jìn)行數(shù)據(jù)采集
log
項(xiàng)目日志記錄模塊配置以及日志
tools
一些工具函數(shù)
main.py
項(xiàng)目入口文件
整個(gè)項(xiàng)目的流程其實(shí)很簡(jiǎn)單，采集數(shù)據(jù)模塊主要是編寫代理網(wǎng)站的爬蟲，可以進(jìn)行任意的爬蟲增減
采集數(shù)據(jù)
驗(yàn)證數(shù)據(jù)
打分存儲(chǔ)
循環(huán)檢測(cè)
擇優(yōu)剔劣
API調(diào)用
流程圖：
1.采集數(shù)據(jù)(Collector)
采集器進(jìn)程是一個(gè)周期循環(huán)，使用了多線程對(duì)每一個(gè)代理網(wǎng)站進(jìn)行數(shù)據(jù)采集，即：一個(gè)代理網(wǎng)站爬蟲一個(gè)線程。因?yàn)闆]有數(shù)據(jù)共享，這里沒有GPL。項(xiàng)目?jī)?nèi)置了兩個(gè)代理數(shù)據(jù)采集爬蟲，一個(gè)是個(gè)人網(wǎng)站的nyloner,一個(gè)是66ip代理網(wǎng)站的爬蟲(在crawlers.py文件中)，如果想要增加代理爬蟲，可以自己在custom目錄下的custom.py文件中進(jìn)行增加刪減，只需要保證你的爬蟲返回的結(jié)果數(shù)據(jù)結(jié)構(gòu)和要求的一致就好。如下:
def some_crawler_func():
"""
自己定義的一個(gè)采集爬蟲
約定：
1.無參數(shù)傳入
2.返回格式是：[":",":",...]
3.寫完把函數(shù)名加入下面的my_crawlers列表中，如
my_crawlers = [some_crawler_func,...]
"""
pass
my_crawlers = []
一個(gè)數(shù)據(jù)采集爬蟲函數(shù)就是一個(gè)采集器，寫完函數(shù)在my_crawlers中加進(jìn)去就可以。在config中設(shè)置一個(gè)周期時(shí)間，就可以讓爬蟲定期采集更新數(shù)據(jù)。
在采集的過程中，如果出現(xiàn)采集器爬蟲被封IP，可以通過自己的APIserver請(qǐng)求代理，然后再繼續(xù)采集，這一部分沒有寫，不過可以實(shí)現(xiàn)
2.驗(yàn)證數(shù)據(jù)(Validator)
采集器進(jìn)程和驗(yàn)證器進(jìn)程共享一個(gè)變量:proxyList，是一個(gè)MultiProcessing.Manger.List對(duì)象。可以在多進(jìn)程中
保持共享數(shù)據(jù)的同步(理論上)，采集器定期采集的代理數(shù)據(jù)可以通過proxyList實(shí)時(shí)的傳遞給驗(yàn)證器進(jìn)行有效性驗(yàn)證，因?yàn)椴杉饕淮蝹鬟f的數(shù)據(jù)比較多，所以驗(yàn)證器使用異步驗(yàn)證，能大大提高效率，具體使用自帶的asyncio實(shí)現(xiàn)的.
驗(yàn)證器實(shí)現(xiàn)基本上也是調(diào)用了一個(gè)驗(yàn)證api來判斷代理的有效性，可以自己更換api實(shí)現(xiàn)，可在validator.py中詳細(xì)了解。在config中可以配置異步的并發(fā)量等來控制驗(yàn)證器。
3.打分存儲(chǔ)(Rator)
打分器進(jìn)程主要是與驗(yàn)證器配合，當(dāng)采集器采集的數(shù)據(jù)經(jīng)過驗(yàn)證器驗(yàn)證后，確定有效，則讓打分器進(jìn)行評(píng)分，中間可以加入自定義數(shù)據(jù)處理模塊，打分后直接存儲(chǔ)在standby數(shù)據(jù)庫(kù)，而后供本地檢測(cè)器進(jìn)行周期檢測(cè)，打分器也是一個(gè)周期循環(huán)，不斷的對(duì)代理數(shù)據(jù)進(jìn)行更新補(bǔ)充。內(nèi)置在驗(yàn)證器與掃描器中。打分器主要的三個(gè)函數(shù):mark_success,mark_fail,mark_update.
mark_success 對(duì)采集器傳遞給驗(yàn)證器的代理數(shù)據(jù)，驗(yàn)證成功后進(jìn)行一次性的評(píng)分并且存儲(chǔ)
mark_fail 對(duì)驗(yàn)證器進(jìn)行驗(yàn)證，代理無效的數(shù)據(jù)進(jìn)行失敗打分處理(達(dá)到刪除條件則刪除，否則扣分更新數(shù)據(jù)庫(kù))
mark_update 對(duì)非初次打分的代理數(shù)據(jù)進(jìn)行更新，即驗(yàn)證有效的數(shù)據(jù)再次驗(yàn)證時(shí)仍有效，則進(jìn)行加分之類的數(shù)據(jù)庫(kù)更新
具體的評(píng)分步驟在下面會(huì)詳細(xì)說明，不過還有很大的提升空間，只是初步試了一下。
4.循環(huán)掃描(Scanner)
當(dāng)驗(yàn)證器的有效數(shù)據(jù)經(jīng)過打分器存進(jìn)本地standby數(shù)據(jù)庫(kù)中后，怎么保證這一次存進(jìn)去的數(shù)據(jù)以后能保證調(diào)用時(shí)仍可用呢？使用掃描器周期循環(huán)檢測(cè)！掃描器會(huì)在你給定的掃描周期間隔不斷地對(duì)本地standby數(shù)據(jù)庫(kù)進(jìn)行掃描驗(yàn)證，無效的數(shù)據(jù)則直接刪除，有效的數(shù)據(jù)會(huì)對(duì)其得分、響應(yīng)時(shí)間、驗(yàn)證時(shí)間等字段進(jìn)行及時(shí)的更新，保證代理數(shù)據(jù)的實(shí)時(shí)有效。
在掃描器內(nèi)部其實(shí)也是有一個(gè)驗(yàn)證函數(shù)來進(jìn)行掃描驗(yàn)證。詳見scanner.py
5.擇優(yōu)剔劣(Detector)
存儲(chǔ)在standby數(shù)據(jù)庫(kù)中的數(shù)據(jù)經(jīng)過掃描器的掃描檢測(cè)，可以保證其有效性，當(dāng)是如果想要穩(wěn)定的代理供給APIserver，那么必須有一個(gè)檢測(cè)器來進(jìn)行挑揀代理，Detector會(huì)周期性的進(jìn)行掃描standby和stable兩個(gè)數(shù)據(jù)庫(kù)，對(duì)其中符合高分穩(wěn)定條件的代理存進(jìn)stable數(shù)據(jù)庫(kù)，對(duì)失效的高分代理進(jìn)行剔除，這些都可以在config中進(jìn)行自定義配置高分穩(wěn)定條件。如：
#采集器采集數(shù)據(jù)時(shí)間間隔,單位：秒 COLLECT_TIME_GAP = 3600*1 #驗(yàn)證器的最大并發(fā)量 CONCURRENCY = 100 #驗(yàn)證器一次取出多少條 抓取的 代理進(jìn)行驗(yàn)證 VALIDATE_AMOUNT = 500 #驗(yàn)證器驗(yàn)證抓取數(shù)據(jù)頻率 ： 秒/次 VALIDATE_F = 5 #驗(yàn)證器請(qǐng)求超時(shí)重試次數(shù) VALIDATE_RETRY = 5 #掃描器的最大并發(fā)協(xié)程數(shù)量 COROUTINE_MAX = 300 #掃描器一次取出多少條 本地庫(kù) 的代理進(jìn)行驗(yàn)證 LOCAL_AMOUNT = 500 #掃描器驗(yàn)證本地庫(kù)頻率 ： 秒/次 VALIDATE_LOCAL = 60*1 #檢測(cè)器檢測(cè)數(shù)據(jù)庫(kù)的頻率: 秒/次 DETECT_LOCAL = 60*1 #檢測(cè)器一次取出多少條有效庫(kù)的代理進(jìn)行篩選 DETECT_AMOUNT = 1000 #檢測(cè)器一次取出多少條高分穩(wěn)定數(shù)據(jù)庫(kù)的代理進(jìn)行檢測(cè) DETECT_HIGH_AMOUNT = 1000 #高分穩(wěn)定數(shù)據(jù)庫(kù)代理數(shù)據(jù)連續(xù)多少次無效則從穩(wěn)定數(shù)據(jù)庫(kù)中剔除 DELETE_COMBO = 30 #代理IP成功率的最低要求,低于此要求均刪除,100次周期測(cè)試 0.2=20% MIN_SUCCESS_RATE = 0.2 #有效代理數(shù)據(jù)庫(kù)數(shù)據(jù)轉(zhuǎn)至高分穩(wěn)定數(shù)據(jù)庫(kù)的成功率最低要求 0.8=80% #以及測(cè)試總數(shù)的最低要求 STABLE_MIN_RATE = 0.8500 STABLE_MIN_COUNT = 100
因?yàn)槭菍?duì)本地?cái)?shù)據(jù)庫(kù)的io操作，使用了異步asyncio可以大大提高效率。
6.API調(diào)用(APIserver)
有了穩(wěn)定的高分代理數(shù)據(jù)，那么就可以掛起一個(gè)api server為我們的爬蟲保駕護(hù)航，這一部分可以多帶帶拿出來編寫，使用其他框架django之類的都是不錯(cuò)的選擇。項(xiàng)目里只是為了演示使用，使用Flask進(jìn)行了簡(jiǎn)單的路由設(shè)置，因?yàn)闇y(cè)試爬蟲在本機(jī)，所以使用了下面幾個(gè)api而已，具體可以自己擴(kuò)展。
