Python即時(shí)網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目啟動(dòng)說(shuō)明

lushan 發(fā)布于2019-07-25 10:20 / 3383人閱讀

摘要：但是，我還是啟動(dòng)了這個(gè)即時(shí)網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目。我用和編寫(xiě)爬蟲(chóng)相關(guān)程序超過(guò)年，要追求高性能，非莫屬，同時(shí)有完善的標(biāo)準(zhǔn)體系，讓你和你的系統(tǒng)十分自信，只要充分測(cè)試，就能按照預(yù)期的方式運(yùn)行。近期做的實(shí)驗(yàn)是使用提取網(wǎng)頁(yè)數(shù)據(jù)爬蟲(chóng)使用抓取和動(dòng)態(tài)內(nèi)容

作為酷愛(ài)編程的老程序員，實(shí)在按耐不下這個(gè)沖動(dòng)，Python真的是太火了，不斷撩撥我的心。

我是對(duì)Python存有戒備之心的，想當(dāng)年我基于Drupal做的系統(tǒng)，使用php語(yǔ)言，當(dāng)語(yǔ)言升級(jí)了，推翻了老版本很多東西，不得不花費(fèi)很多時(shí)間和精力去移植和升級(jí)，至今還有一些隱藏在某處的代碼埋著雷。我估計(jì)Python也避免不了這個(gè)問(wèn)題（其實(shí)這種聲音已經(jīng)不少，比如Python 3 正在毀滅 Python）。

但是，我還是啟動(dòng)了這個(gè)Python即時(shí)網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目。我用C++、Java和Javascript編寫(xiě)爬蟲(chóng)相關(guān)程序超過(guò)10年，要追求高性能，非C++莫屬，同時(shí)有完善的標(biāo)準(zhǔn)體系，讓你和你的系統(tǒng)十分自信，只要充分測(cè)試，就能按照預(yù)期的方式運(yùn)行。在GooSeeker項(xiàng)目中，我們不斷向一個(gè)方向努力——“收割數(shù)據(jù)”，而且讓廣大用戶（不僅是專業(yè)的數(shù)據(jù)采集用戶）都能體驗(yàn)到收割互聯(lián)網(wǎng)數(shù)據(jù)的快感。“收割”的一個(gè)重要含義就是大批量。現(xiàn)在，我要啟動(dòng)“即時(shí)網(wǎng)絡(luò)爬蟲(chóng)”，目的是要補(bǔ)充“收割”沒(méi)有覆蓋的場(chǎng)景，我看到的是：

在系統(tǒng)層面：“即時(shí)”代表快速部署數(shù)據(jù)應(yīng)用系統(tǒng)

在數(shù)據(jù)流層面：“即時(shí)”代表采集數(shù)據(jù)到數(shù)據(jù)使用是即時(shí)的，單個(gè)數(shù)據(jù) 對(duì)象可以獨(dú)自全流程處理，不用等待一批存入數(shù)據(jù)庫(kù)，然后從數(shù)據(jù)庫(kù)中拿出來(lái)用

“即時(shí)”另一個(gè)含義就是網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)嵌入模塊，跟整個(gè)信息處理系統(tǒng)集成在一起

一眾程序員都在玩Python網(wǎng)絡(luò)爬蟲(chóng)，我擬定了一個(gè)計(jì)劃：建立一個(gè)模塊化更強(qiáng)的軟件部件，專門(mén)解決最耗費(fèi)精力的內(nèi)容提取問(wèn)題（有人總結(jié)說(shuō)大數(shù)據(jù)和數(shù)據(jù)分析整個(gè)鏈條上，數(shù)據(jù)準(zhǔn)備占了80%工作量，我們不妨延展一下，網(wǎng)絡(luò)數(shù)據(jù)抓取的工作量有80%是在為各種網(wǎng)站的各種數(shù)據(jù)結(jié)構(gòu)編寫(xiě)抓取規(guī)則）。

我把他想象成一個(gè)小機(jī)器（見(jiàn)上圖），輸入的是原始網(wǎng)頁(yè)，輸出的是提取出來(lái)的結(jié)構(gòu)化的內(nèi)容，這個(gè)小機(jī)器還有一個(gè)可替換部件：將輸入轉(zhuǎn)化成輸出結(jié)構(gòu)的一個(gè)指令塊，我們成為“提取器”，讓大家不再為調(diào)試正則表達(dá)式或者XPath而苦惱。

這是一個(gè)開(kāi)放的項(xiàng)目，兩年前啟動(dòng)了一個(gè)手機(jī)上的即時(shí)網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目，因?yàn)槭墙o某商業(yè)集團(tuán)開(kāi)發(fā)的，所以不便開(kāi)放，同樣的思想和方法將開(kāi)放到這個(gè)項(xiàng)目中，而且用當(dāng)前最熱的python來(lái)做，希望大家能共同參與。在執(zhí)行過(guò)程中，我們會(huì)開(kāi)放所有資料和成果、已經(jīng)遇到的坑。

近期做的實(shí)驗(yàn)是：

python使用xslt提取網(wǎng)頁(yè)數(shù)據(jù)

Python爬蟲(chóng)使用Selenium+PhantomJS抓取Ajax和動(dòng)態(tài)HTML內(nèi)容