使用php+phantomjs構建一只簡單爬蟲的開發思路

liangdas 發布于2019-06-28 13:42 / 1639人閱讀

摘要：嘮叨最近頻繁的給客戶做采集功能既然代碼無法公布所以一直想寫個思路類的文章既然是簡單的爬蟲那么一切自然以簡單為原則能少用的都少用比如和這兩個神兵利器就被我省略了打造這只蟲子就像是樵夫砍柴一般該磨刀還是要磨刀遠觀拜拜山頭對象站點國內知名電商平臺

嘮叨:

最近頻繁的給客戶做采集功能,既然代碼無法公布,所以一直想寫個思路類的文章.
既然是簡單的爬蟲,那么一切自然以簡單為原則,能少用的都少用,比如python和Redis這兩個神兵利器就被我省略了.
打造這只蟲子就像是樵夫砍柴一般,該磨刀還是要磨刀.

遠觀:

拜拜山頭

對象站點:國內知名電商平臺如蘑菇街,唯品會等.
實現需求:站群模式可將對方店鋪或商品采集根據指定接口分發數據,并過濾指定關鍵字及自定義商品售價

磨刀:

利刃在手

1.安裝=無頭瀏覽器phantomjs,類似的無頭瀏覽器或者在他們基礎上衍生的東西有很多,但phantomjs基本上可以滿足需求,用法也簡單,所以本次就選用它了.
2.安裝=多線程擴展pthreads,由于python和Redis對于一些phper而言增加了學習成本(話說現在會php的不懂他兩的應該很少了吧),由于phantomjs從加載到渲染是比較慢的,為了提高效率,我們需要用到多線程.

上山:

山里事兒多

1.隨機代理:因為采集是全自動化的,需要不斷的訪問被爬的站點,為了防止被屏蔽,從代理站抓一些IP來掩飾是不錯的方法.
2.URL自動增補:有些網站頁面的的url用的相對路徑,所以補全是必備的.
3.深度控制:例如采集商品的時候很容易因為關聯商品而陷入無止境的挖掘
4.任務分布:雖然沒有用到Redis,本次的采集需要將任務下發給其余站點
5.內容過濾:現在比較頭疼的是一些商城或店鋪有水印,這個暫時無解.

砍柴:

由于本次采集在創建任務時已經預設了采集對象,例如按店采集,按商品采集.所以開頭的第一步就省略了.

云服務器 GPU云服務器簡單php爬蟲程序簡單的爬蟲簡單的爬蟲程序最簡單的爬蟲

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/25818.html

精通Python網絡爬蟲(0):網絡爬蟲學習路線

摘要：以上是如果你想精通網絡爬蟲的學習研究路線，按照這些步驟學習下去，可以讓你的爬蟲技術得到非常大的提升。作者：韋瑋轉載請注明出處隨著大數據時代的到來，人們對數據資源的需求越來越多，而爬蟲是一種很好的自動采集數據的手段。那么，如何才能精通Python網絡爬蟲呢？學習Python網絡爬蟲的路線應該如何進行呢？在此為大家具體進行介紹。 1、選擇一款合適的編程語言事實上，Python、P...

spacewander 2019-07-30 14:17 評論0 收藏0
超詳細的Python實現新浪微博模擬登陸(小白都能懂)

摘要：可能有的老手覺得我寫得很啰嗦，但其實很多新手可能都不知道這些細節，所以我把我在分析新浪微博模擬登陸的過程全寫了出來。這篇文章于去年4月發布在我的簡書，現在把它放到這里，主要是為了宣傳自己的分布式微博爬蟲。下面是主要內容，希望能幫到有這個需求的朋友最近由于需要一直在研究微博的爬蟲，第一步便是模擬登陸，從開始摸索到走通模擬登陸這條路其實還是挺艱難的，需要一定的經驗，為了讓朋友們以后少...

Aldous 2019-07-31 10:56 評論0 收藏0
【Sasila】一個簡單易用的爬蟲框架

摘要：所以我模仿這些爬蟲框架的優勢，以盡量簡單的原則，搭配實際上是開發了這套輕量級爬蟲框架。將下載器，解析器，調度器，數據處理器注入核心成為對象。提供對爬蟲進行管理監控。每個腳本被認為是一個，確定一個任務。 ??現在有很多爬蟲框架，比如scrapy、webmagic、pyspider都可以在爬蟲工作中使用，也可以直接通過requests+beautifulsoup來寫一些個性化的小型爬蟲腳本...

yacheng 2019-07-30 14:18 評論0 收藏0
Python網頁信息采集：使用PhantomJS采集淘寶天貓商品內容

摘要：，引言最近一直在看爬蟲框架，并嘗試使用框架寫一個可以實現網頁信息采集的簡單的小程序。本文主要介紹如何使用結合采集天貓商品內容，文中自定義了一個，用來采集需要加載的動態網頁內容。 showImg(https://segmentfault.com/img/bVyMnP); 1，引言最近一直在看Scrapy 爬蟲框架，并嘗試使用Scrapy框架寫一個可以實現網頁信息采集的簡單的小程序。嘗試...

z2xy 2019-07-25 10:35 評論0 收藏0
本命年一定要記得穿紅褲衩：2015年總結

摘要：年終總結結果到這個時間才寫，其實也是無奈。這一年最重要的事情就是順利從一只學生狗轉職為一只社畜。四月份畢業之后以前端工程師的職位入職天貓，到現在也差不多工作一年了。年終總結結果到這個時間才寫，其實也是無奈。本來計劃過年寫的，沒想到Steam竟然開了個農歷春節特惠，然后就被各種游戲打了，辣雞平臺，斂我錢財，頹我精神，耗我青春，害我單身以下全都是個人看法，如果有不認同的地方，請大吼一聲...

AlienZHOU 2019-08-19 17:38 評論0 收藏0