摘要:背景一個國人編寫的強大的網絡爬蟲系統(tǒng)并帶有強大的。框架學習時走過的一些坑錯誤我所遇到的一些錯誤首先,本爬蟲目標使用框架爬取網站的帖子中的問題和內容,然后將爬取的數(shù)據(jù)保存在本地。修飾器,表示每天會執(zhí)行一次,這樣就能抓到最新的帖子了。
背景:
PySpider:一個國人編寫的強大的網絡爬蟲系統(tǒng)并帶有強大的WebUI。采用Python語言編寫,分布式架構,支持多種數(shù)據(jù)庫后端,強大的WebUI支持腳本編輯器,任務監(jiān)視器,項目管理器以及結果查看器。在線示例: http://demo.pyspider.org/
官方文檔: http://docs.pyspider.org/en/l...
Github : https://github.com/binux/pysp...
本文爬蟲代碼 Github 地址:https://github.com/zhisheng17...
更多精彩文章可以在微信公眾號:猿blog 閱讀到,歡迎關注。
說了這么多,我們還是來看正文吧!
前提:
你已經安裝好了Pyspider 和 MySQL-python(保存數(shù)據(jù))
如果你還沒安裝的話,請看看我的前一篇文章,防止你也走彎路。
Pyspider 框架學習時走過的一些坑
HTTP 599: SSL certificate problem: unable to get local issuer certificate錯誤
我所遇到的一些錯誤:
首先,本爬蟲目標:使用 Pyspider 框架爬取 V2EX 網站的帖子中的問題和內容,然后將爬取的數(shù)據(jù)保存在本地。
V2EX 中大部分的帖子查看是不需要登錄的,當然也有些帖子是需要登陸后才能夠查看的。(因為后來爬取的時候發(fā)現(xiàn)一直 error ,查看具體原因后才知道是需要登錄的才可以查看那些帖子的)所以我覺得沒必要用到 Cookie,當然如果你非得要登錄,那也很簡單,簡單地方法就是添加你登錄后的 cookie 了。
我們在 https://www.v2ex.com/ 掃了一遍,發(fā)現(xiàn)并沒有一個列表能包含所有的帖子,只能退而求其次,通過抓取分類下的所有的標簽列表頁,來遍歷所有的帖子: https://www.v2ex.com/?tab=tech 然后是 https://www.v2ex.com/go/progr... 最后每個帖子的詳情地址是 (舉例): https://www.v2ex.com/t/314683...
創(chuàng)建一個項目
在 pyspider 的 dashboard 的右下角,點擊 “Create” 按鈕
替換 on_start 函數(shù)的 self.crawl 的 URL:
@every(minutes=24 * 60) def on_start(self): self.crawl("https://www.v2ex.com/", callback=self.index_page, validate_cert=False)
self.crawl 告訴 pyspider 抓取指定頁面,然后使用 callback 函數(shù)對結果進行解析。
@every) 修飾器,表示 on_start 每天會執(zhí)行一次,這樣就能抓到最新的帖子了。
validate_cert=False 一定要這樣,否則會報 HTTP 599: SSL certificate problem: unable to get local issuer certificate錯誤
首頁:
點擊綠色的 run 執(zhí)行,你會看到 follows 上面有一個紅色的 1,切換到 follows 面板,點擊綠色的播放按鈕:
第二張截圖一開始是出現(xiàn)這個問題了,解決辦法看前面寫的文章,后來問題就不再會出現(xiàn)了。
Tab 列表頁 :
在 tab 列表頁 中,我們需要提取出所有的主題列表頁 的 URL。你可能已經發(fā)現(xiàn)了,sample handler 已經提取了非常多大的 URL
代碼:
@config(age=10 * 24 * 60 * 60) def index_page(self, response): for each in response.doc("a[href^="https://www.v2ex.com/?tab="]").items(): self.crawl(each.attr.href, callback=self.tab_page, validate_cert=False)
由于帖子列表頁和 tab列表頁長的并不一樣,在這里新建了一個 callback 為 self.tab_page
@config (age=10 24 60 * 60) 在這表示我們認為 10 天內頁面有效,不會再次進行更新抓取
Go列表頁 :
代碼:
@config(age=10 * 24 * 60 * 60) def tab_page(self, response): for each in response.doc("a[href^="https://www.v2ex.com/go/"]").items(): self.crawl(each.attr.href, callback=self.board_page, validate_cert=False)
帖子詳情頁(T):
你可以看到結果里面出現(xiàn)了一些reply的東西,對于這些我們是可以不需要的,我們可以去掉。
同時我們還需要讓他自己實現(xiàn)自動翻頁功能。
代碼:
@config(age=10 * 24 * 60 * 60) def board_page(self, response): for each in response.doc("a[href^="https://www.v2ex.com/t/"]").items(): url = each.attr.href if url.find("#reply")>0: url = url[0:url.find("#")] self.crawl(url, callback=self.detail_page, validate_cert=False) for each in response.doc("a.page_normal").items(): self.crawl(each.attr.href, callback=self.board_page, validate_cert=False) #實現(xiàn)自動翻頁功能
去掉后的運行截圖:
實現(xiàn)自動翻頁后的截圖:
此時我們已經可以匹配了所有的帖子的 url 了。
點擊每個帖子后面的按鈕就可以查看帖子具體詳情了。
代碼:
@config(priority=2) def detail_page(self, response): title = response.doc("h1").text() content = response.doc("div.topic_content").html().replace(""", """) self.add_question(title, content) #插入數(shù)據(jù)庫 return { "url": response.url, "title": title, "content": content, }
插入數(shù)據(jù)庫的話,需要我們在之前定義一個add_question函數(shù)。
#連接數(shù)據(jù)庫 def __init__(self): self.db = MySQLdb.connect("localhost", "root", "root", "wenda", charset="utf8") def add_question(self, title, content): try: cursor = self.db.cursor() sql = "insert into question(title, content, user_id, created_date, comment_count) values ("%s","%s",%d, %s, 0)" % (title, content, random.randint(1, 10) , "now()"); #插入數(shù)據(jù)庫的SQL語句 print sql cursor.execute(sql) print cursor.lastrowid self.db.commit() except Exception, e: print e self.db.rollback()
查看爬蟲運行結果:
先debug下,再調成running。pyspider框架在windows下的bug
設置跑的速度,建議不要跑的太快,否則很容易被發(fā)現(xiàn)是爬蟲的,人家就會把你的IP給封掉的
查看運行工作
查看爬取下來的內容
然后再本地數(shù)據(jù)庫GUI軟件上查詢下就可以看到數(shù)據(jù)已經保存到本地了。
自己需要用的話就可以導入出來了。
在開頭我就告訴大家爬蟲的代碼了,如果詳細的看看那個project,你就會找到我上傳的爬取數(shù)據(jù)了。(僅供學習使用,切勿商用!)
當然你還會看到其他的爬蟲代碼的了,如果你覺得不錯可以給個 Star,或者你也感興趣的話,你可以fork我的項目,和我一起學習,這個項目長期更新下去。
最后:
代碼:
# created by 10412 # !/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2016-10-20 20:43:00 # Project: V2EX from pyspider.libs.base_handler import * import re import random import MySQLdb class Handler(BaseHandler): crawl_config = { } def __init__(self): self.db = MySQLdb.connect("localhost", "root", "root", "wenda", charset="utf8") def add_question(self, title, content): try: cursor = self.db.cursor() sql = "insert into question(title, content, user_id, created_date, comment_count) values ("%s","%s",%d, %s, 0)" % (title, content, random.randint(1, 10) , "now()"); print sql cursor.execute(sql) print cursor.lastrowid self.db.commit() except Exception, e: print e self.db.rollback() @every(minutes=24 * 60) def on_start(self): self.crawl("https://www.v2ex.com/", callback=self.index_page, validate_cert=False) @config(age=10 * 24 * 60 * 60) def index_page(self, response): for each in response.doc("a[href^="https://www.v2ex.com/?tab="]").items(): self.crawl(each.attr.href, callback=self.tab_page, validate_cert=False) @config(age=10 * 24 * 60 * 60) def tab_page(self, response): for each in response.doc("a[href^="https://www.v2ex.com/go/"]").items(): self.crawl(each.attr.href, callback=self.board_page, validate_cert=False) @config(age=10 * 24 * 60 * 60) def board_page(self, response): for each in response.doc("a[href^="https://www.v2ex.com/t/"]").items(): url = each.attr.href if url.find("#reply")>0: url = url[0:url.find("#")] self.crawl(url, callback=self.detail_page, validate_cert=False) for each in response.doc("a.page_normal").items(): self.crawl(each.attr.href, callback=self.board_page, validate_cert=False) @config(priority=2) def detail_page(self, response): title = response.doc("h1").text() content = response.doc("div.topic_content").html().replace(""", """) self.add_question(title, content) #插入數(shù)據(jù)庫 return { "url": response.url, "title": title, "content": content, }
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/44222.html
摘要:楚江數(shù)據(jù)是專業(yè)的互聯(lián)網數(shù)據(jù)技術服務,現(xiàn)整理出零基礎如何學爬蟲技術以供學習,。本文來源知乎作者路人甲鏈接楚江數(shù)據(jù)提供網站數(shù)據(jù)采集和爬蟲軟件定制開發(fā)服務,服務范圍涵蓋社交網絡電子商務分類信息學術研究等。 楚江數(shù)據(jù)是專業(yè)的互聯(lián)網數(shù)據(jù)技術服務,現(xiàn)整理出零基礎如何學爬蟲技術以供學習,http://www.chujiangdata.com。 第一:Python爬蟲學習系列教程(來源于某博主:htt...
摘要:前提好幾周沒更新博客了,對不斷支持我博客的童鞋們說聲抱歉了。熟悉我的人都知道我寫博客的時間比較早,而且堅持的時間也比較久,一直到現(xiàn)在也是一直保持著更新狀態(tài)。 showImg(https://segmentfault.com/img/remote/1460000014076586?w=1920&h=1080); 前提 好幾周沒更新博客了,對不斷支持我博客的童鞋們說聲:抱歉了!。自己這段時...
摘要:現(xiàn)在我們用一個實戰(zhàn)項目,來進一步掌握框架的使用。此次的項目爬取的目標是去哪兒網,我要將所有攻略的作者標題出發(fā)日期人均費用攻略正文等保存下來,存儲到中。代表當前的爬取速率。 showImg(https://segmentfault.com/img/remote/1460000015563534); 閱讀文本大概需要 13 分鐘。 通過之前的文章介紹,你現(xiàn)在應該對 pyspider 有了一...
摘要:時間永遠都過得那么快,一晃從年注冊,到現(xiàn)在已經過去了年那些被我藏在收藏夾吃灰的文章,已經太多了,是時候把他們整理一下了。那是因為收藏夾太亂,橡皮擦給設置私密了,不收拾不好看呀。 ...
摘要:以下這些項目,你拿來學習學習練練手。當你每個步驟都能做到很優(yōu)秀的時候,你應該考慮如何組合這四個步驟,使你的爬蟲達到效率最高,也就是所謂的爬蟲策略問題,爬蟲策略學習不是一朝一夕的事情,建議多看看一些比較優(yōu)秀的爬蟲的設計方案,比如說。 (一)如何學習Python 學習Python大致可以分為以下幾個階段: 1.剛上手的時候肯定是先過一遍Python最基本的知識,比如說:變量、數(shù)據(jù)結構、語法...
閱讀 1115·2021-11-16 11:42
閱讀 2895·2021-10-12 10:18
閱讀 2854·2021-09-24 09:48
閱讀 3457·2019-08-30 15:56
閱讀 1523·2019-08-30 14:17
閱讀 3036·2019-08-29 12:14
閱讀 902·2019-08-27 10:51
閱讀 2020·2019-08-26 13:28