Scrapy入門程序點評

baiy 發布于2019-07-25 10:31 / 2291人閱讀

摘要：本文大部分內容摘抄自官網的，看到巧妙之處則加了點評。，接下來的工作至此，框架已經明確選定了，接下來，我們將進一步研讀的文檔，研究怎樣把的封裝成需要的。，文檔修改歷史，首次發布

1，引言

在《Scrapy的架構初探》一文，我基于爬蟲開發的經驗對Scrapy官網文章作了點評和解讀，事件驅動的異步處理架構、極強的模塊化等是個絕好的框架，接著我細讀了官網的《Scrapy at a glance》，更加強了我的感受：就是他了——開源Python網絡爬蟲項目需要一個爬蟲框架，我不想重復發明輪子，只想專注于爬蟲里面的提取器的生成和使用，也就是Scrapy中的Spider部分。

本文大部分內容摘抄自Scrapy官網的《Scrapy at a glance》，看到Scrapy巧妙之處則加了點評。

2，Scrapy的Spider例子

在Scrapy的框架中，Spider與GooSeeker開源爬蟲的提取器類似，核心特征是

Spider通常針對一個特定網站

Spider里面存了爬行入口URLs集合

Scrapy的引擎順序拿Spider中的入口URL，構造Request對象，啟動消息循環

Spider提供接口方法，把抓取下來的內容進行輸出

對GooSeeker的MS謀數臺和DS打數機比較了解的讀者，可以把Spider想象成：MS謀數臺上定義的一組抓取規則 + 會員中心的爬蟲羅盤

下面我們從官網拷貝一個例子：

class StackOverflowSpider(scrapy.Spider):
    name = "stackoverflow"
    start_urls = ["http://stackoverflow.com/questions?sort=votes"]

    def parse(self, response):
        for href in response.css(".question-summary h3 a::attr(href)"):
            full_url = response.urljoin(href.extract())
            yield scrapy.Request(full_url, callback=self.parse_question)

    def parse_question(self, response):
        yield {
            "title": response.css("h1 a::text").extract()[0],
            "votes": response.css(".question .vote-count-post::text").extract()[0],
            "body": response.css(".question .post-text").extract()[0],
            "tags": response.css(".question .post-tag::text").extract(),
            "link": response.url,
        }

看這個例子需要注意以下幾點

start_urls存儲入口網址列表，本例只有一個網址

parse()函數是爬到了網頁后執行的，是由引擎回調的

本來到parse()就完成了，但是這個例子展示了一個兩級抓取的案例，在parse()里面構造了下一級抓取的任務，生成Request對象，并登記一個回調函數

parse_question()是第二級的解析網頁的函數，返回了一個JSON對象

事件驅動模式顯而易見，可以構造好多Request，丟給引擎即可，不用阻塞式等待

官網文章還總結了其他很多功能特性，總之，Scrapy是一個十分完善和強大的框架。

3，接下來的工作

至此，Scrapy框架已經明確選定了，接下來，我們將進一步研讀Scrapy的文檔，研究怎樣把GooSeeker的gsExtractor封裝成Scrapy需要的Spider。

4，文檔修改歷史

2016-06-13：V1.0，首次發布

GPU云服務器云服務器 scrapy爬蟲入門 scrapy爬蟲程序程序語言入門 python入門程序

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/38003.html

首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
python

Python裝飾器為什么難理解？無論項目中還是面試都離不開裝飾器話題，裝飾器的強大在于它能夠在不修改原有業務邏輯的情況下對代碼進行擴展，權限校驗、用戶認證、日志記錄、性能測試、事務處理、緩存等都是裝飾器的絕佳應用場景，它能夠最大程度地對代碼進行復用。但為什么初學者對裝飾器的理解如此困難，我認為本質上是對Py… Python 實現車牌定位及分割作者用 Python 實現車牌定位及分割的實踐。 ...

chenatu 2019-07-30 15:35 評論0 收藏0
Scrapy的架構初探

摘要：引言本文簡單講解一下的架構。沒錯，開源的通用提取器就是要集成到架構中，最看重的是的事件驅動的可擴展的架構。架構圖就是針對特定目標網站編寫的內容提取器，這是在通用網絡爬蟲框架中最需要定制的部分。 1. 引言本文簡單講解一下Scrapy的架構。沒錯，GooSeeker開源的通用提取器gsExtractor就是要集成到Scrapy架構中，最看重的是Scrapy的事件驅動的可擴展的架構。除了...

劉明 2019-07-31 12:21 評論0 收藏0
基于 Python 的 Scrapy 爬蟲入門：環境搭建

摘要：一基礎環境由于不是職業的開發者，因此環境是基于的。二安裝打開命令行工具創建虛擬環境，默認情況下會創建目錄，所有的虛擬環境都會產生一個子目錄保存在此，里面包含基本程序文件以及庫文件。目錄基于 Python 的 Scrapy 爬蟲入門：環境搭建基于 Python 的 Scrapy 爬蟲入門：頁面提取基于 Python 的 Scrapy 爬蟲入門：圖片處理作為一個全棧工程師（...

Gu_Yan 2019-07-31 11:00 評論0 收藏0
Scrapy 框架入門簡介

摘要：解析的方法，每個初始完成下載后將被調用，調用的時候傳入從每一個傳回的對象來作為唯一參數，主要作用如下負責解析返回的網頁數據，提取結構化數據生成生成需要下一頁的請求。 Scrapy 框架 Scrapy是用純Python實現一個為了爬取網站數據、提取結構性數據而編寫的應用框架，用途非常廣泛。框架的力量，用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲，用來抓取網頁內容以及各種圖片，非常...

Coding01 2019-07-30 15:39 評論0 收藏0