摘要：組件引擎負責控制數據流在系統中所有組件中流動，并在相應動作發生時觸發事件。下載器下載器負責獲取頁面數據并提供給引擎，而后提供給。下載器中間件下載器中間件是在引擎及下載器之間的特定鉤子，處理傳遞給引擎的。

Scrapy 是用Python實現一個為爬取網站數據、提取結構性數據而編寫的應用框架。

一、Scrapy框架簡介

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

其最初是為了 頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。

二、架構流程圖

接下來的圖表展現了Scrapy的架構，包括組件及在系統中發生的數據流的概覽(綠色箭頭所示)。 下面對每個組件都做了簡單介紹，并給出了詳細內容的鏈接。數據流如下所描述。

1、組件 Scrapy Engine

引擎負責控制數據流在系統中所有組件中流動，并在相應動作發生時觸發事件。 詳細內容查看下面的數據流(Data Flow)部分。

調度器(Scheduler)

調度器從引擎接受request并將他們入隊，以便之后引擎請求他們時提供給引擎。

下載器(Downloader)

下載器負責獲取頁面數據并提供給引擎，而后提供給spider。

Spiders

Spider是Scrapy用戶編寫用于分析response并提取item(即獲取到的item)或額外跟進的URL的類。 每個spider負責處理一個特定(或一些)網站。 更多內容請看 Spiders 。

Item Pipeline

Item Pipeline負責處理被spider提取出來的item。典型的處理有清理、 驗證及持久化(例如存取到數據庫中)。 更多內容查看 Item Pipeline 。

下載器中間件(Downloader middlewares)

下載器中間件是在引擎及下載器之間的特定鉤子(specific hook)，處理Downloader傳遞給引擎的response。 其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能。更多內容請看 下載器中間件(Downloader Middleware) 。

Spider中間件(Spider middlewares)

Spider中間件是在引擎及Spider之間的特定鉤子(specific hook)，處理spider的輸入(response)和輸出(items及requests)。 其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能。更多內容請看 Spider中間件(Middleware) 。

2、數據流(Data flow)

Scrapy中的數據流由執行引擎控制，其過程如下:

引擎打開一個網站(open a domain)，找到處理該網站的Spider并向該spider請求第一個要爬取的URL(s)。

引擎從Spider中獲取到第一個要爬取的URL并在調度器(Scheduler)以Request調度。

引擎向調度器請求下一個要爬取的URL。

調度器返回下一個要爬取的URL給引擎，引擎將URL通過下載中間件(請求(request)方向)轉發給下載器(Downloader)。

一旦頁面下載完畢，下載器生成一個該頁面的Response，并將其通過下載中間件(返回(response)方向)發送給引擎。

引擎從下載器中接收到Response并通過Spider中間件(輸入方向)發送給Spider處理。

Spider處理Response并返回爬取到的Item及(跟進的)新的Request給引擎。

引擎將(Spider返回的)爬取到的Item給Item Pipeline，將(Spider返回的)Request給調度器。

(從第二步)重復直到調度器中沒有更多地request，引擎關閉該網站。

3、事件驅動網絡(Event-driven networking)

Scrapy基于事件驅動網絡框架 Twisted 編寫。因此，Scrapy基于并發性考慮由非阻塞(即異步)的實現。

關于異步編程及Twisted更多的內容請查看下列鏈接:

三、4步制作爬蟲

新建項目（scrapy startproject xxx）:新建一個新的爬蟲項目

明確目標（編寫items.py）:明確你想要抓取的目標

制作爬蟲（spiders/xxsp der.py）:制作爬蟲開始爬取網頁

存儲內容（pipelines.py）:設計管道存儲爬取內容

四、安裝框架

這里我們使用 conda 來進行安裝：

conda install scrapy

或者使用 pip 進行安裝：

pip install scrapy

查看安裝：

?  spider scrapy -h
Scrapy 1.4.0 - no active project

Usage:
  scrapy  [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy  -h" to see more info about a command

1.創建項目

?  spider scrapy startproject SF
New Scrapy project "SF", using template directory "/Users/kaiyiwang/anaconda2/lib/python2.7/site-packages/scrapy/templates/project", created in:
    /Users/kaiyiwang/Code/python/spider/SF

You can start your first spider with:
    cd SF
    scrapy genspider example example.com
?  spider

使用 tree 命令可以查看項目結構：

?  SF tree
.
├── SF
│?? ├── __init__.py
│?? ├── items.py
│?? ├── middlewares.py
│?? ├── pipelines.py
│?? ├── settings.py
│?? └── spiders
│??     └── __init__.py
└── scrapy.cfg

2.在spiders 目錄下創建模板

?  spiders scrapy genspider sf "https://segmentfault.com"
Created spider "sf" using template "basic" in module:
  SF.spiders.sf
?  spiders

這樣，就生成了一個項目文件 sf.py

# -*- coding: utf-8 -*-
import scrapy
from SF.items import SfItem


class SfSpider(scrapy.Spider):
    name = "sf"
    allowed_domains = ["https://segmentfault.com"]
    start_urls = ["https://segmentfault.com/"]

    def parse(self, response):
        # print response.body
        # pass
        node_list = response.xpath("http://h2[@class="title"]")

        # 用來存儲所有的item字段的
        # items = []
        for node in node_list:
            # 創建item字段對象，用來存儲信息
            item = SfItem()
            # .extract() 將xpath對象轉換為 Unicode字符串
            title = node.xpath("./a/text()").extract()

            item["title"] = title[0]

            # 返回抓取到的item數據，給管道文件處理，同時還回來繼續執行后邊的代碼
            yield.item
            #return item
            #return scrapy.Request(url)
            #items.append(item)

命令：

# 測試爬蟲是否正常, sf為爬蟲的名稱
?  scrapy check sf

# 運行爬蟲
?  scrapy crawl sf

3.item pipeline

當 item 在Spider中被收集之后，它將會被傳遞到 item Pipeline, 這些 item Pipeline 組件按定義的順序處理 item.

每個 Item Pipeline 都是實現了簡單方法的Python 類，比如決定此Item是丟棄或存儲，以下是 item pipeline 的一些典型應用：

驗證爬取得數據（檢查item包含某些字段，比如說name字段）

查重（并丟棄）

將爬取結果保存到文件或者數據庫總（數據持久化）

編寫 item pipeline
編寫 item pipeline 很簡單，item pipeline 組件是一個獨立的Python類，其中 process_item()方法必須實現。

from scrapy.exceptions import DropItem

class PricePipeline(object):

    vat_factor = 1.15

    def process_item(self, item, spider):
        if item["price"]:
            if item["price_excludes_vat"]:
                item["price"] = item["price"] * self.vat_factor
            return item
        else:
            raise DropItem("Missing price in %s" % item)

4.選擇器(Selectors)

當抓取網頁時，你做的最常見的任務是從HTML源碼中提取數據。
Selector 有四個基本的方法，最常用的還是Xpath

xpath():傳入xpath表達式，返回該表達式所對應的所有節點的selector list 列表。

extract(): 序列化該節點為Unicode字符串并返回list

css():傳入CSS表達式，返回該表達式所對應的所有節點的selector list 列表，語法同 BeautifulSoup4

re():根據傳入的正則表達式對數據進行提取，返回Unicode 字符串list 列表

Scrapy提取數據有自己的一套機制。它們被稱作選擇器(seletors)，因為他們通過特定的 XPath 或者 CSS 表達式來“選擇” HTML文件中的某個部分。

XPath 是一門用來在XML文件中選擇節點的語言，也可以用在HTML上。 CSS 是一門將HTML文檔樣式化的語言。選擇器由它定義，并與特定的HTML元素的樣式相關連。

Scrapy選擇器構建于 lxml 庫之上，這意味著它們在速度和解析準確性上非常相似。

XPath表達式的例子：

/html/head/title: 選擇文檔中標簽內的