回到代碼部分，對之前定義的movies做迭代，逐項(xiàng)獲取要抓取的數(shù)據(jù)。

        for movie in movies:
            item["ranking"] = movie.xpath(
                ".//div[@class="pic"]/em/text()").extract()[0]
            item["movie_name"] = movie.xpath(
                ".//div[@class="hd"]/a/span[1]/text()").extract()[0]
            item["score"] = movie.xpath(
                ".//div[@class="star"]/span[@class="rating_num"]/text()"
            ).extract()[0]
            item["score_num"] = movie.xpath(
                ".//div[@class="star"]/span/text()").re(r"(d+)人評價")[0]
            yield item

4.Url跳轉(zhuǎn)（翻頁）

如果到此為止，我們可以將https://movie.douban.com/top250頁面中的第一頁內(nèi)容爬取到，但只有25項(xiàng)記錄，要爬取全部的250條記錄，就要執(zhí)行下面代碼：

        next_url = response.xpath("http://span[@class="next"]/a/@href").extract()

        if next_url:
            next_url = "https://movie.douban.com/top250" + next_url[0]
            yield Request(next_url)

首先通過xpath解析了頁面中后頁的鏈接，并賦值給next_url變量，如果我們當(dāng)前在第一頁，那么解析后頁的鏈接就是?start=25&filter=。將解析的后頁鏈接與完整url連接形成完整的地址，再次執(zhí)行Request()，就實(shí)現(xiàn)了對全部250條記錄的爬取。注意：通過xpath解析出的結(jié)果是列表，所以在引用的時候?qū)懗?b>next_url[0]。

實(shí)現(xiàn)隨機(jī)的head屬性發(fā)送。主要改兩個文件：

USER_AGENT_LIST = [
    "zspider/0.9-dev http://feedback.redkolibri.com/",
    "Xaldon_WebSpider/2.0.b1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) Speedy Spider (http://www.entireweb.com/about/search_tech/speedy_spider/)",
    "Mozilla/5.0 (compatible; Speedy Spider; http://www.entireweb.com/about/search_tech/speedy_spider/)",
    "Speedy Spider (Entireweb; Beta/1.3; http://www.entireweb.com/about/search_tech/speedyspider/)",
    "Speedy Spider (Entireweb; Beta/1.2; http://www.entireweb.com/about/search_tech/speedyspider/)",
    "Speedy Spider (Entireweb; Beta/1.1; http://www.entireweb.com/about/search_tech/speedyspider/)",
    "Speedy Spider (Entireweb; Beta/1.0; http://www.entireweb.com/about/search_tech/speedyspider/)",
    "Speedy Spider (Beta/1.0; www.entireweb.com)",
    "Speedy Spider (http://www.entireweb.com/about/search_tech/speedy_spider/)",
    "Speedy Spider (http://www.entireweb.com/about/search_tech/speedyspider/)",
    "Speedy Spider (http://www.entireweb.com)",
    "Sosospider+(+http://help.soso.com/webspider.htm)",
    "sogou spider",
    "Nusearch Spider (www.nusearch.com)",
    "nuSearch Spider (compatible; MSIE 4.01; Windows NT)",
    "lmspider (lmspider@scansoft.com)",
    "lmspider lmspider@scansoft.com",
    "ldspider (http://code.google.com/p/ldspider/wiki/Robots)",
    "iaskspider/2.0(+http://iask.com/help/help_index.html)",
    "iaskspider",
    "hl_ftien_spider_v1.1",
    "hl_ftien_spider",
    "FyberSpider (+http://www.fybersearch.com/fyberspider.php)",
    "FyberSpider",
    "everyfeed-spider/2.0 (http://www.everyfeed.com)",
    "envolk[ITS]spider/1.6 (+http://www.envolk.com/envolkspider.html)",
    "envolk[ITS]spider/1.6 ( http://www.envolk.com/envolkspider.html)",
    "Baiduspider+(+http://www.baidu.com/search/spider_jp.html)",
    "Baiduspider+(+http://www.baidu.com/search/spider.htm)",
    "BaiDuSpider",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0) AddSugarSpiderBot www.idealobserver.com",
    ]

DOWNLOADER_MIDDLEWARES = {
    "spider_douban.middlewares.RandomUserAgentMiddleware": 400,
    "scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware": None,
}

USER_AGENT_LIST定義了一些瀏覽器user-agent屬性，網(wǎng)上有很多，可以找來直接加進(jìn)去，需要注意的是有些user-agent信息是移動設(shè)備（手機(jī)或平板）的，如果不注意的話，可能請求到的數(shù)據(jù)與你看到的數(shù)據(jù)有較大差異；
DOWNLOADER_MIDDLEWARES定義了下載器中間件，它在發(fā)送頁面請求數(shù)據(jù)的時候被調(diào)用。

from spider_douban.settings import USER_AGENT_LIST
import random

class RandomUserAgentMiddleware():
    def process_request(self, request, spider):
        ua  = random.choice(USER_AGENT_LIST)
        if ua:
            request.headers.setdefault("User-Agent", ua)

在RandomUserAgentMiddleware()中，每次發(fā)送請求數(shù)據(jù)，會在USER_AGENT_LIST中隨機(jī)選擇一條User-Agent記錄。

編輯pipelines.py文件：

from scrapy import signals
from scrapy.contrib.exporter import CsvItemExporter

class SpiderDoubanPipeline(CsvItemExporter):
    def __init__(self):
        self.files = {}

    @classmethod
    def from_crawler(cls, crawler):
        print("==========pipeline==========from_crawler==========")
        pipeline = cls()
        crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
        crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
        return pipeline

    def spider_opened(self, spider):
        savefile = open("douban_top250_export.csv", "wb+")
        self.files[spider] = savefile
        print("==========pipeline==========spider_opened==========")
        self.exporter = CsvItemExporter(savefile)
        self.exporter.start_exporting()

    def spider_closed(self, spider):
        print("==========pipeline==========spider_closed==========")
        self.exporter.finish_exporting()
        savefile = self.files.pop(spider)
        savefile.close()

    def process_item(self, item, spider):
        print("==========pipeline==========process_item==========")
        print(type(item))
        self.exporter.export_item(item)
        return item

SpiderDoubanPipeline類是建立項(xiàng)目的時候自行建立的，為了保存文件，做了修改。

如果存在，則調(diào)用此類方法從Crawler創(chuàng)建pipeline實(shí)例。它必須返回一個新的pipeline實(shí)例。抓取對象提供對所有Scrapy核心組件的訪問，如settings和signals; 這是pipeline訪問它們并將其功能掛接到Scrapy的一種方式。

在此方法中，定義了一個數(shù)據(jù)收集器(cls)的實(shí)例：‘pipeline’。

signals：Scrapy使用信號來通知事情發(fā)生。您可以在您的Scrapy項(xiàng)目中捕捉一些信號(使用 extension)來完成額外的工作或添加額外的功能，擴(kuò)展Scrapy。雖然信號提供了一些參數(shù)，不過處理函數(shù)不用接收所有的參數(shù) - 信號分發(fā)機(jī)制(singal dispatching mechanism)僅僅提供處理器(handler)接受的參數(shù)。您可以通過 信號(Signals) API 來連接(或發(fā)送您自己的)信號。

connect：鏈接一個接收器函數(shù)(receiver function) 到一個信號(signal)。signal可以是任何對象，雖然Scrapy提供了一些預(yù)先定義好的信號。

當(dāng)spider開始爬取時發(fā)送該信號。該信號一般用來分配spider的資源，不過其也能做任何事。該信號支持返回deferreds。

此方法中，創(chuàng)建了一個文件對象實(shí)例：savefile。

CsvItemExporter(savefile)：輸出 csv 文件格式. 如果添加 fields_to_export 屬性, 它會按順序定義CSV的列名.

當(dāng)某個spider被關(guān)閉時，該信號被發(fā)送。該信號可以用來釋放每個spider在 spider_opened 時占用的資源。該信號支持返回deferreds。

每個item pipeline組件都需要調(diào)用該方法，這個方法必須返回一個 Item (或任何繼承類)對象， 或是拋出 DropItem 異常，被丟棄的item將不會被之后的pipeline組件所處理。

為了讓我們定義的pipeline生效，要在settings.py文件中，打開ITEM_PIPELINES注釋：

ITEM_PIPELINES = {
    "spider_douban.pipelines.SpiderDoubanPipeline": 300,
}

scrapy crawl douban_movie_top250

執(zhí)行爬蟲能夠看到爬取到的數(shù)據(jù)。。。

如果之前pipeline部分代碼沒有寫，也可以用下面的命令，在爬蟲執(zhí)行的時候直接導(dǎo)出數(shù)據(jù)：

scrapy crawl douban_movie_top250 -o douban.csv

增加-o參數(shù)，可以將爬取到的數(shù)據(jù)保存到douban.csv文件中。。

我在linux服務(wù)器執(zhí)行爬蟲，生成csv文件后，在win7系統(tǒng)中用excel打開變成亂碼。在網(wǎng)上找了一些文章，有的文章直接改變linux文件默認(rèn)編碼，但是感覺這么做會對其他項(xiàng)目產(chǎn)生影響。最后選擇一個相對簡單的方式。按這幾步執(zhí)行就可以：

不要直接用excel打開csv文件。先打開excel，建立空白工作表。

選擇數(shù)據(jù)選項(xiàng)卡，打開獲取外部數(shù)據(jù)中的自文本。

在導(dǎo)入文本文件對話框中選擇要導(dǎo)入的csv文件。

在文本導(dǎo)入向?qū)?- 第1步中，設(shè)置文件原始格式為65001 : Unicode (UTF-8)

繼續(xù)下一步選擇逗號分隔，就可以導(dǎo)入正常文本了。