摘要：幾個(gè)朋友對(duì)爬蟲很感興趣，他們也都是開發(fā)人員，一個(gè)開發(fā)兩個(gè)開發(fā)，都沒有過項(xiàng)目開發(fā)經(jīng)驗(yàn)，正好其中一個(gè)最近要爬一個(gè)網(wǎng)店的產(chǎn)品信息，所以希望我能拿這網(wǎng)站當(dāng)寫一個(gè)爬蟲來給他們參考學(xué)習(xí)。我們就在這個(gè)文件里開發(fā)爬蟲的相關(guān)邏輯。

幾個(gè)朋友對(duì)爬蟲很感興趣，他們也都是開發(fā)人員，一個(gè)PHP開發(fā)兩個(gè)JAVA開發(fā)，都沒有過python項(xiàng)目開發(fā)經(jīng)驗(yàn)，正好其中一個(gè)最近要爬一個(gè)網(wǎng)店的產(chǎn)品信息，所以希望我能拿這網(wǎng)站當(dāng)demo寫一個(gè)爬蟲來給他們參考學(xué)習(xí)。要爬取的頁是http://list.secoo.com/watches...，只要爬取產(chǎn)品相關(guān)了屬性就可以。

這就是要爬取的相關(guān)信息

爬蟲框架使用的是python的scrapy，這也是我現(xiàn)在項(xiàng)目中使用的爬蟲框架。朋友們由于沒有使用過scrapy，因此推薦他們?nèi)タ匆幌驴蚣芪臋n，http://scrapy-chs.readthedocs...，這是scrapy的入門教程，基本上看完前面幾章就能快速開發(fā)一個(gè)簡單的爬蟲了。

一、生成代碼
scrapy提供了命令行工具來快速生成一個(gè)簡單的爬蟲，我們也使用這個(gè)工具來快速生成代碼。在終端下面運(yùn)行下面的命令就能快速生成一個(gè)scrapy爬蟲的基礎(chǔ)框架，免去一些最原始的代碼開發(fā)操作。

scrapy startproject secoo

生成的項(xiàng)目文件就是上面的樣子，spiders目錄是存放爬蟲代碼，items.py是定義爬蟲要爬取的字段信息，pipelines.py是用來處理爬蟲爬到的數(shù)據(jù)的，比如用來做保存操作，像是存redis或是mysql等等，settings.py是項(xiàng)目的基礎(chǔ)配置文件，定義一些爬蟲的全局參數(shù)。
生成完項(xiàng)目基礎(chǔ)代碼后還可以使用下面的命令行工具來生成爬蟲代碼最簡單的代碼，和創(chuàng)建項(xiàng)目一樣，可以省去創(chuàng)建文件的麻煩。

scrapy genspider watch secoo.com

命令執(zhí)行完成后我們就會(huì)在spiders目錄下發(fā)現(xiàn)我們生成好的爬蟲文件watch.py了。我們就在這個(gè)文件里開發(fā)爬蟲的相關(guān)邏輯。

二、 定義爬蟲數(shù)據(jù)字段
爬蟲要爬頁面，肯定是要從爬取到的頁面中提取到我們想要的字段信息，這樣的話我們就要先來定義一下哪些是我們要的字段，后面好在本地保存，這個(gè)就是scrapy里的items來負(fù)責(zé)的。
我們打開根目錄下面的items.py文件，這個(gè)文件里定義一個(gè)SecooItem的類，我們定義了4個(gè)字段，分別用來保存產(chǎn)品名、路徑、價(jià)格和庫存信息，這一步操作我們就完成了，后面的爬蟲按這個(gè)定義好的格式來保存數(shù)據(jù)就可以了。

import scrapy

class SecooItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    product_name = scrapy.Field()       #產(chǎn)品名
    breadcrumb = scrapy.Field()         #面包屑路徑
    product_price = scrapy.Field()      #產(chǎn)品價(jià)格
    product_stock = scrapy.Field()      #庫存狀態(tài)

三、定義保存數(shù)據(jù)操作
這一步是要來定義爬蟲的數(shù)據(jù)提取出來以后，按照items.py定義的格式格式化以后是如何保存的。由于我們是寫一個(gè)demo給大家來參考，因此這一部分代碼是沒有寫實(shí)際的數(shù)據(jù)保存操作的，我們只定義了這個(gè)操作類，如果是想要進(jìn)行保存數(shù)據(jù)操作的話可以直接修改SecooPipeline類的process_item方法，在這里可以和正常腳本操作數(shù)據(jù)庫一樣進(jìn)行連接、寫入操作的。

class SecooPipeline(object):
    def process_item(self, item, spider):
        return item

四、頁面爬取
最后一步就是最重要的一步了，我們要進(jìn)行爬蟲邏輯的開發(fā)。在這里先貼上代碼，然后再來解釋每一步的操作。

# -*- coding: utf-8 -*-
import scrapy
from secoo.items import SecooItem

class WatchSpider(scrapy.Spider):
    name = "watch"
    allowed_domains = ["secoo.com"]
    start_urls = ["http://list.secoo.com/watches/93-0-0-0-0-1-0-0-1-10-0-908_0.shtml"]


    def parse(self, response):
        """
        解析商品列表頁面的內(nèi)容,提取商品頁面鏈接并生成請(qǐng)求
        :param response:
        :return:
        """
        #解析商品鏈接
        goods_links = response.css("body .product_box .commodity-list dl .show_tips dt>a::attr(href)").extract()

        for url in goods_links:
            #分別去爬取商品信息
            yield scrapy.Request(url, callback=self.parse_goods, dont_filter=True)

        next_page = self.get_next_page_url(response)
        if next_page:
            yield scrapy.Request(next_page, callback=self.parse)


    def get_next_page_url(self, response):
        """
        獲取下一個(gè)商品列表的鏈接
        :param response:
        :return:
        """
        return response.css("a.next::attr(href)").extract_first()

    def parse_goods(self, response):
        """
        解析商品內(nèi)容,提取要爬取的字段
        :param response:
        :return:
        """
        name = response.css(".sopdetailsCon .contents .info_r .proName h2::text").extract_first()
        price = response.css("#secooPriceJs::text").extract_first()
        stock = response.css("#youhuo::text").extract_first()
        breadcrumb = "->".join(response.css(".smallNav p a::text").extract())

        yield SecooItem({
            "product_name": name,
            "breadcrumb": breadcrumb,
            "product_price": price,
            "product_stock": stock,
        })

在使用命令行工具生成爬蟲的時(shí)候就會(huì)幫我們定義好三個(gè)變量，一個(gè)是name，這個(gè)是定義爬蟲的名稱的；第二個(gè)是allowed_domains，這個(gè)是一個(gè)list，定義爬蟲允許爬取的域名；最后一個(gè)start_urls變量也是一個(gè)list類型，是用來定義爬蟲入口URL的，可以定義多個(gè)入口地址。
接下來是parse方法，這個(gè)方法是框架默認(rèn)的第一個(gè)處理方法，用來解析網(wǎng)頁內(nèi)容的。大概的邏輯在注釋中寫的比較清楚，邏輯就是我們解析那個(gè)產(chǎn)品列表頁面，從其中提取產(chǎn)品列表鏈接，然后生成請(qǐng)求去爬取產(chǎn)品信息，然后再去提取產(chǎn)品列表頁面的下一頁鏈接，再生成請(qǐng)求去請(qǐng)求這個(gè)頁面，處理回調(diào)方法就是parse方法，這樣就能實(shí)現(xiàn)所有翻頁爬取。
在parse方法里提取出來的產(chǎn)品鏈接生成了請(qǐng)求之后，我把爬蟲回調(diào)處理方法設(shè)置成parse_goods，因此我們要去定義一個(gè)parse_goods方法來處理產(chǎn)品頁面html內(nèi)容。通過xpath或是css的selector方法來提取我們想要爬取的內(nèi)容，然后丟給pipelines.py來處理了。這樣我們就把爬蟲的所有邏輯實(shí)現(xiàn)完成了，最后一步不是驗(yàn)證爬蟲的運(yùn)行情況了。

五、運(yùn)行
最后一步就是就是運(yùn)行操作，我們?cè)诿钚邢?，進(jìn)入項(xiàng)目目錄，然后執(zhí)行下面命令就能正常運(yùn)行爬蟲了，由于我們沒有寫保存操作，因此我們就把數(shù)據(jù)導(dǎo)出到一個(gè)json文件里。

scrapy crawl watch --output=product.json