摘要：當(dāng)項(xiàng)目進(jìn)入，組內(nèi)的將被的調(diào)度器和下載器這意味著調(diào)度器和下載器的中間件可以復(fù)用安排下載，當(dāng)優(yōu)先級(jí)更高，會(huì)在其他頁(yè)面被抓取前處理。這個(gè)組將包含一個(gè)字典列表，其中包括下載文件的信息，比如下載路徑源抓取地址從組獲得和圖片的校驗(yàn)碼。

對(duì)于圖片爬取，最容易想到的是通過(guò)urllib庫(kù)或者requests庫(kù)實(shí)現(xiàn)。具體兩種方法的實(shí)現(xiàn)如下：

使用urllib.request.urlretrieve方法，通過(guò)圖片url和存儲(chǔ)的名稱完成下載。

"""
Signature: request.urlretrieve(url, filename=None, reporthook=None, data=None)
Docstring:
Retrieve a URL into a temporary location on disk.

Requires a URL argument. If a filename is passed, it is used as
the temporary file location. The reporthook argument should be
a callable that accepts a block number, a read size, and the
total file size of the URL target. The data argument should be
valid URL encoded data.

If a filename is passed and the URL points to a local resource,
the result is a copy from local file to new file.

Returns a tuple containing the path to the newly created
data file as well as the resulting HTTPMessage object.
File:      ~/anaconda/lib/python3.6/urllib/request.py
Type:      function
"""

參數(shù) finename 指定了保存本地路徑（如果參數(shù)未指定，urllib會(huì)生成一個(gè)臨時(shí)文件保存數(shù)據(jù)。）

參數(shù) reporthook 是一個(gè)回調(diào)函數(shù)，當(dāng)連接上服務(wù)器、以及相應(yīng)的數(shù)據(jù)塊傳輸完畢時(shí)會(huì)觸發(fā)該回調(diào)，我們可以利用這個(gè)回調(diào)函數(shù)來(lái)顯示當(dāng)前的下載進(jìn)度。

參數(shù) data 指 post 到服務(wù)器的數(shù)據(jù)，該方法返回一個(gè)包含兩個(gè)元素的(filename, headers)元組，filename 表示保存到本地的路徑，header 表示服務(wù)器的響應(yīng)頭。

使用示例：

request.urlretrieve("https://img3.doubanio.com/view/photo/photo/public/p454345512.jpg", "kids.jpg")

但很有可能返回403錯(cuò)誤（Forbidden），如：http://www.qnong.com.cn/uploa...。Stack Overflow指出原因：This website is blocking the user-agent used by urllib, so you need to change it in your request.

給urlretrieve加上User-Agent還挺麻煩，方法如下：

import urllib

opener = request.build_opener()
headers = ("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:53.0) Gecko/20100101 Firefox/53.0")
opener.addheaders = [headers]
request.install_opener(opener)
request.urlretrieve("http://www.qnong.com.cn/uploadfile/2016/0416/20160416101815887.jpg", "./dog.jpg")

使用requests.get()獲取圖片，但要將參數(shù)stream設(shè)為True。

import requests

req = requests.get("http://www.qnong.com.cn/uploadfile/2016/0416/20160416101815887.jpg", stream=True)

with open("dog.jpg", "wb") as wr:
    for chunk in req.iter_content(chunk_size=1024):
        if chunk:
            wr.write(chunk)
            wr.flush()

requests添加User-Agent也很方便，使用headers參數(shù)即可。

Scrapy 自帶 ImagesPipeline 和 FilePipeline 用于圖片和文件下載，最簡(jiǎn)單使用 ImagesPipeline 只需要在 settings 中配置。

# settings.py
ITEM_PIPELINES = {
    "scrapy.pipelines.images.ImagesPipeline": 500
}

IMAGES_STORE = "pictures"  # 圖片存儲(chǔ)目錄
IMAGES_MIN_HEIGHT = 400  # 小于600*400的圖片過(guò)濾
IMAGES_MIN_WIDTH = 600

# items.py
import scrapy

class PictureItem(scrapy.Item):
    image_urls = scrapy.Field()

# myspider.py
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


from ..items import BeePicture

class PicSpider(CrawlSpider):
    name = "pic"
    allowed_domains = ["qnong.com.cn"]
    start_urls = ["http://www.qnong.com.cn/"]

    rules = (
        Rule(LinkExtractor(allow=r".*?", restrict_xpaths=("http://a[@href]")), callback="parse_item", follow=True),
    )

    def parse_item(self, response):
        for img_url in response.xpath("http://img/@src").extract():
            item = PictureItem()
            item["image_urls"] = [response.urljoin(img_url)]
            yield item

默認(rèn)情況下，使用ImagePipeline組件下載圖片的時(shí)候，圖片名稱是以圖片URL的SHA1值進(jìn)行保存的。

如：
圖片URL: http://www.example.com/image.jpg
SHA1結(jié)果：3afec3b4765f8f0a07b78f98c07b83f013567a0a
則圖片名稱：3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg

想要以自定義圖片文件名需要重寫(xiě) ImagesPipeline 的file_path方法。參考：https://doc.scrapy.org/en/lat...。

# settings.py
ITEM_PIPELINES = {
    "qnong.pipelines.MyImagesPipeline": 500,
}

# items.py
import scrapy

class PictureItem(scrapy.Item):
    image_urls = scrapy.Field()
    images = scrapy.Field()
    image_paths = scrapy.Field()

# myspider.py
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


from ..items import BeePicture

class PicSpider(CrawlSpider):
    name = "pic"
    allowed_domains = ["qnong.com.cn"]
    start_urls = ["http://www.qnong.com.cn/"]

    rules = (
        Rule(LinkExtractor(allow=r".*?", restrict_xpaths=("http://a[@href]")), callback="parse_item", follow=True),
    )

    def parse_item(self, response):
        for img_url in response.xpath("http://img/@src").extract():
            item = PictureItem()
            item["image_urls"] = [response.urljoin(img_url)]
            yield item

# pipelines.py
from scrapy.exceptions import DropItem
from scrapy.pipelines.images import ImagesPipeline
import scrapy

class MyImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for img_url in item["image_urls"]:
            yield scrapy.Request(img_url)

    def item_completed(self, results, item, info):
        image_paths = [x["path"] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item["image_paths"] = image_paths
        return item

    def file_path(self, request, response=None, info=None):
        image_guid = request.url.split("/")[-1]
        return "full/%s" % (image_guid)

FilesPipeline

在一個(gè)爬蟲(chóng)里，你抓取一個(gè)項(xiàng)目，把其中圖片的URL放入 file_urls 組內(nèi)。

項(xiàng)目從爬蟲(chóng)內(nèi)返回，進(jìn)入項(xiàng)目管道。

當(dāng)項(xiàng)目進(jìn)入 FilesPipeline，file_urls 組內(nèi)的 URLs 將被 Scrapy 的調(diào)度器和下載器（這意味著調(diào)度器和下載器的中間件可以復(fù)用）安排下載，當(dāng)優(yōu)先級(jí)更高，會(huì)在其他頁(yè)面被抓取前處理。項(xiàng)目會(huì)在這個(gè)特定的管道階段保持“l(fā)ocker”的狀態(tài)，直到完成文件的下載（或者由于某些原因未完成下載）。

當(dāng)文件下載完后，另一個(gè)字段(files)將被更新到結(jié)構(gòu)中。這個(gè)組將包含一個(gè)字典列表，其中包括下載文件的信息，比如下載路徑、源抓取地址（從 file_urls 組獲得）和圖片的校驗(yàn)碼(checksum)。 files 列表中的文件順序?qū)⒑驮?file_urls 組保持一致。如果某個(gè)圖片下載失敗，將會(huì)記錄下錯(cuò)誤信息，圖片也不會(huì)出現(xiàn)在 files 組中。

ImagesPipeline

在一個(gè)爬蟲(chóng)里，你抓取一個(gè)項(xiàng)目，把其中圖片的 URL 放入 images_urls 組內(nèi)。

項(xiàng)目從爬蟲(chóng)內(nèi)返回，進(jìn)入項(xiàng)目管道。

當(dāng)項(xiàng)目進(jìn)入 Imagespipeline，images_urls 組內(nèi)的URLs將被Scrapy的調(diào)度器和下載器（這意味著調(diào)度器和下載器的中間件可以復(fù)用）安排下載，當(dāng)優(yōu)先級(jí)更高，會(huì)在其他頁(yè)面被抓取前處理。項(xiàng)目會(huì)在這個(gè)特定的管道階段保持“l(fā)ocker”的狀態(tài)，直到完成文件的下載（或者由于某些原因未完成下載）。

當(dāng)文件下載完后，另一個(gè)字段(images)將被更新到結(jié)構(gòu)中。這個(gè)組將包含一個(gè)字典列表，其中包括下載文件的信息，比如下載路徑、源抓取地址（從 images_urls 組獲得）和圖片的校驗(yàn)碼(checksum)。 images 列表中的文件順序?qū)⒑驮?images_urls 組保持一致。如果某個(gè)圖片下載失敗，將會(huì)記錄下錯(cuò)誤信息，圖片也不會(huì)出現(xiàn)在 images 組中。

Scrapy 不僅可以下載圖片，還可以生成指定大小的縮略圖。
Pillow 是用來(lái)生成縮略圖，并將圖片歸一化為 JPEG/RGB 格式，因此為了使用圖片管道，你需要安裝這個(gè)庫(kù)。