国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

scrapy學(xué)習(xí)之路2(圖片下載與下載的路徑獲取)

WelliJhon / 806人閱讀

摘要：圖片下載和拿到下載后的路徑小封面圖的爬取，后面通過傳到中詳情頁的爬取詳情頁的完整地址下一頁的爬取與請(qǐng)求不明打開功能注意如要進(jìn)一步定制功能補(bǔ)充新建

圖片下載和拿到下載后的路徑 1

items.py

import scrapy

class InfoItem(scrapy.Item):
    url = scrapy.Field()
    url_object_id = scrapy.Field()
    small_image = scrapy.Field()
    small_image_path = scrapy.Field()
    big_image = scrapy.Field()
    big_image_path = scrapy.Field()
    code = scrapy.Field()
    date = scrapy.Field()
    lengths = scrapy.Field()
    author = scrapy.Field()
    cate = scrapy.Field()
    av_artor = scrapy.Field()

spider/jxxx.py

# -*- coding: utf-8 -*-
import scrapy
from urllib import parse
from scrapy.http import Request
from JaSpider.items import InfoItem
from JaSpider.utils.common import get_md5


class JxxxSpider(scrapy.Spider):
    name = "jxxx"
    allowed_domains = ["www.jxxx.com"]
    start_urls = ["http://www.jxxx.com/cn/vl_update.php"]

    def parse(self, response):
        for i in response.css(".video"):
            small_image = i.css("img::attr(src)").extract_first() # 小封面圖的爬取，后面通過meta傳到parse_info中
            link = i.css("a::attr(href)").extract_first() # 詳情頁的url爬取
            real_url = parse.urljoin(response.url, link) # 詳情頁的完整地址
            yield Request(url=real_url, meta={"small_image": small_image}, callback=self.parse_info)
        # 下一頁的爬取與請(qǐng)求    
        next_url = response.css(".page_selector .page.next::attr(href)").extract_first()
        perfect_next_url = parse.urljoin(response.url, next_url)
        if next_url:
            yield Request(url=perfect_next_url, callback=self.parse)

    def parse_info(self, response):
        small_image = "http:"+response.meta["small_image"]
        big_image = "http:"+response.xpath("http://div[@id="video_jacket"]/img/@src").extract_first()
        code = response.css("#video_id .text::text").extract_first()
        date = response.css("#video_date .text::text").extract_first()
        lengths = response.css("#video_length .text::text").extract_first()
        author = response.css("#video_director .director a::text").extract_first() if response.css("#video_director .director a::text").extract_first() else "不明"
        cate = ",".join([i.css("a::text").extract_first() for i in response.css("#video_genres .genre") if i.css("a::text").extract_first()])
        av_artor = ",".join([i.css("a::text").extract_first() for i in response.css(".star") if i.css("a::text").extract_first()])
        # print("http:"+small_image)
        info_item = InfoItem()
        info_item["url"] = response.url
        info_item["url_object_id"] = get_md5(response.url)
        info_item["small_image"] = small_image
        info_item["big_image"] = [big_image]
        info_item["code"] = code
        info_item["date"] = date
        info_item["lengths"] = lengths
        info_item["author"] = author
        info_item["cate"] = cate
        info_item["av_artor"] = av_artor
        yield info_item
2

打開pipeline功能 settings.py


注意!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!：
spider/jxxx.py

3

如要進(jìn)一步定制功能
settings.py

pipeline.py

4

補(bǔ)充
新建utils/common.py

import hashlib


def get_md5(url):
    if isinstance(url, str):
        url = url.encode("utf-8")
    m = hashlib.md5()
    m.update(url)
    return m.hexdigest()


if __name__ == "__main__":
    a = get_md5("http://www.haddu.com")
    print(a)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/41201.html

相關(guān)文章

  • scrapy 學(xué)習(xí)之路上的那些坑

    摘要：前言本文記錄自己在學(xué)習(xí)當(dāng)中遇到的各種大小問題，持續(xù)更新。錯(cuò)誤分析本身是一個(gè)網(wǎng)絡(luò)引擎框架，的運(yùn)行依賴于。在打開新建的項(xiàng)目后，報(bào)錯(cuò)顯示。錯(cuò)誤分析的默認(rèn)依賴項(xiàng)當(dāng)中沒有，或者說默認(rèn)查找的路徑中找不到。 前言 本文記錄自己在學(xué)習(xí)scrapy當(dāng)中遇到的各種大小問題，持續(xù)更新。 環(huán)境簡介： 語言版本 爬蟲框架 IDE 系統(tǒng) python3.5 scrapy1.4.0 pycharm win1...

    xiaodao 評(píng)論0 收藏0

  • scrapy的學(xué)習(xí)之路1(簡單的例子)

    摘要：的安裝環(huán)境是后面創(chuàng)建用來運(yùn)行的名網(wǎng)站域名在創(chuàng)建可以通過此文件運(yùn)行本文件名父文件名路徑和父文件名設(shè)置環(huán)境，必須以上運(yùn)行可能在下會(huì)報(bào)錯(cuò)準(zhǔn)備工作完在下獲取列表頁每一個(gè)的把獲取到的交給 scrapy的安裝 環(huán)境:python3.6 1 pip install -i https://pypi.douban.com/simple/ scrapy 2 scrapy startpr...

    guqiu 評(píng)論0 收藏0

  • 20、 Python快速開發(fā)分布式搜索引擎Scrapy精講—編寫spiders爬蟲文件循環(huán)抓取內(nèi)容

    摘要：百度云搜索，搜各種資料搜網(wǎng)盤，搜各種資料編寫爬蟲文件循環(huán)抓取內(nèi)容方法，將指定的地址添加到下載器下載頁面，兩個(gè)必須參數(shù)，參數(shù)頁面處理函數(shù)使用時(shí)需要方法，是庫下的方法，是自動(dòng)拼接，如果第二個(gè)參數(shù)的地址是相對(duì)路徑會(huì)自動(dòng)與第一個(gè)參數(shù)拼接導(dǎo) 【百度云搜索，搜各種資料:http://bdy.lqkweb.com】 【搜網(wǎng)盤，搜各種資料:http://www.swpan.cn】 編寫spiders爬...

    CntChen 評(píng)論0 收藏0

  • windows下安裝python+scrapy

    摘要：好啦一切準(zhǔn)備工作就緒，現(xiàn)在開始安裝庫安裝成功后，安裝就簡單了，在命令提示符窗口直接輸入命令回車現(xiàn)在一切都搞定了，可以新建一個(gè)測(cè)試，敲一個(gè)基于框架的爬蟲程序咯。 最近忽然有了想要學(xué)習(xí)python爬蟲的想法，但是首先需要安裝工具。python安裝倒是很輕松，只要傻瓜式一鍵安裝即可，但是在Windows下安裝scrapy倒不是件容易的事情。言歸正傳，說下我從昨天下午到今天上午安裝的步驟： 1...

    dantezhao 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<