Python爬蟲框架Scrapy實戰(zhàn) - 抓取BOSS直聘招聘信息

zero 發(fā)布于2019-06-28 14:29 / 2615人閱讀

原文地址： http://www.jtahstu.com/blog/s...

Python爬蟲框架Scrapy實戰(zhàn) - 抓取BOSS直聘招聘信息 零、開發(fā)環(huán)境

MacBook Pro (13-inch, 2016, Two Thunderbolt 3 ports)

CPU : 2 GHz Intel Core i5

RAM : 8 GB 1867 MHz LPDDR3

Python 版本: v3.6.3 [GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin

MongoDB 版本: v3.4.7

MongoDB 可視化工具：MongoBooster v4.1.3

一、準(zhǔn)備工作 安裝 Scrapy

pip3 install scrapy

如果順利的話,會像本人這樣,裝了一大堆軟件包

參考翻譯文檔的安裝教程：http://scrapy-chs.readthedocs...

官方 GitHub 地址：https://github.com/scrapy/scrapy

二、新建項目

scrapy startproject www_zhipin_com

如果順利的話,會像本人這樣

三、定義要抓取的 Item

在items.py 文件中定義一個類

class WwwZhipinComItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pid = scrapy.Field()
    positionName = scrapy.Field()
    positionLables = scrapy.Field()
    workYear = scrapy.Field()
    salary = scrapy.Field()
    city = scrapy.Field()
    education = scrapy.Field()
    companyShortName = scrapy.Field()
    industryField = scrapy.Field()
    financeStage = scrapy.Field()
    companySize = scrapy.Field()
    time = scrapy.Field()
    updated_at = scrapy.Field()

四、分析頁面

一般一條招聘像下面這樣

html 結(jié)構(gòu)如下

爬蟲中就是使用 css 選擇器獲取標(biāo)簽里的文字或鏈接等

五、爬蟲代碼

在 spiders 目錄下新建 zhipin_spider.py

# -*- coding: utf-8 -*-
import scrapy
import time
from www_zhipin_com.items import WwwZhipinComItem


class ZhipinSpider(scrapy.Spider):
    # spider的名字定義了Scrapy如何定位(并初始化)spider，所以其必須是唯一的。 不過您可以生成多個相同的spider實例(instance)，這沒有任何限制。 name是spider最重要的屬性，而且是必須的
    name = "zhipin"
    
    # 可選。包含了spider允許爬取的域名(domain)列表(list)。 當(dāng) OffsiteMiddleware 啟用時， 域名不在列表中的URL不會被跟進(jìn)。
    allowed_domains = ["www.zhipin.com"]
    
    # URL列表。當(dāng)沒有制定特定的URL時，spider將從該列表中開始進(jìn)行爬取。
    # 這里我們進(jìn)行了指定，所以不是從這個 URL 列表里爬取
    start_urls = ["http://www.zhipin.com/"] 
    
    # 要爬取的頁面，可以改為自己需要搜的條件，這里搜的是 上海-PHP，其他條件都是不限
    positionUrl = "http://www.zhipin.com/c101020100/h_101020100/?query=php"
    curPage = 1

    # 發(fā)送 header，偽裝為瀏覽器
    headers = {
        "x-devtools-emulate-network-conditions-client-id": "5f2fc4da-c727-43c0-aad4-37fce8e3ff39",
        "upgrade-insecure-requests": "1",
        "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36",
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
        "dnt": "1",
        "accept-encoding": "gzip, deflate",
        "accept-language": "zh-CN,zh;q=0.8,en;q=0.6",
        "cookie": "__c=1501326829; lastCity=101020100; __g=-; __l=r=https%3A%2F%2Fwww.google.com.hk%2F&l=%2F; __a=38940428.1501326829..1501326829.20.1.20.20; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1501326839; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1502948718; __c=1501326829; lastCity=101020100; __g=-; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1501326839; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1502954829; __l=r=https%3A%2F%2Fwww.google.com.hk%2F&l=%2F; __a=38940428.1501326829..1501326829.21.1.21.21",
        "cache-control": "no-cache",
        "postman-token": "76554687-c4df-0c17-7cc0-5bf3845c9831"
    }

    //該方法必須返回一個可迭代對象(iterable)。該對象包含了spider用于爬取的第一個Request。
    //該方法僅僅會被Scrapy調(diào)用一次，因此您可以將其實現(xiàn)為生成器。
    def start_requests(self):
        return [self.next_request()]

    //負(fù)責(zé)處理response并返回處理的數(shù)據(jù)以及(/或)跟進(jìn)的URL。
    def parse(self, response):
        print("request -> " + response.url)
        job_list = response.css("div.job-list > ul > li")
        for job in job_list:
            item = WwwZhipinComItem()
            job_primary = job.css("div.job-primary")
            item["pid"] = job.css(
                "div.info-primary > h3 > a::attr(data-jobid)").extract_first().strip()
            item["positionName"] = job_primary.css(
                "div.info-primary > h3 > a::text").extract_first().strip()
            item["salary"] = job_primary.css(
                "div.info-primary > h3 > a > span::text").extract_first().strip()
            info_primary = job_primary.css(
                "div.info-primary > p::text").extract()
            item["city"] = info_primary[0].strip()
            item["workYear"] = info_primary[1].strip()
            item["education"] = info_primary[2].strip()
            item["companyShortName"] = job_primary.css(
                "div.info-company > div.company-text > h3 > a::text"
            ).extract_first().strip()
            company_infos = job_primary.css(
                "div.info-company > div.company-text > p::text").extract()
            if len(company_infos) == 3: # 有一條招聘這里只有兩項，所以加個判斷
                item["industryField"] = company_infos[0].strip()
                item["financeStage"] = company_infos[1].strip()
                item["companySize"] = company_infos[2].strip()
            item["positionLables"] = job.css(
                "li > div.job-tags > span::text").extract()
            item["time"] = job.css("span.time::text").extract_first().strip()
            item["updated_at"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
            yield item

        self.curPage += 1
        time.sleep(5) # 停停停！聽聽聽！都給我停下來聽著！睡一會(～﹃～)~zZ
        yield self.next_request()

    # 發(fā)送請求
    def next_request(self):
        return scrapy.http.FormRequest(
            self.positionUrl + ("&page=%d&ka=page-%d" %
                                (self.curPage, self.curPage)),
            headers=self.headers,
            callback=self.parse)

運行腳本

scrapy crawl zhipin -o item.json

這里會在項目目錄下生成 item.json 的一個 json 文件

運行情況如下

http://cdn.jtup.cc/blog/video...

Point 1 設(shè)置 UTF-8 編碼

但是不巧，往往這是一個 Unicode 編碼的文件，所以需要加個設(shè)置

在 settings.py中添加(PS:也可以在運行的時候帶上這個參數(shù))

FEED_EXPORT_ENCODING = "utf-8"

親測以下方法是不能解決問題的

Point 2 慢一點

注意不要爬的太快，因為 BOSS 直聘只會顯示20頁的招聘信息，所以理論上這個腳本只要執(zhí)行20次即可，那么間隔時間盡量設(shè)置長一點，本人爬的時候設(shè)置的是5秒，但是后面稍微快了一點就六字真言了，還好我已經(jīng)把數(shù)據(jù)爬到了

慢一點，才能快一點！

Point 3 修改為自定義的條件

可以修改 zhipin_spider.py 第18行 positionUrl 的鏈接，把 PHP 修改為 Java 或 Python，把城市編碼（"c101020100" == 上海）換成你需要查詢的城市，即可爬取自定的崗位，這就很靈性了！

六、保存到數(shù)據(jù)庫

一條json數(shù)據(jù)如下

{
    "pid": "16115932",
    "positionName": "PHP后臺開發(fā)工程師",
    "salary": "13K-20K",
    "city": "上海",
    "workYear": "1-3年",
    "education": "本科",
    "companyShortName": "蜻蜓FM",
    "industryField": "互聯(lián)網(wǎng)",
    "financeStage": "D輪及以上",
    "companySize": "100-499人",
    "positionLables": [
      "PHP"
    ],
    "time": "發(fā)布于昨天",
    "updated_at": "2017-12-10 17:36:21"
  },

使用軟件將json文件導(dǎo)入到 MongoDB 中,以備后面的使用

七、不足

這里招聘的詳細(xì)要求還沒有爬取

剛抓到的數(shù)據(jù)還沒初步處理

本項目開源地址：http://git.jtahstu.com/jtahst...

八、后記

有人可能會問，爬這些數(shù)據(jù)有什么用呢，現(xiàn)在又不跳槽。

本人的回答是，那當(dāng)然肯定必須有用啊，所謂防患于未然、知己知彼，百戰(zhàn)不殆，只有及時了解市面上的需求，才能有針對性的提升自己、學(xué)習(xí)技術(shù)，從另一方面來看，那有關(guān)錢途的事都是大事啊。

ok，本文到此為止，下一篇就是讓我們來好好分析，招聘 PHP 程序員，企業(yè)到底需要招聘的是什么樣的 PHP程序員。PHP 程序員需要具備哪些常規(guī)技能和哪些冷門技能，應(yīng)該點亮怎樣的技能樹，敬請期待。

非常感謝你能抽出三五分鐘看完這篇 Python 基礎(chǔ)入門的文章， ^_^

九、致謝

在文章的創(chuàng)作過程中，參考了以下文檔和文章等

Scrapy 1.0 中文文檔

Scrapy安裝、爬蟲入門教程、爬蟲實例（豆瓣電影爬蟲） - 博客園

Scrapy筆記02- 完整示例

GPU云服務(wù)器云服務(wù)器 python爬蟲框架scrapy scrapy爬蟲實戰(zhàn) boss直聘如何投遞簡歷 boss直聘怎么發(fā)簡歷

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/26219.html

發(fā)表評論

登陸后可評論

0條評論

zero

男|高級講師

我要關(guān)注我要私信

TA的文章

還在用云主機(jī)建站？Cube容器簡單3步搭建WordPress

閱讀 2171·2020-06-12 14:26
safari,IOS下iframe寬高度被內(nèi)容撐出設(shè)備高度

閱讀 2477·2019-08-29 16:41
JS基礎(chǔ)入門篇（十）— 數(shù)組方法

閱讀 1884·2019-08-29 15:28
《JavaScript高級程序設(shè)計》（第3版）讀書筆記第5章引用類型

閱讀 2447·2019-08-26 13:43
學(xué)習(xí)node.js 斷言的使用

閱讀 752·2019-08-26 13:37
React 新特性 Hooks 講解及實例(二)

閱讀 2771·2019-08-23 18:13
用Node EJS寫一個爬蟲腳本每天定時給心愛的她發(fā)一封暖心郵件

閱讀 2791·2019-08-23 15:31
【JS基礎(chǔ)】DOM，BOM，事件綁定，ajax，跨域，存儲

閱讀 1013·2019-08-23 14:10

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

Python爬蟲框架Scrapy實戰(zhàn) - 抓取BOSS直聘招聘信息

相關(guān)文章