Scrapy爬取智聯(lián)招聘

Tamic 發(fā)布于2019-07-31 10:18 / 1786人閱讀

摘要：之前接了一個(gè)活，做的功能是從智聯(lián)招聘爬取招聘信息賺了幾百塊零花錢實(shí)現(xiàn)了一個(gè)，如圖雖然比較丑，但是簡潔明了，落落大方已經(jīng)是我水平的天花板了具體功能說明就不了，大家都能看懂的。。。。智聯(lián)招聘鏈接網(wǎng)頁是這個(gè)樣子的，反爬蟲不強(qiáng)。

之前接了一個(gè)活，做的功能是從智聯(lián)招聘爬取招聘信息
賺了幾百塊零花錢
實(shí)現(xiàn)了一個(gè)GUI，如圖：

雖然比較丑low，但是簡潔明了，落落大方（已經(jīng)是我水平的天花板了）
具體功能說明就不了，大家都能看懂的。。。。
智聯(lián)招聘鏈接

網(wǎng)頁是這個(gè)樣子的，反爬蟲不強(qiáng)。
還實(shí)現(xiàn)了一個(gè)功能，就是定時(shí)發(fā)送郵件
如圖：

具體功能說明就不了，大家都能看懂的。。。。
接下來就要開源代碼了，本來想上傳文件，但是發(fā)現(xiàn)思否不支持（好像其他博客也不行。。。。。）
所以準(zhǔn)備發(fā)到github上了。
Github鏈接呢

順便說一下思路：
網(wǎng)頁參數(shù)jl是控制地區(qū)的

#下拉列表(地區(qū))
area={
    "全國": 489,
    "北京": 530,
    "上海": 538,
    "深圳": 765,
    "廣州": 763,
    "天津": 531,
    "成都": 801,
    "杭州": 653,
    "武漢": 736,
    "大連": 600,
    "南京": 635,
    "蘇州": 639,
    "西安": 854,
}

kw參數(shù)就是搜索關(guān)鍵詞
https://sou.zhaopin.com/?jl=6...

def start_requests(self):發(fā)送請(qǐng)求
def parse(self, response):解析列表，發(fā)送子請(qǐng)求（為了獲取詳情）
def re_parse(self, response):解析具體內(nèi)容

最后，網(wǎng)頁時(shí)動(dòng)態(tài)渲染的，所以在middleware加了一個(gè)selenium，畢竟scrapy本身不支持動(dòng)態(tài)渲染。但這也破壞了scrapy的異步結(jié)構(gòu)，所以，速度不是很理想，但夠用。

詳情的話，具體看代碼吧。乏了。