摘要：智聯其實一共寫了兩次，有興趣的可以在源碼看看，第一版的是回調版，只能一次一頁的爬取。

寫在前面的話，

　　　.......還是不寫了，直接上效果圖。附上源碼地址 github.lonhon

ok， 正文開始，先列出用到的和require的東西：

node.js，這個是必須的
request，然發送網絡請求更方便
bluebird，讓Promise更高效
cheerio，像jQuery一樣優雅的解析頁面
fs，讀寫本地文件
之前寫的代理ip的爬取結果，代理池

由于自己的比較偏好數據方面，之前一直就想用python做一些爬蟲的東西，奈何一直糾結2.7還是3.x（逃...

上周在看慕課網上的node教程，就跟著課程敲了一次爬蟲，從慕課網上的課程開始入手，然后就開始了愉快的爬蟲之路。
這兩周的爬取路程如下：
慕課網所有課程含章節列表-->拉勾網招聘信息-->xiciIP的代理ip-->boss直聘招聘信息-->個人貼吧回帖記錄-->最后就是這次講的智聯招聘的爬蟲代碼。

智聯其實一共寫了兩次，有興趣的可以在源碼看看，第一版的是回調版，只能一次一頁的爬取。現在講的是promise版（文件位置/zlzp/zlzp-pure.js），能夠很好的利用node的異步，快速爬取多個頁面，寫的時候測試了一下，爬取30頁，每頁60條數據，耗時73s，這個結果主要受代理ip影響。

"use strict";
var http = require("http")
var cheerio = require("cheerio")
var request = require("request")
var fs = require("fs")
var Promise = require("bluebird")//雖然原生已經支持，但bluebird效率更高
var iplist = require("../ip_http.json") //代理池

//發送請求，成功寫入文件，失敗換代理
var getHtml = function (url,ipac,ppp) {
    return new Promise(function(resolve,reject){
        if (ipac >= iplist.length){        
            console.log("page:"+ppp+"all died"); //代理用完，取消當前頁面ppp的請求
            reject(url,false);
        }
        let prox = {    //設置代理
            url: url,
            proxy: "http://" + iplist[ipac],
            timeout: 5000,
            headers: {
                "Host": "sou.zhaopin.com",
                "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36"
            }
        };
        request(prox, function (err, res, body) {
            if (err) {
                reject(url)//失敗，回傳當前請求的頁面url
            } else {
                resolve(body, url)//成功回傳html和url
            }
        })
    }) 
}
//解析doc
function filterHtml(html,p,noww){
    let res = [];//存放結果集
    var $ = cheerio.load(html);
    if($("title").text().indexOf("招聘") === -1) {    //根據title判斷是否被代理重定向
        iplist.splice(noww[2],1);   //刪除假代理。
        return lhlh(noww[0],noww[1],noww[2]+1);
    }
    $(".newlist").each(function(item){
        res.push({
            zwmc: $(this).find(".zwmc").find("div").text().replace(/s+/g,"").replace(/
/g,""),
            gsmc: $(this).find(".gsmc").find("a").eq(0).text().replace(/s+/g,"").replace(/
/g,""),
            zwyx: $(this).find(".zwyx").text().replace(/s+/g,"").replace(/
/g,""),
            gzdd: $(this).find(".gzdd").text().replace(/s+/g,"").replace(/
/g,""),
            gxsj: $(this).find(".gxsj").find("span").text().replace(/s+/g,"").replace(/
/g,"")
        })
    })
    res.shift();//刪除表頭行
    if(res.length < 60){
        return lhlh(noww[0],noww[1],noww[2]+1);
    }
    return creatfile(res,p);
}
//寫入本地
function creatfile(list,page) {
    var ttxt = "page:" + page + "
";//每頁標題
    list.forEach(function(el) {  //遍歷數據為文本
        ttxt += el.zwmc + ","+ el.gsmc + ","+ el.zwyx + ","+ el.gzdd + ","+ el.gxsj + "
";
    });
    fs.appendFile("./" + "zlzp-pure.txt", "page:"+ttxt+"
" , "utf-8", function (err) {
        if (!err) {
            let currTime = Math.round((Date.parse(new Date()) - startTime) / 1000); 
            console.log("page:" + page +" is ok:" +list.length + ",spend:" + currTime + "s" ); // page:1 is ok
        }
    })
}

//請求封裝為promise
function lhlh(url,page,ipac){
    getHtml(url,ipac,page).then((html,oldurl)=>{
        let noww= [url,page,ipac]
        filterHtml(html,page,noww);
    })
    .catch((url,type = true)=>{
        if(type){
            ipac += 1;
            lhlh(url,page,ipac);
        }
    })
} 
var target = "http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%e6%88%90%e9%83%bd&kw=web%e5%89%8d%e7%ab%af&isadv=0&sg=8cd66893b0d14261bde1e33b154456f2&p=";
let ipacc = 0;
var startTime = Date.parse(new Date());
for(let i=1; i<31; i++){
    let ourl = target + i;
    lhlh(ourl, i, 0);
}

先貼出源碼，在線地址可以在文首獲取

現在說說本次爬蟲的流程：

循環請求爬取的頁面，這里通過target和循環變量i，拼裝請求鏈接ourl；這里由于請求的是http協議鏈接，所以用的http的代理，如果是https，則切換為https代理池文件。

進入lhlh方法，這里是對實際發送網絡請求的getHtnl方法做一個Promise的調用，也是通過遞歸該方法實現代理ip的切換。

getHtml方法，首先是對代理池是否用完做一個判斷，如果溢出則終止對當前頁面的爬取，然后是配置request的option+代理的設置，然后return一個promise

filterHtml方法，對請求回來的頁面做解析，提取所需的數據

createfile方法，實現數據的本地存儲

接下來具體解析

1、怎么發送請求？

for(let i=1; i<31; i++){
    let ourl = target + i;
    lhlh(ourl, i, 0);
}

包括頭部的require、生成url。這里因為智聯每次最新的結果只有30頁，所有循環30次
這里使用循環發送request，因為request是一個異步操作，所以這里需要將url和當前請求頁面page作為參數傳出去.
在調用lhlh方法的時候還傳入了一個0，這是一個代理池的初始值。

2.lhlh方法做了什么？
lhlh函數體內主要是對getHtml方法返回的Promise做成功和失敗的處理，邏輯上是：
　　成功-->調用filterHtml，并傳入請求結果
　　失敗-->根據type判斷異常情況 ①切換代理，重新請求 ②代理用完，取消本頁請求
另外，對傳入進來的url、page、代理池下標做一個閉包，傳入每次的請求中，從而保證每次請求的可控性。

3.主角——getHtml方法，返回Promise
在一開始做一個判斷，代理池是否溢出，溢出就拋出reject。
生成請求option，主要配置了代理池和Headers，目的也是為了解決網站的反爬。（代理ip的爬取在上級的ip.js中，自取）
接下來就是把請求發送出去，發送請求意味著有兩種結果：
　　成功-->返回response，進行下一步解析
　　失敗-->返回當前請求的url
4.filterHtml對response解析
這里就需要結合頁面結構進行代碼的編寫了，先看看我們要請求的頁面長什么樣子：

用chrome的開發工具可以很容易看到招聘數據是放在一個class=“newlist”的table中，再結合cheerio，能夠很優雅的對頁面中的dom進行提取，具體步驟就是遍歷table，取出數據，然后push到result中。

ps：①其實這里還能夠提高代碼質量和效率的，就是直接生成創建txt文件所需的文本，這樣就少了對數據的一次遍歷，但是為了易于理解過程，還是push到result中傳出了。
②紅框中的第一個table其實是放表頭的，并沒有實際數據，所以代碼中用了result.shift()刪除了第一個元素

5.本地保存爬回來的數據

對傳入的參數也就是上一步的result進行遍歷，生成創建txt文件所需的字符串。

通過fs.appendFile方法就可以創建本地文件了 ，格式為：fs.appendFile 具體的用法可以百度一下。
最后在生成txt文件后打印了當前頁流程走完的提示信息和所消耗的時間。
PS: ①.這里其實應該存入本地數據庫or生成表格文件（將數據結構化），但是由于需要搭建數據庫環境or引入新的模塊，故生成的是txt文件。另在createflie中遍歷生成ttxt時候，我在不同數據之間插入的分隔符“,”，這樣可以方便的導入到表格or數據庫中
②fs.appendFile之類的文件操作是異步的。從實際情況考慮，由于每次寫入的內容不同和磁盤讀寫性能的影響，也注定fs的文件操作是一個異步過程。

個人總結

如果你看到這里了，相信你對本文感興趣，可以的話來個 star 吧
promise的目的1：在異步操作結束把異步結果返回，讓代碼更扁平，比如：

function c(val){
　　//本函數功能需要b的返回值才能實現
}
function b(){  放一些異步操作，返回 Promise   }
function a(){
    調用異步方法b
    b().then(function(val:resolve的返回值){
        這時候就可以直接使用c(val)
        使用原來的回調函數就必須把c方法放在async方法中執行，當回調過多的時候函數調用就會變成a(b(c(d(e(f(...))))))，層層嵌套
        而使用Promise函數調用就可以扁平為a()->b()->c()...，特別是當理解了Promise的運行步驟后，
    })
}

promise缺點：性能上和回調函數比較會遜色一些，這也是本次爬蟲在node.js v-7.10.0完美實現promise的情況下還引入bluebird的主要原因。

閉包:閉包實現了面向對象中的封裝。
異步操作的時候通過閉包可以獲取同一個變量，而不會改變其它線程在使用的變量，這也是js實現私有變量的
比如本次爬蟲中每次filterHtml解析網頁完成后的結果集res，如果放在外層，則會被正在運行的其它異步操作影響，導致傳入creatfile的res被影響,
再比如每次爬取的page，如果取for循環里面的i，那最后得到的是i最后的值，所以需要將i傳入方法，通過閉包實現每次輸出到txt文件的page是當前爬取的page。
當異步函數A、B同時在運行時，

            異步A    異步B
00:01       A=1      
00:02                A=2
00:03       A===2