摘要：網頁源碼解析智聯招聘搜索列表一開始必須要解析智聯招聘搜索列表頁，從這里更方便實現各種深層級數據抓取。顯示不同源碼也不同，盡量選列表模式，源碼更好解析。

一開始必須要解析智聯招聘搜索列表頁，從這里更方便實現各種深層級數據抓取。
網頁地址是：
http://sou.zhaopin.com/jobs/searchresult.ashx

智聯招聘的服務器只接收Get方式，如果用Post方式抓取頁面，則不會返回想要的招聘信息，而會得到一堆廣告。
下面是我手動測試的一些智聯在這個頁面Get方式傳遞的搜索參數，也是目前最常用的（注釋掉的不怎么常用）：

data_filter = {
    "kw" : keyword, # 搜索關鍵詞
    "sm" : "0", # 顯示方式代碼： 列表是"0",詳細是"1"。顯示不同源碼也不同，盡量選列表模式，源碼更好解析。
    "jl" : "北京", # 搜索城市："北京"，多項用"+"連接(URL編碼為%2B)
    #"bj" : "", # 職位類別代碼：互聯網產品/運營管理 的代碼為 "160200"，多項用"%3B"連接(URL編碼的%)
    #"in" : "", # 行業代碼：多項用";"連接(URL編碼為%3B)
    "kt" : "0", # 關鍵詞搜索范圍：全文"0" | 公司名"1" | 職位名"2"
    "isadv" : "0", # 是否高級搜索：快速搜索"0" | 高級搜索"1"
    # "isfilter" : "1", # 是不是篩選器： "0" | "1"
    # "ispts" : "", # 通常為 "1"
    #"sj" : "", # 職位子類別代碼：
    # "gc" : "5號", # 地鐵線路： "5號"
    # "ga" : "立水橋", # 地名或地鐵站名： "天通苑南" 、 "小湯山"
    # "sb" : "0", # 排序方式代碼：默認排序是"0",相關度排序是"1", 首發日排序是"2"
    #"fjt" : "10000", # 職位標簽 五險一金"10000" 年底雙薪"10001" 績效獎金"10002" 等等
    # "sf" : "-1", # 月薪底線："8001" 不限是"-1"
    # "st" : "-1", # 月薪上限："10000" 不限是"-1"
    # "ct" : "-1", # 公司性質代碼
    # "el" : "-1", # 學歷代碼
    # "we" : "-1", # 工作經驗代碼
    # "et" : "-1", # 職位類型代碼：兼職"1" 全職"2" 實習"4"
    # "pd" : "-1", # 發布時間(天數)：一周是"7"，一個月是"30"，不限是"-1"
    "p" : page, # 頁碼，超出總頁碼時，則會顯示最后一頁
    #"gr" : "", # 
    # "re" : "2015", # 這個限制了搜素數量，但是其實也不是按年份搜索
    "sg" : guid, # 即全網唯一標示符——GUID
    #"" : "" #
}

它在python中的用法，就是通過urllib.urlencode()來轉成URL參數格式，并提交。

如果解析“列表模式”的智聯招聘網頁，需要在Get參數里面的sm設為0。
里面唯一需要的就是中間的結果列表部分，
即id為"newlist_list_content_table"的DIV用，源碼如下：

    
        一條招聘信息
    
    
        一條招聘信息
    

其中會循環輸出class為newlist的Table表格
即一條一條的招聘信息。
每一條招聘信息的源碼如下：

    

        
        

            會計（數據）
        
    
    
87%
    
中海軟銀投資管理有限公司
    
面議
    
北京
    
12-10


    

        

            

                

                    
地點：北京公司性質：民營公司規模：100-499人經驗：5-10年學歷：大專
 崗位職責：  1. 熟練使用excel數據統計功能； 2.核對第三方支付平臺及技術后臺數據并找出差異； 3. 完成與數據部工作銜接，做好數據臺賬的統計工作； 4．根據資產端和資金端數據完成日匯總報表； 5. 領導交辦的其他工作。...
                
                

                    

                        
                            
                        
                    
                    

                
            
        

在“列表”模式中，每一條記錄采用了Table格式，第一個TR是簡述信息，第二個TR是擴展信息。簡述信息中，每個信息都有固定Class屬性，而且是非空信息，是肯定能獲取到的。而擴展信息中，規則性不強，只能用“公司性質：xx”這樣的正則表達式來匹配或是用tag的嵌套層級和順序來定位，成功率和穩定性都不高。
總結一下，這里的主要定位方式為：

職位名稱： class = "zwmc"

反饋率 ： class = "fk_lv"

公司名稱： class = "gsmc"

職位月薪： class = "zwyx" 或 職位月薪：xx

工作地點： class = "gzdd" 或 地點：xx

更新時間： class = "gxsj" 或

公司性質： 公司性質：xx

公司規模： 公司規模：xx

學歷要求： 學歷：xx

崗位職責：

其實還有tag的嵌套層級和順序，可以用來定位信息。但是我不想這么做，因為這個太不穩定了，而且大大的增加了代碼的長度，如果不存在信息還會導致報錯。相比而言，用中文的人能理解的語言來進行正則匹配，更有成功率，且更容易操作。

如果解析“詳細模式”的智聯招聘網頁，需要在Get參數里面的sm設為1。
里面唯一需要的就是中間的結果列表部分，
即id為"newlist_list_content_table"的DIV用，源碼如下：

    
一條招聘信息
    
一條招聘信息

其中會循環輸出class為newlist_detail newlist的子DIV層
即一條一條的招聘信息。
每一條招聘信息的源碼如下：

    

        

            

                
                行政后勤經理
            

                
                樂視網信息技術(北京)股份有限公司
            

                地點：北京
                公司性質：上市公司
                公司規模：1000-9999人
                學歷：本科
            
 
            崗位職責：  1、負責對日常行政后勤工作（包括名片、加班餐、辦公用品、員工離入職、印章、會議室的相關事宜）進行全面的監督控制，發現問題及時予以規范，協助上級領導應對處理突發事件; 2、進行行政后勤各項費用預算，嚴格管控各項費用的使用情況，節省公司成本，實現效益的最大化; 3、部門員工的招聘與培養和...
        
        

            
12-07
            

                
                    
                
            
            

        
    

在源碼上，雖然“詳細模式”的解析和“列表模式”有很大的不同，幾個信息的抓取方式不一樣，但是卻可以共用。如有的是按照class名，有的是按照tag名等。但是這不影響兩種模式放在一起解析——為每一個信息元素如“月薪”、“公司名稱”等，設置多種搜索方式。在寫代碼時，只要分別檢索多種方式就可以獲得數據。具體參考抓取代碼的實現。

雖然每頁只能顯示40條信息，但是在頁面上方還是會顯示一共有多少條搜索結果。如“”
代碼如下：

    共2025個職位滿足條件

雖然沒有研究過GUID，但是我看到智聯招聘的網頁會在URL中顯示的調用，參數名為sg。
不知道它對爬蟲有什么影響。不過我還是嘗試著獲取了一下，很簡單直接用id搜索input標簽的value就行。網頁源碼如下：

智聯招聘這個頁面最逗的是，如果當前信息只有4頁，那么及時url參數中頁碼指定100，它仍然不會自動跳轉。所以從url或者.geturl()來判斷當前真實頁碼也就成了不對了。
不過好在一點，這個頁面下方的頁碼控制欄中可以清楚的看到當前頁碼是多少，所以就從這里入手。這部分網頁源碼如下：

    
上一頁
1
    
2
    
3
    
4
    
5
    
6
    
7
    
8
    
...
    
下一頁
    
到???????頁
    

從中可以看到，當前頁碼的定位極其方便，只要從class="pagesDown"的div中找到class="current"的a鏈接就得到了。
同理，下一頁的鏈接可以找class="next-page"的a標簽獲取href值。