最近在學習網絡爬蟲，完成了一個比較簡單的python網絡爬蟲。首先為什么要用爬蟲爬取信息呢，當然是因為要比人去收集更高效。
網絡爬蟲，可以理解為自動幫你在網絡上收集數據的機器人。
網絡爬蟲簡單可以大致分三個步驟：
第一步要獲取數據，
第二步對數據進行處理，
第三步要儲存數據。
獲取數據的時候這里我用到了python的urllib標準庫，它是python中非常方便抓取網頁內容的一個模塊。
具體為：
這里我要爬取的是電影天堂一個電影頁面的電影名稱，日期等數據。
1 from urllib import request
2 def get_data ( ):
3 url=/http://www.dytt8.net/html/gndy/dyzz/list_23_1.html/
4 headers={/User-Agent/: / Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36/ }
5 req=request.Request(url, headers=headers)
6 response=request.urlopen(req)
7 # print (type(response)) #響應對象的類型
8 # print(response.getcode()) #響應狀態碼
9 # print(response.info())
10 if response.getcode() == 200:
11 data=response.read()#讀取響應的結果
12 data =str(data,encoding=/gb2312/)
13 #print(data)
14 #將數據寫入文件中
15 with open (/index.html/,mode=/w/,encoding=/gb2312/) as f:
16 f.write(data)
這里的headers是一個參數，就是你的瀏覽器在訪問服務器的時候，會讓服務器知道你的瀏覽器的一些信息，還有操作系統等信息。if 函數來判斷當網站成功響應的時候，會返回一個200.這時候讀取響應的數據結果，就是網頁的代碼。這里我做了一個字符串轉化處理，根據網頁代碼顯示編碼為gb2312，所以這時候只要將encoding設置為gb2312就可以了。
1
2
3
4
5
6
7
根據上面的網頁代碼，charset為gb2312判斷的。
當我們存取了網頁數據后，發現它還是html格式的，而且有很多html，css的代碼，但是我們只想要其中的文字信息，這時候怎么辦呢。
這時候就要用到一個強大的數據處理模塊，beautifusoup4，俗稱美味湯。安裝好這個模塊后。我們就可以對我們的html文件做進一步的處理，提取我們需要的信息。
1 from urllib import request
2 from bs4 import BeautifulSoup
3 def get_data ( ):
4 url=/http://www.dytt8.net/html/gndy/dyzz/list_23_1.html/
5 headers={/User-Agent/: / Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36/ }
6 req=request.Request(url, headers=headers)
7 response=request.urlopen(req)
8 # print (type(response)) #響應對象的類型
9 # print(response.getcode()) #響應狀態碼
10 # print(response.info())
11 if response.getcode() == 200:
12 data=response.read()#讀取響應的結果
13 data =str(data,encoding=/gb2312/)
14 #print(data)
15 #將數據寫入文件中
16 with open (/index.html/,mode=/w/,encoding=/gb2312/) as f:
17 f.write(data)
18 def parse_data():
19 with open (/index.html/,mode=/r/,encoding=/gb2312/) as f:
20 html = f.read()
21 bs = BeautifulSoup(html,/html.parser/)
22 metas = bs.select("[class~=ulink]")
23 date = bs.select("[color=#8F8C89]")
24 i=0
25 while i < 25:
26 print(metas[i].get_text())
27 print(date[i].get_text())
28 i=i+1
29
30
31
32
33 if __name__ == /__main__/:
34 #get_data()
35 parse_data()
?
這里我們用到了美味湯中的CSS選擇器功能，就是只把我們想要的信息選擇處來，根據網頁代碼，發現class等于ulink的時候后面跟著的信息是我們需要的。還有color=#8F8C89也是我們需要的。使用select方法，將選中的信息篩選出來。最終結果：
點擊0是因為網站顯示就是0，估計是網站的問題。這樣我們就得到了電影信息以及發布的時間信息。后面還有很多。根據這次簡單爬蟲的實現，我發現web爬蟲除了你要懂python的知識之外，對于html，CSS等前端知識你也要有一定了解。爬蟲是模擬人去收集網站數據的，有些網站以及建立了反爬蟲技術。所以爬蟲的技術也在不斷更新。
?
