摘要：最簡爬蟲環境準備最好使用另外需要兩個必要的庫一個封裝了服務的庫類似，使用非常方便開始實現第一個應用我們第一個應用實現的功能主要如下訪問一個頁面這里我們以糗事百科為例獲得頁面的內容進行簡單的處理，獲得我們需要的內容結果簡單分析利用獲得頁面
Step1 - 最簡爬蟲
環境準備
Python3.5 最好使用venv
另外需要兩個必要的庫：
requests : 一個封裝了HTTP服務的python庫
pyquery : 類似Jquery，使用非常方便
$ pip install requests
$ pip install pyquery
開始
實現第一個應用
我們第一個應用實現的功能主要如下：
訪問一個頁面,這里我們以 糗事百科(http://www.qiushibaike.com/) 為例
獲得頁面的內容
進行簡單的處理，獲得我們需要的內容
import requests
from pyquery import PyQuery as pq
__author__ = "BONFY CHEN "
SITE = "http://www.qiushibaike.com/"
r = requests.get(SITE)
assert r.status_code == 200
d = pq(r.text)
contents = d("div .article")
for item in contents:
i = pq(item)
content = i("div .content").text()
print(content)
結果
簡單分析
利用 requests.get 獲得頁面
assert 斷言，如果網絡問題 訪問不到就退出
contents 利用 pyquery 獲得所有文章 后續 讀取 div class ＝ "content" 的為文本內容 （這里沒有處理圖片后續的講解中會完善）
print 輸出
完整代碼
補充模仿瀏覽器的Headers,詳情見 https://github.com/bonfy/xiaolinBot
歡迎關注及一起交流
請期待下一篇： 代碼優化
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/37937.html
