Python爬蟲使用Selenium+PhantomJS抓取Ajax和動態HTML內容

ymyang 發布于2019-07-25 10:26 / 2042人閱讀

摘要：，集搜客開源代碼下載源開源網絡爬蟲源，文檔修改歷史，增補文字說明，增加第五章源代碼下載源，并更換源的網址

1，引言

在Python網絡爬蟲內容提取器一文我們詳細講解了核心部件：可插拔的內容提取器類gsExtractor。本文記錄了確定gsExtractor的技術路線過程中所做的編程實驗。這是第二部分，第一部分實驗了用xslt方式一次性提取靜態網頁內容并轉換成xml格式。留下了一個問題：javascript管理的動態內容怎樣提取？那么本文就回答這個問題。

2，提取動態內容的技術部件

在上一篇python使用xslt提取網頁數據中，要提取的內容是直接從網頁的source code里拿到的。但是一些Ajax動態內容是在source code找不到的，就要找合適的程序庫把異步或動態加載的內容加載上來，交給本項目的提取器進行提取。

python可以使用selenium執行javascript，selenium可以讓瀏覽器自動加載頁面，獲取需要的數據。selenium自己不帶瀏覽器，可以使用第三方瀏覽器如Firefox，Chrome等，也可以使用headless瀏覽器如PhantomJS在后臺執行。

3，源代碼和實驗過程

假如我們要抓取京東手機頁面的手機名稱和價格(價格在網頁源碼是找不到的)，如下圖：

第一步：利用集搜客謀數臺的直觀標注功能，可以極快速度自動生成一個調試好的抓取規則，其實是一個標準的xslt程序，如下圖，把生成的xslt程序拷貝到下面的程序中即可。注意：本文只是記錄實驗過程，實際系統中，將采用多種方式把xslt程序注入到內容提取器重。

第二步：執行如下代碼(在windows10， python3.2下測試通過)，請注意：xslt是一個比較長的字符串，如果刪除這個字符串，代碼沒有幾行，足以見得Python之強大

#/usr/bin/python
from urllib import request
from lxml import etree
from selenium import webdriver
import time

# 京東手機商品頁面
url = "http://item.jd.com/1312640.html"

# 下面的xslt是通過集搜客的謀數臺圖形界面自動生成的
xslt_root = etree.XML("""


<商品>
0 and count(.//*[@id="name"]/h1/text())>0]" mode="商品"/>



0 and count(.//*[@id="name"]/h1/text())>0]" mode="商品">

<價格>






<名稱>








""")

# 使用webdriver.PhantomJS
browser = webdriver.PhantomJS(executable_path="C:phantomjs-2.1.1-windowsinphantomjs.exe")
browser.get(url)
time.sleep(3)

transform = etree.XSLT(xslt_root)

# 執行js得到整個dom
html = browser.execute_script("return document.documentElement.outerHTML")
doc = etree.HTML(html)
# 用xslt從dom中提取需要的字段
result_tree = transform(doc)
print(result_tree)

第三步：下圖可以看到，網頁中的手機名稱和價格被正確抓取下來了

4，接下來閱讀

至此，我們通過兩篇文章演示怎樣抓取靜態和動態網頁內容，都采用了xslt一次性將需要的內容從網頁上提取出來，其實xslt是一個比較復雜的程序語言，如果手工編寫xslt，那么還不如寫成離散的xpath。如果這個xslt不是手工寫出來的，而是程序自動生成的，這就有意義了，程序員再也不要花時間編寫和調測抓取規則了，這是很費時費力的工作。接下來《1分鐘快速生成用于網頁內容提取的xslt》將講述怎樣生成xslt。

5，集搜客GooSeeker開源代碼下載源

1.GooSeeker開源Python網絡爬蟲GitHub源

5，文檔修改歷史

2016-05-26：V2.0，增補文字說明
2016-05-29：V2.1，增加第五章：源代碼下載源，并更換github源的網址

云服務器 GPU云服務器 python抓取爬蟲 python爬蟲抓取數據 python爬蟲抓取圖片 python爬蟲抓取文字

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/37960.html

Python爬蟲實戰（2）：爬取京東商品列表

摘要：，源代碼爬取京東商品列表，以手機商品列表為例示例網址版本京東手機列表源代碼下載位置請看文章末尾的源。，抓取結果運行上面的代碼，就會爬取京東手機品類頁面的所有手機型號價格等信息，并保存到本地文件京東手機列表中。 showImg(https://segmentfault.com/img/bVxXHW); 1，引言在上一篇《python爬蟲實戰：爬取Drupal論壇帖子列表》，爬取了一個用...

shevy 2019-07-31 12:21 評論0 收藏0
爬蟲問題總結

摘要：編碼我們發現，中有時候存在中文，這是就需要對進行編碼。可以先將中文轉換成編碼，然后使用方法對參數進行編碼后傳遞。本文檔對日常學習中用 python 做數據爬取時所遇到的一些問題做簡要記錄，以便日后查閱，部分問題可能因為認識不到位會存在一些誤解，敬請告知，萬分感謝，共同進步。估算網站規模該小節主要針對于整站爬取的情況。爬取整站之前，肯定是要先對一個網站的規模進行估計。這是可以使用g...

nanfeiyan 2019-07-30 16:34 評論0 收藏0
Python爬蟲實戰（4）：豆瓣小組話題數據采集—動態網頁

摘要：，引言注釋上一篇爬蟲實戰安居客房產經紀人信息采集，訪問的網頁是靜態網頁，有朋友模仿那個實戰來采集動態加載豆瓣小組的網頁，結果不成功。 showImg(https://segmentfault.com/img/bVzdNZ); 1，引言注釋：上一篇《Python爬蟲實戰（3）：安居客房產經紀人信息采集》，訪問的網頁是靜態網頁，有朋友模仿那個實戰來采集動態加載豆瓣小組的網頁，結果不成功...

blastz 2019-07-25 10:36 評論0 收藏0
Python_selenium_phantomjs動態抓取

摘要：當前版本是一個服務器端的的。也可以說是無界面瀏覽器。安裝不是程序，去官網下載對應系統版本的安裝即可。方法會一直等到頁面被完全加載，然后才會繼續程序，但是對于是無可奈何的。安裝設置的查看所有可用的屬性。 selenium:https://github.com/SeleniumHQ...當前版本3.0.1A browser automation framework and ecosyste...

zacklee 2019-07-31 10:51 評論0 收藏0
Python3網絡爬蟲實戰---37、動態渲染頁面抓取:Selenium

摘要：不過動態渲染的頁面不止這一種。再有淘寶這種頁面，它即使是獲取的數據，但是其接口含有很多加密參數，我們難以直接找出其規律，也很難直接分析來抓取。我們用一個實例來感受一下在這里們依然是先打開知乎頁面，然后獲取提問按鈕這個節點，再將其上一篇文章：Python3網絡爬蟲實戰---36、分析Ajax爬取今日頭條街拍美圖下一篇文章：Python3網絡爬蟲實戰---38、動態渲染頁面抓取:Spla...

zhjx922 2019-07-31 10:36 評論0 收藏0