關于 phantomJS 請求url driver.current_url 為 about:blan

Riddler 發布于2019-07-30 17:16 / 2132人閱讀

摘要：之前的提問關于問題具體描述一直糾結的問題今天找到了解決方式上代碼這是我的主頁嘿嘿之前截圖透明是因為請求了空地址結果為原因在于沒有配置其中最關鍵的就是這一項這里順帶貼上釋義將加入之后恢復正常感覺有用麻煩給我主頁個星星謝謝哈哈

之前的提問關于問題具體描述一直糾結的問題今天找到了解決方式

上代碼~

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
import random

USER_AGENTS = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:57.0) Gecko/20100101 Firefox/57.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36"
]
#這是我的sf主頁 嘿嘿
url = "https://segmentfault.com/u/rui0908"

dcap = dict(webdriver.DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (random.choice(USER_AGENTS))
driver = webdriver.PhantomJS(executable_path=r"/usr/local/src/phantomjs/bin/phantomjs",desired_capabilities=dcap)
driver.get(url)

time.sleep(5)

driver.save_screenshot("test.png")
print(driver.current_url)

之前截圖透明是因為請求了空地址 print結果為：about:blank 原因在于 service_args 沒有配置其中最關鍵的就是"--ssl-protocol=tlsv1" 這一項這里順帶貼上ssl釋義

service_args = ["--load-images=false", "--proxy-type=None","--ignore-ssl-errors=true","--ssl-protocol=tlsv1"]
driver = webdriver.PhantomJS(executable_path=r"/usr/local/src/phantomjs/bin/phantomjs", service_args=service_args, desired_capabilities=dcap)

將service_args 加入之后 current_url恢復正常 感覺有用麻煩給我主頁+個星星謝謝哈哈

GPU云服務器云服務器請求url url請求重復 html請求url php請求一個url

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42112.html

Python_selenium_phantomjs動態抓取

摘要：當前版本是一個服務器端的的。也可以說是無界面瀏覽器。安裝不是程序，去官網下載對應系統版本的安裝即可。方法會一直等到頁面被完全加載，然后才會繼續程序，但是對于是無可奈何的。安裝設置的查看所有可用的屬性。 selenium:https://github.com/SeleniumHQ...當前版本3.0.1A browser automation framework and ecosyste...

zacklee 2019-07-31 10:51 評論0 收藏0
動態HTML介紹 & Selenium PhantomJS

摘要：一個網站使用的特征就是源代碼里包含了入口比如如果你在一個網站上看到了，那么采集這個網站數據的時候要格外小心。直接點擊下拉框中的選項不一定可行。未審核初審通過復審通過審核不通過專門提供了類來處理下拉框。 JavaScript JavaScript 是網絡上最常用也是支持者最多的客戶端腳本語言。它可以收集用戶的跟蹤數據,不需要重載頁面直接提交表單，在頁面嵌入多媒體文件，甚至運行網頁游戲。...

Lsnsh 2019-07-30 15:37 評論0 收藏0
使用 headless chrome進行測試

注:文章聚合了現在 headless chrome 介紹和使用方式包含了三個部分 chrome 在 mac 上的安裝和簡單使用(來自官方) 利用 selenium 的 webdrive 驅動 headless chrome(自己添加) 利用Xvfb方式實現偽 headless chrome 概念 Headless模式解決了什么問題: 自動化工具例如 selenium 利用有頭瀏覽器進行測試...

ephererid 2019-07-31 10:56 評論0 收藏0
Python2+Selenium入門04-關于WebDriver類

摘要：和是中兩個非常重要的類，使用它們提供的方法可以實現與瀏覽器和頁面元素的各種交互操作。該方法在每個只需要調用一次等待時間單位為秒設置一個頁面完全加載完成的超時等待時間等待時間單位為秒設置腳本執行的超時時間，應該在拋出錯誤之前等待時間單位為秒 WebDriver 和 WebElement 是 Selenium 中兩個非常重要的類，使用它們提供的方法可以實現與瀏覽器和頁面元素的各種交互操作。...

vslam 2019-07-31 10:06 評論0 收藏0