selenium實(shí)現(xiàn)ip代理http認(rèn)證

Me_Kun 發(fā)布于2019-07-31 10:28 / 1825人閱讀

摘要：實(shí)現(xiàn)代理認(rèn)證原理本身支持的不支持用戶認(rèn)證，想要認(rèn)證用戶代理，本文的思想就是給瀏覽器裝插件，也就是代理插件。

selenium實(shí)現(xiàn)ip代理http認(rèn)證

原理
selenium本身支持的ip不支持用戶認(rèn)證，想要認(rèn)證用戶代理ip，本文的思想就是給瀏覽器裝插件，也就是代理插件。
其中插件的包來源于https://github.com/RobinDev/S...
注意：文件路徑自己修改

代碼如下：

import os
import re
import time
import zipfile
from selenium import webdriver

# Chrome代理模板插件(https://github.com/RobinDev/Selenium-Chrome-HTTP-Private-Proxy)目錄
CHROME_PROXY_HELPER_DIR = "../cookies/Chrome-proxy-helper"
# 存儲(chǔ)自定義Chrome代理擴(kuò)展文件的目錄
CUSTOM_CHROME_PROXY_EXTENSIONS_DIR = "../cookies/chrome-proxy-extensions"


def get_chrome_proxy_extension(proxy):
    """獲取一個(gè)Chrome代理擴(kuò)展,里面配置有指定的代理(帶用戶名密碼認(rèn)證)
    proxy - 指定的代理,格式: username:password@ip:port
    """
    m = re.compile("([^:]+):([^@]+)@([d.]+):(d+)").search(proxy)
    if m:
        # 提取代理的各項(xiàng)參數(shù)
        username = m.groups()[0]
        password = m.groups()[1]
        ip = m.groups()[2]
        port = m.groups()[3]
        # 創(chuàng)建一個(gè)定制Chrome代理擴(kuò)展(zip文件)
        if not os.path.exists(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR):
            os.mkdir(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR)
        extension_file_path = os.path.join(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR, "{}.zip".format(proxy.replace(":", "_")))
        if not os.path.exists(extension_file_path):
            # 擴(kuò)展文件不存在，創(chuàng)建
            zf = zipfile.ZipFile(extension_file_path, mode="w")
            zf.write(os.path.join(CHROME_PROXY_HELPER_DIR, "manifest.json"), "manifest.json")
            # 替換模板中的代理參數(shù)
            background_content = open(os.path.join(CHROME_PROXY_HELPER_DIR, "background.js")).read()
            background_content = background_content.replace("%proxy_host", ip)
            background_content = background_content.replace("%proxy_port", port)
            background_content = background_content.replace("%username", username)
            background_content = background_content.replace("%password", password)
            zf.writestr("background.js", background_content)
            zf.close()
        return extension_file_path
    else:
        raise Exception("Invalid proxy format. Should be username:password@ip:port")


if __name__ == "__main__":
    # 測(cè)試
    options = webdriver.ChromeOptions()
    # 添加一個(gè)自定義的代理插件（配置特定的代理，含用戶名密碼認(rèn)證）
    options.add_extension(get_chrome_proxy_extension(proxy="cj422w:cj422w@117.41.187.145:888"))
    print(options)
    driver = webdriver.Chrome(chrome_options=options)
    # 訪問一個(gè)IP回顯網(wǎng)站，查看代理配置是否生效了
    driver.get("http://httpbin.org/ip")
    print(driver.page_source)
    time.sleep(60)
    driver.quit()