selenium動態(tài)數(shù)據(jù)獲取的方法實(shí)現(xiàn)

89542767 發(fā)布于2022-10-13 23:00 / 519人閱讀

　　這篇文章主要是闡述了selenium可視化數(shù)據(jù)抓取有效的方法實(shí)現(xiàn)，文中根據(jù)舉例編碼講到的十分詳盡，對大家學(xué)習(xí)培訓(xùn)還是工作具有很強(qiáng)的參照學(xué)習(xí)培訓(xùn)使用價(jià)值，需求的小伙伴們下邊伴隨著小編就來互相學(xué)習(xí)了解一下吧。

　　Selenium是一個自動化技術(shù)檢測工具，運(yùn)用它能夠推動電腦瀏覽器實(shí)行特殊動作，如鼠標(biāo)點(diǎn)擊、下拉框等操作，同時(shí)也可以獲取電腦瀏覽器現(xiàn)階段獲得界面的程序代碼，保證由此可見即可獲得。對于有些JavaScript動態(tài)性3D渲染的頁面來說，此種抓取方式非常有效。接下來，就讓我們來感受一下它的強(qiáng)大之處吧。

　　webdriver的安裝

　　????selenium安裝

　　首先，我們使用selenium進(jìn)行測試，所以我們得安裝selenium庫。

　　pip install selenium

　　????驅(qū)動安裝

　　webdriver是瀏覽器對應(yīng)的驅(qū)動，我們使用的的瀏覽器有三種谷歌Chrome、微軟Microsoft Edge、還有一個火狐Firefox，但是我們經(jīng)常使用谷歌Chrome瀏覽器進(jìn)行測試。現(xiàn)在我們就以Chrome瀏覽器為例下載它對應(yīng)的chromedriver。

　　官網(wǎng)：http://chromedriver.storage.googleapis.com/index.html

　　注意：

　　我們下載chromedriver驅(qū)動時(shí)，我們要查明瀏覽器的版本，要對應(yīng)相應(yīng)的版本號進(jìn)行下載，否則會報(bào)錯。禁止Google瀏覽器更新服務(wù)，可以上網(wǎng)查教程。

　　????基本使用

　　????查找節(jié)點(diǎn)

　　Selenium可以驅(qū)動瀏覽器完成各種操作，比如填充表單、模擬點(diǎn)擊等。比如，我們想要完成向某個輸入框輸入文字的操作，總需要知道這個輸入框在哪里吧？而Selenium提供了一系列查找節(jié)點(diǎn)的方法，我們可以用這些方法來獲取想要的節(jié)點(diǎn)，以便下一步執(zhí)行一些動作或者提取信息。

　　獲取節(jié)點(diǎn)的方法：

　　find_element_by_id
　　find_element_by_name
　　find_element_by_xpath
　　find_element_by_link_text專門用來定位超鏈接文本（標(biāo)簽）全匹配
　　find_element_by_partial_link_text模糊匹配
　　find_element_by_tag_name
　　find_element_by_class_name
　　find_element_by_css_selector

　　給個示例

　　from selenium import webdriver
　　browser=webdriver.Chrome()
　　browser.get('https://www.baidu.com')
　　input=browser.find_element_by_id('kw')
　　input.send_keys('Python')
　　browser.find_element_by_id('su').click()
　　#提取頁面
　　print(browser.page_source.encode('utf-8'))
　　#提取cookie
　　print(browser.get_cookies())
　　#提取當(dāng)前請求地址
　　print(browser.current_url)
　　browser.close()

　　運(yùn)行代碼后發(fā)現(xiàn)，會自動彈出一個Chrome瀏覽器。瀏覽器首先會跳轉(zhuǎn)到百度，然后在搜索框中輸入Python，接著跳轉(zhuǎn)到搜索結(jié)果頁

　　注：當(dāng)我們的chromedriver驅(qū)動沒有放置到Chrome瀏覽器路徑時(shí)，我們可以使用以下來申明瀏覽器對象。

  　browser=webdriver.Chrome(executable_path="chromedriver安裝路徑")

　　方法總結(jié)：

　　brower.get(url)：跳轉(zhuǎn)當(dāng)前url鏈接。

　　browser.find_element_by_id('id屬性值')：定位到id屬性值。

　　send_keys('輸入關(guān)鍵字')：定位到輸入框后輸入。

　　find_element_by_id('id屬性值').click()：定位到id屬性值后點(diǎn)擊。

　　browser.page_source.encode('utf-8')：獲取當(dāng)前頁面的源碼。

　　browser.get_cookies()：提取cookies。

　　browser.current_url：獲取當(dāng)前頁面的url。

　　brower.close()：關(guān)閉瀏覽器。

　　????執(zhí)行JavaScript

　　對于某些操作，Selenium API并沒有提供。比如，下拉進(jìn)度條，它可以直接模擬運(yùn)行JavaScript，此時(shí)使用execute_script()方法即可實(shí)現(xiàn)，代碼如下：

　　#document.body.scrollHeight獲取頁面高度
　　from selenium import webdriver
　　browser=webdriver.Chrome()
　　browser.get('https://36kr.com/')
　　#下拉邊框一次性下拉
　　browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
　　#慢慢的下拉
　　for i in range(1,9):
　　time.sleep(random.randint(100,300)/1000)
　　browser.execute_script('window.scrollTo(0,{})'.format(i*700))

　　這里就利用execute_script()方法將進(jìn)度條下拉到最底部。為了模擬人為活動，我們調(diào)節(jié)了下拉的緩沖時(shí)間。

　　我們使用瀏覽器的控制臺輸入以下代碼也能運(yùn)行。

　　window.scrollTo(0,document.body.scrollHeight)

　　切換Frame

　　我們知道網(wǎng)頁中有一種節(jié)點(diǎn)叫作iframe，也就是子Frame，相當(dāng)于頁面的子頁面，它的結(jié)構(gòu)和外部網(wǎng)頁的結(jié)構(gòu)完全一致。Selenium打開頁面后，它默認(rèn)是在父級Frame里面操作，而此時(shí)如果頁面中還有子Frame，它是不能獲取到子Frame里面的節(jié)點(diǎn)的。這時(shí)就需要使用switch_to.frame()方法來切換Frame。示例如下：

　　browser.get('https://www.douban.com/')
　　login_iframe=browser.find_element_by_xpath('//div[ class="login"]/iframe')
　　browser.switch_to.frame(login_iframe)
　　browser.find_element_by_class_name('account-tab-account').click()
　　browser.find_element_by_id('username').send_keys('123123123')

　　首先我們要定位到iframe，然后用switch_to.frame()方法來切換Frame，這時(shí)我們就可以定位到子Frame進(jìn)行有關(guān)操作了。

　　????前進(jìn)后退

　　平常使用瀏覽器時(shí)都有前進(jìn)和后退功能，Selenium也可以完成這個操作，它使用back()方法后退，使用forward()方法前進(jìn)。示例如下：

　　import time
　　from selenium import webdriver
　　browser=webdriver.Chrome()
　　browser.get('https://www.baidu.com/')
　　browser.get('https://www.taobao.com/')
　　browser.get('https://www.python.org/')
　　browser.back()
　　time.sleep(1)
　　browser.forward()
　　browser.close()

　　這里我們連續(xù)訪問3個頁面，然后調(diào)用back()方法回到第二個頁面，接下來再調(diào)用forward()方法又可以前進(jìn)到第三個頁面。

　　????選項(xiàng)卡管理

　　在訪問網(wǎng)頁的時(shí)候，會開啟一個個選項(xiàng)卡。在Selenium中，我們也可以對選項(xiàng)卡進(jìn)行操作。示例如下：

　　import time
　　from selenium import webdriver
　　browser=webdriver.Chrome()
　　browser.get('https://www.baidu.com')
　　browser.execute_script('window.open()')
　　print(browser.window_handles)
　　browser.switch_to_window(browser.window_handles[1])
　　browser.get('https://www.taobao.com')
　　time.sleep(1)
　　browser.switch_to_window(browser.window_handles[0])
　　browser.get('https://python.org')

　　這里我們先跳轉(zhuǎn)到百度再打開一個空白選項(xiàng)卡打印選項(xiàng)卡編號，再跳轉(zhuǎn)到第二個選項(xiàng)卡也就是這個空白選項(xiàng)卡打開淘寶，休息一秒，再跳轉(zhuǎn)到第一個選項(xiàng)卡打開python官網(wǎng)。

　　????配置操作

　　selenium有很多配置，下面我舉幾個常見的。

　　options=webdriver.ChromeOptions()
　　#無頭模式
　　option.add_argument("-headless")
　　#設(shè)置代理
　　options.add_argument('proxy-server='+'192.168.0.28:808')
　　#將瀏覽器最大化顯示
　　browser.maximize_window()
　　#設(shè)置寬高
　　browser.set_window_size(480,800)
　　#通過js新打開一個窗口
　　driver.execute_script('window.open("https://www.baidu.com");')
　　browser=webdriver.Chrome(chrome_options=options)
　　繞過檢測
　　繞過檢測對于一些網(wǎng)站的自動化反爬很管用。
　　#設(shè)置屏蔽
　　options=webdriver.ChromeOptions()
　　options.add_argument('--disable-blink-features=AutomationControlled')
　　browsers=webdriver.Chrome(chrome_options=options)
　　browsers.get('https://bot.sannysoft.com/')
　　網(wǎng)站：https://bot.sannysoft.com/

　　我們沒設(shè)置繞過檢測

　　我們設(shè)置了繞過檢測后

　　到此為止，小編就給大家介紹完畢了，希望可以為大家?guī)韼椭?/p>