国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上天的Node.js之爬蟲篇 15行代碼爬取京東淘寶資源 【深入淺出】

104828720 / 1987人閱讀

摘要：這里由于京東的分界面都使用了，所以我們可以用，總之他們開發(fā)能用的選擇器，我們都可以用，否則就不可以。

難道爬蟲只能用 python 做？ 不，我們上天的 Node.js 也可以做！

需要準(zhǔn)備的包

Node.js的最新版本 下載地址 Node.js官網(wǎng)

npm 包管理器下載 下載最新的官網(wǎng)版本 Node.js 會(huì)自帶 npm

npm的第三方包 puppeteer 在對(duì)應(yīng)的js文件內(nèi)運(yùn)行命令行工具 npm i puppeteer -D 即可

爬蟲在獲取某些有保護(hù)機(jī)制的網(wǎng)頁時(shí)可能會(huì)失效
初入江湖 -自在地境篇 
const puppeteer = require("puppeteer"); //  引入依賴  
(async () => {   //使用async函數(shù)完美異步 
    const browser = await puppeteer.launch();  //打開新的瀏覽器
    const page = await browser.newPage();   // 打開新的網(wǎng)頁 
    await page.goto("https://www.jd.com/");  //前往里面 "url" 的網(wǎng)頁
    const result = await page.evaluate(() => {   //這個(gè)result數(shù)組包含所有的圖片src地址
        let arr = []; //這個(gè)箭頭函數(shù)內(nèi)部寫處理的邏輯  
        const imgs = document.querySelectorAll("img");
        imgs.forEach(function (item) {
            arr.push(item.src)
        })
        return arr 
    });
    // "此時(shí)的result就是得到的爬蟲數(shù)據(jù)，可以通過"fs"模塊保存"
})()

  復(fù)制過去 使用命令行命令 ` node 文件名 ` 就可以運(yùn)行獲取爬蟲數(shù)據(jù)了 

這個(gè) puppeteer 的包 ，其實(shí)是替我們開啟了另一個(gè)瀏覽器，重新去開啟網(wǎng)頁，獲取它們的數(shù)據(jù)。
瀟灑入世 -逍遙天境篇

上面只爬取了京東首頁的圖片內(nèi)容，假設(shè)我的需求進(jìn)一步擴(kuò)大，需要爬取京東首頁

中的所有 標(biāo)簽對(duì)應(yīng)的跳轉(zhuǎn)網(wǎng)頁中的所有 title的文字內(nèi)容，最后放到一個(gè)數(shù)組中。

我們的async函數(shù)上面一共分了五步， 只有 puppeteer.launch() ,

browser.newPage(), browser.close() 是固定的寫法。

page.goto 指定我們?nèi)ツ膫€(gè)網(wǎng)頁爬取數(shù)據(jù)，可以更換內(nèi)部url地址，也可以多次

調(diào)用這個(gè)方法。

page.evaluate 這個(gè)函數(shù)，內(nèi)部是處理我們進(jìn)入想要爬取網(wǎng)頁的數(shù)據(jù)邏輯

page.goto和 page.evaluate兩個(gè)方法，可以在async內(nèi)部調(diào)用多次，

那意味著我們可以先進(jìn)入京東網(wǎng)頁，處理邏輯后，再次調(diào)用page.goto這個(gè)函數(shù)，

注意，上面這一切邏輯，都是puppeteer這個(gè)包幫我們?cè)诳床灰姷牡胤介_啟了另外一個(gè)
瀏覽器，然后處理邏輯，所以最終要調(diào)用browser.close()方法關(guān)閉那個(gè)瀏覽器。

這時(shí)候我們對(duì)上一篇的代碼進(jìn)行優(yōu)化，爬取對(duì)應(yīng)的資源。

 const puppeteer = require("puppeteer");
(async () => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto("https://www.jd.com/");
    const hrefArr = await page.evaluate(() => {
        let arr = [];
        const aNodes = document.querySelectorAll(".cate_menu_lk");
        aNodes.forEach(function (item) {
            arr.push(item.href)
        })
        return arr
    });
    let arr = [];
    for (let i = 0; i < hrefArr.length; i++) {
        const url = hrefArr[i];
        console.log(url) //這里可以打印 
        await page.goto(url);
        const result = await page.evaluate(() => { //這個(gè)方法內(nèi)部console.log無效 
            
              return  $("title").text();  //返回每個(gè)界面的title文字內(nèi)容
        });
        arr.push(result)  //每次循環(huán)給數(shù)組中添加對(duì)應(yīng)的值
    }
    console.log(arr)  //得到對(duì)應(yīng)的數(shù)據(jù)  可以通過Node.js的 fs 模塊保存到本地
    await browser.close()
})()

上面有天坑   page.evaluate函數(shù)內(nèi)部的console.log不能打印，而且內(nèi)部不能獲取外部的變量,只能return返回，
使用的選擇器必須先去對(duì)應(yīng)界面的控制臺(tái)實(shí)驗(yàn)過能不能選擇DOM再使用，比如京東無法使用querySelector。這里由于
京東的分界面都使用了jQuery，所以我們可以用jQuery，總之他們開發(fā)能用的選擇器，我們都可以用，否則就不可以。
威震武林 -神游玄境篇 
數(shù)據(jù)在這個(gè)時(shí)代非常珍貴，上面兩個(gè)能獲取一些指定的特定資源，按照網(wǎng)頁的設(shè)計(jì)邏輯，選定特定的href的地址，
可以先直接獲取對(duì)應(yīng)的資源，也可以通過再次使用  page.goto方法進(jìn)入，再調(diào)用 page.evaluate() 處理邏輯。
這里就不做過多介紹了，畢竟 Node.js 是可以上天的，或許未來它真的什么都能做。這么優(yōu)質(zhì)簡短的教程，請(qǐng)收藏
或者轉(zhuǎn)發(fā)給您的朋友，謝謝。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/54731.html

相關(guān)文章

  • 上天的Node.js之爬蟲篇 15行代碼爬取京東淘寶資源 【深入淺出】

    摘要：這里由于京東的分界面都使用了，所以我們可以用，總之他們開發(fā)能用的選擇器，我們都可以用，否則就不可以。 難道爬蟲只能用 python 做？ 不，我們上天的 Node.js 也可以做！ 需要準(zhǔn)備的包 Node.js的最新版本 下載地址 Node.js官網(wǎng) npm 包管理器下載 下載最新的官網(wǎng)版本 Node.js 會(huì)自帶 npm npm的第三方包 puppeteer 在對(duì)應(yīng)...

    宋華 評(píng)論0 收藏0

  • 上天的Node.js之爬蟲篇 15行代碼爬取京東淘寶資源 【深入淺出】

    摘要：這里由于京東的分界面都使用了，所以我們可以用，總之他們開發(fā)能用的選擇器，我們都可以用，否則就不可以。 難道爬蟲只能用 python 做？ 不，我們上天的 Node.js 也可以做！ 需要準(zhǔn)備的包 Node.js的最新版本 下載地址 Node.js官網(wǎng) npm 包管理器下載 下載最新的官網(wǎng)版本 Node.js 會(huì)自帶 npm npm的第三方包 puppeteer 在對(duì)應(yīng)...

    kyanag 評(píng)論0 收藏0

  • 使用Node.js爬取任意網(wǎng)頁資源并輸出高質(zhì)量PDF文件到本地~

    摘要：上面只爬取了京東首頁的圖片內(nèi)容，假設(shè)我的需求進(jìn)一步擴(kuò)大，需要爬取京東首頁中的所有標(biāo)簽對(duì)應(yīng)的跳轉(zhuǎn)網(wǎng)頁中的所有的文字內(nèi)容，最后放到一個(gè)數(shù)組中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文適合無論是否有爬蟲以及Node.js基礎(chǔ)的朋友觀看~ 需求： 使用Node.js爬取網(wǎng)頁資源，開箱即用的配置 將爬取到的...

    xiaoxiaozi 評(píng)論0 收藏0

  • 使用Node.js爬取任意網(wǎng)頁資源并輸出高質(zhì)量PDF文件到本地~

    摘要：上面只爬取了京東首頁的圖片內(nèi)容，假設(shè)我的需求進(jìn)一步擴(kuò)大，需要爬取京東首頁中的所有標(biāo)簽對(duì)應(yīng)的跳轉(zhuǎn)網(wǎng)頁中的所有的文字內(nèi)容，最后放到一個(gè)數(shù)組中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文適合無論是否有爬蟲以及Node.js基礎(chǔ)的朋友觀看~ 需求： 使用Node.js爬取網(wǎng)頁資源，開箱即用的配置 將爬取到的...

    wangym 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<