摘要:四爬蟲功能制作是來使用的庫,它的使用方法與差不多,我們通過它發(fā)起請(qǐng)求,在回調(diào)函數(shù)中輸出結(jié)果。第一步得到一個(gè)的實(shí)例第二步定義監(jiān)聽事件的回調(diào)函數(shù)。
這篇文章主要介紹了NodeJS制作爬蟲的全過程,包括項(xiàng)目建立,目標(biāo)網(wǎng)站分析、使用superagent獲取源數(shù)據(jù)、使用cheerio解析、使用eventproxy來并發(fā)抓取每個(gè)主題的內(nèi)容等方面,有需要的小伙伴參考下吧。
npm install -g koa-generator
2. 生成一個(gè)koa2的項(xiàng)目koa2 -e node-spider -e表示使用ejs模板,具體參照koa生成器,一鍵生成koa和koa2項(xiàng)目
三、目標(biāo)網(wǎng)站分析如圖,這是CNode首頁一部分div標(biāo)簽,我們就是通過這一系列的id、class來定位我們需要的信息。
是ajax API來使用的Http庫,它的使用方法與jQuery差不多,我們通過它發(fā)起get請(qǐng)求,在回調(diào)函數(shù)中輸出結(jié)果。
var koa = require("koa"); var router = require("koa-router") var url = require("url"); //解析操作url var superagent = require("superagent"); //這三個(gè)外部依賴不要忘記npm install var cheerio = require("cheerio"); var eventproxy = require("eventproxy"); var targetUrl = "https://cnodejs.org/"; superagent.get(targetUrl) .end(function (err, res) { console.log(res); });
它的res結(jié)果為一個(gè)包含目標(biāo)url信息的對(duì)象,網(wǎng)站內(nèi)容主要在其text(string)里。
2. 使用cheerio解析cheerio充當(dāng)服務(wù)器端的jQuery功能,我們先使用它的.load()來載入HTML,再通過CSS selector來篩選元素。
var $ = cheerio.load(res.text); //通過CSS selector來篩選數(shù)據(jù) $("#topic_list .topic_title").each(function (idx, element) { console.log(element); });
其結(jié)果為一個(gè)個(gè)對(duì)象,調(diào)用 .each(function(index, element))函數(shù)來遍歷每一個(gè)對(duì)象,返回的是HTML DOM Elements。
輸出 console.log($element.attr("title"));的結(jié)果為
廣州2014年12月06日 NodeParty 之 UC 場(chǎng)之類的標(biāo)題
輸出 console.log($element.attr("href"));的結(jié)果為
/topic/545c395becbcb78265856eb2之類的url。
再用NodeJS1的url.resolve()函數(shù)來補(bǔ)全完整的url。
superagent.get(tUrl) .end(function (err, res) { if (err) { return console.error(err); } var topicUrls = []; var $ = cheerio.load(res.text); // 獲取首頁所有的鏈接 $("#topic_list .topic_title").each(function (idx, element) { var $element = $(element); var href = url.resolve(tUrl, $element.attr("href")); console.log(href); //topicUrls.push(href); }); });3.使用eventproxy來并發(fā)抓取
教程上展示了深度嵌套(串行)方法和計(jì)數(shù)器方法的例子,eventproxy就是使用事件(并行)方法來解決這個(gè)問題。當(dāng)所有的抓取完成后,eventproxy接收到事件消息自動(dòng)幫你調(diào)用處理函數(shù)。
//第一步:得到一個(gè) eventproxy 的實(shí)例 var ep = new eventproxy(); //第二步:定義監(jiān)聽事件的回調(diào)函數(shù)。 //after方法為重復(fù)監(jiān)聽 //params: eventname(String) 事件名,times(Number) 監(jiān)聽次數(shù), callback 回調(diào)函數(shù) ep.after("topic_html", topicUrls.length, function(topics){ // topics 是個(gè)數(shù)組,包含了 40 次 ep.emit("topic_html", pair) 中的那 40 個(gè) pair //.map topics = topics.map(function(topicPair){ //use cheerio var topicUrl = topicPair[0]; var topicHtml = topicPair[1]; var $ = cheerio.load(topicHtml); return ({ title: $(".topic_full_title").text().trim(), href: topicUrl, comment1: $(".reply_content").eq(0).text().trim() }); }); //outcome console.log("outcome:"); console.log(topics); }); //第三步:確定放出事件消息的 topicUrls.forEach(function (topicUrl) { superagent.get(topicUrl) .end(function (err, res) { console.log("fetch " + topicUrl + " successful"); ep.emit("topic_html", [topicUrl, res.text]); }); });
結(jié)果如下
獲取留言用戶名和積分
在文章頁面的源碼找到評(píng)論的用戶class名,classname為reply_author。console.log第一個(gè)元素 $(".reply_author").get(0)可以看到,我們需要獲取東西都在這里頭。
首先,我們先對(duì)一篇文章進(jìn)行抓取,一次性把需要的都得到即可。
var userHref = url.resolve(tUrl, $(".reply_author").get(0).attribs.href); console.log(userHref); console.log($(".reply_author").get(0).children[0].data);
我們可以通過https://cnodejs.org/user/username抓取積分信息
$(".reply_author").each(function (idx, element) { var $element = $(element); console.log($element.attr("href")); });
在用戶信息頁面 $(".big").text().trim()即為積分信息。
使用cheerio的函數(shù).get(0)為獲取第一個(gè)元素。
var userHref = url.resolve(tUrl, $(".reply_author").get(0).attribs.href); console.log(userHref);
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://specialneedsforspecialkids.com/yun/79689.html
摘要:很基礎(chǔ),不喜勿噴轉(zhuǎn)載注明出處爬蟲實(shí)戰(zhàn)項(xiàng)目之鏈家效果圖思路爬蟲究竟是怎么實(shí)現(xiàn)的通過訪問要爬取的網(wǎng)站地址,獲得該頁面的文檔內(nèi)容,找到我們需要保存的數(shù)據(jù),進(jìn)一步查看數(shù)據(jù)所在的元素節(jié)點(diǎn),他們?cè)谀撤矫嬉欢ㄊ怯幸?guī)律的,遵循規(guī)律,操作,保存數(shù)據(jù)。 說明 作為一個(gè)前端界的小學(xué)生,一直想著自己做一些項(xiàng)目向全棧努力。愁人的是沒有后臺(tái),搜羅之后且學(xué)會(huì)了nodejs和express寫成本地的接口給前端頁面調(diào)用...
摘要:很基礎(chǔ),不喜勿噴轉(zhuǎn)載注明出處爬蟲實(shí)戰(zhàn)項(xiàng)目之鏈家效果圖思路爬蟲究竟是怎么實(shí)現(xiàn)的通過訪問要爬取的網(wǎng)站地址,獲得該頁面的文檔內(nèi)容,找到我們需要保存的數(shù)據(jù),進(jìn)一步查看數(shù)據(jù)所在的元素節(jié)點(diǎn),他們?cè)谀撤矫嬉欢ㄊ怯幸?guī)律的,遵循規(guī)律,操作,保存數(shù)據(jù)。 說明 作為一個(gè)前端界的小學(xué)生,一直想著自己做一些項(xiàng)目向全棧努力。愁人的是沒有后臺(tái),搜羅之后且學(xué)會(huì)了nodejs和express寫成本地的接口給前端頁面調(diào)用...
摘要:前提本項(xiàng)目地址如果需要,可以到本地打開可直接查看爬蟲數(shù)據(jù)目標(biāo)爬取斗魚正在直播的主播數(shù)據(jù)房間號(hào),在線人數(shù),房間標(biāo)題,主播名稱,直播分類等等依賴構(gòu)建安裝包的應(yīng)用程序框架小型漸進(jìn)式客戶端請(qǐng)求庫,和模塊具有相同的,具有許多高級(jí)客戶端功能可以 前提 本項(xiàng)目github地址:https://github.com/janyin/dou...如果需要,可以clone到本地 $ npm install ...
摘要:年前無心工作,上班刷知乎發(fā)現(xiàn)一篇分享爬蟲的文章。另外攜帶的數(shù)據(jù)是用來告訴服務(wù)器當(dāng)前請(qǐng)求是從哪個(gè)頁面請(qǐng)求過來的。 年前無心工作,上班刷知乎發(fā)現(xiàn)一篇分享python爬蟲的文章。 感覺他爬取的網(wǎng)站里的妹子都好好看哦,超喜歡這里的,里面?zhèn)€個(gè)都是美女。 無小意丶:自我發(fā)掘爬蟲實(shí)戰(zhàn)1:宅男女神網(wǎng)妹子圖片批量抓取,分類保存到本地和MongoDB數(shù)據(jù)庫 無奈python雖然入門過但太久沒用早已荒廢,最...
閱讀 3196·2021-11-18 10:02
閱讀 1446·2021-10-12 10:08
閱讀 1239·2021-10-11 10:58
閱讀 1269·2021-10-11 10:57
閱讀 1167·2021-10-08 10:04
閱讀 2121·2021-09-29 09:35
閱讀 773·2021-09-22 15:44
閱讀 1269·2021-09-03 10:30