我的小蜘蛛

darkerXi 發(fā)布于2019-08-21 17:03 / 3494人閱讀

摘要：的小案例知識(shí)在于傳遞，互聯(lián)網(wǎng)的發(fā)展讓人們有了更豐富的知識(shí)閱覽。技術(shù)的出現(xiàn)因應(yīng)時(shí)代的發(fā)展，技術(shù)可以便捷生活。與通用爬蟲不同，聚焦爬蟲并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。

spider 的小案例

知識(shí)在于傳遞，互聯(lián)網(wǎng)的發(fā)展讓人們有了更豐富的知識(shí)閱覽。技術(shù)的出現(xiàn)因應(yīng)時(shí)代的發(fā)展，技術(shù)可以便捷生活。

定向抓取相關(guān)網(wǎng)頁(yè)資源的聚焦爬蟲應(yīng)運(yùn)而生。聚焦爬蟲是一個(gè)自動(dòng)下載網(wǎng)頁(yè)的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問(wèn)萬(wàn)維網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所需要的信息。與通用爬蟲(general purpose web crawler)不同，聚焦爬蟲并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。

https://github.com/hxj886600/...

這是兩個(gè)spider的項(xiàng)目
*第一個(gè)是百度的圖片
*第一個(gè)是http://www.bootcss.com/p/font...（可以引用圖標(biāo)的網(wǎng)站）的文件名字
用的的模塊

核心模塊

const http=require("http");
const fs=require("fs");
const  https=require("https")

引用的模塊

const cheerio=require("cheerio")


var $=cheerio.load()

 res.setEncoding("binary");
 二進(jìn)制方法保存保證不失真

主要用來(lái)引jq的模塊
當(dāng)然也可直接引入jq的模塊（不過(guò)不推薦使用）
加幾張效果圖吧

完成后會(huì)出現(xiàn)image 的文件，其中包括這幾張圖片感興趣的可以試一試

GPU云服務(wù)器云服務(wù)器我的小程序搜索蜘蛛網(wǎng)絡(luò)蜘蛛蜘蛛算法

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/89075.html

相關(guān)文章

每日 30 秒 ? 投懷送抱

showImg(https://segmentfault.com/img/remote/1460000018808058?w=900&h=500); 簡(jiǎn)介 SEO、sitemap、搜索引擎優(yōu)化、簡(jiǎn)單教程在曖昧期和暗戀期時(shí)心里總是懸掛著： ta 為什么還不和我表白？ ta 是不是對(duì)我沒(méi)感覺(jué)？ ta 是不是只是把我當(dāng)備胎？ ta 是不是對(duì)誰(shuí)都這樣？解決問(wèn)題最簡(jiǎn)單的方式就是直接問(wèn)問(wèn)對(duì)方...

kevin 2019-08-23 16:50 評(píng)論0 收藏0
每日 30 秒 ? 千里姻緣一線牽

簡(jiǎn)介 SEO、鏈接、a 標(biāo)簽、HTTP 狀態(tài)碼、link 標(biāo)簽、alternate、canonical 唐朝有個(gè)小伙叫韋固喜歡在河邊玩，一天遇到一個(gè)老伯伯在月光下把兩塊石頭系在一起。小伙看到很好奇便問(wèn)道系石頭做什么呢？老伯伯說(shuō)我在給當(dāng)婚人牽線，這對(duì)石頭是一對(duì)夫妻。小伙問(wèn)道：那我的妻子是誰(shuí)呢？老伯伯說(shuō)：就是村頭看菜園子的女孩兒。小伙就好氣，本小伙玉樹(shù)臨風(fēng)、風(fēng)流倜儻怎么可以和菜園窮丑丫頭一起呢？第二...

Arno 2019-08-02 16:11 評(píng)論0 收藏0
每日 30 秒 ? 千里姻緣一線牽

簡(jiǎn)介 SEO、鏈接、a 標(biāo)簽、HTTP 狀態(tài)碼、link 標(biāo)簽、alternate、canonical 唐朝有個(gè)小伙叫韋固喜歡在河邊玩，一天遇到一個(gè)老伯伯在月光下把兩塊石頭系在一起。小伙看到很好奇便問(wèn)道系石頭做什么呢？老伯伯說(shuō)我在給當(dāng)婚人牽線，這對(duì)石頭是一對(duì)夫妻。小伙問(wèn)道：那我的妻子是誰(shuí)呢？老伯伯說(shuō)：就是村頭看菜園子的女孩兒。小伙就好氣，本小伙玉樹(shù)臨風(fēng)、風(fēng)流倜儻怎么可以和菜園窮丑丫頭一起呢？第二...

baihe 2019-08-23 16:48 評(píng)論0 收藏0
作為前端，你不得不知道的SEO

摘要：就是把你的頁(yè)面直接丟給百度的接口，親口告訴百度你有哪些頁(yè)面，這是效率最高也是收錄最快的方式了。百度在國(guó)內(nèi)搜索引擎的占有率最高，但是很不幸，它并不支持?jǐn)?shù)據(jù)的爬取。這些將作為搜索結(jié)果排序的重要依據(jù)。 ??研發(fā)的同學(xué)，其實(shí)很多人并沒(méi)有深入了解SEO這個(gè)概念。在技術(shù)博客里，提及這一塊的也寥寥無(wú)幾。我今天就拿自己的經(jīng)驗(yàn)，簡(jiǎn)單給大家掃個(gè)盲，有什么遺漏的地方，歡迎大家補(bǔ)充。 ??文字內(nèi)容有點(diǎn)多，但是...

UnixAgain 2019-08-26 11:59 評(píng)論0 收藏0
web前端關(guān)于瀏覽器兼容的一些知識(shí)和問(wèn)題解決

摘要：瀏覽器兼容產(chǎn)生的原因因?yàn)椴煌瑸g覽器使用內(nèi)核及所支持的等網(wǎng)頁(yè)語(yǔ)言標(biāo)準(zhǔn)不同。很早以前搜索引擎優(yōu)化百度百度專門給技術(shù)人員提供優(yōu)化方案，是一本白皮書。被抓取的網(wǎng)頁(yè)被稱之為網(wǎng)頁(yè)快照。 showImg(https://segmentfault.com/img/bVY9Mu?w=383&h=194); 瀏覽器兼容為什么產(chǎn)生瀏覽器兼容，瀏覽器兼容問(wèn)題什么是瀏覽器兼容；所謂的瀏覽器兼容性問(wèn)題，是指...

daydream 2019-08-21 17:46 評(píng)論0 收藏0