html5語義標簽以及使用nodejs request庫抓取網站數據

simon_chen 發布于2019-08-22 16:49 / 1796人閱讀

摘要：語義標簽定義文檔中的一個章節。定義可以獨立于內容其余部分的完整獨立內容塊。定義和頁面內容關聯度較低的內容如果被刪除，剩下的內容仍然很合理。它經常包含頁面標題和導航性的目錄。定義包含聯系信息的一個章節。

html5語義標簽

Element	Description
	定義文檔中的一個章節。
	定義只包含導航鏈接的章節。
	定義可以獨立于內容其余部分的完整獨立內容塊。
	定義和頁面內容關聯度較低的內容——如果被刪除，剩下的內容仍然很合理。
	定義頁面或章節的頭部。它經常包含 logo、頁面標題和導航性的目錄。
	定義頁面或章節的尾部。它經常包含版權信息、法律信息鏈接和反饋建議用的地址。
	定義包含聯系信息的一個章節。
	定義文檔中主要或重要的內容。

如圖:

使用nodejs request庫抓取網站數據 分析數據 查看請求如圖:

打開chrome開發者工具crtl+shift+i，打開network面板，選擇XHR

找到需要數據的XHR請求

分析請求

箭頭所示地方發現該數據是使用post請求并且傳值形式如 "form: trendType=01"，請求的url也一目了然

偽造請求

那么接下來的事情就比較簡單了，我們只需要根據找到的這個請求格式設置headers，再請求這個api的url即可

"accept": "application/json, text/javascript, */*; q=0.01",
  "origin": "http://www.liangdawang.com",
  "referer": "http://www.liangdawang.com/",
  "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"

下載數據

查看request文檔再使用pipe方法將獲取的數據下載到本地保存起來

request(options, callback).pipe(fs.createWriteStream(options.form.trendType + `.json`));

代碼鏈接 源碼 https://gitee.com/imgwho/lian... 預覽 https://imgwho.gitee.io/liangyou

云服務器 GPU云服務器 html5標簽使用 js 數據抓取庫標簽語義化 html 標簽語義化

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/94697.html

單頁應用SEO淺談（轉載）

摘要：中的哈希號單頁應用只有一個頁面，視圖的變化通常是通過路由來驅動，首先，我們先來談一談單頁應用的中的號，很多采用單元結構網站的都出現了這個符號。單頁應用SEO淺談單頁應用（Single Page Application）越來越受web開發者歡迎，單頁應用的體驗可以模擬原生應用，一次開發，多端兼容。單頁應用并不是一個全新發明的技術，而是隨著互聯網的發展，滿足用戶體驗的一種綜合技術。 S...

xuhong 2019-08-20 12:13 評論0 收藏0
前端工程師的知識體系

摘要：目前只有和有這個概率。是快速開發應用程序的前端工具包。調試工具前端的調試工具很多，比如，核心的的。前端流程部署，和現在幾乎是前端最流行的自動化的項目構建工具正則表達式瀏覽器插件開發瀏覽器原理溝通能力優秀下圖是前端工程師圖解：showImg(http://upload-images.jianshu.io/upload_images/1807893-de7c7404345922b6.jp...

itvincent 2019-08-20 17:22 評論0 收藏0
前端工程師的知識體系

摘要：目前只有和有這個概率。是快速開發應用程序的前端工具包。調試工具前端的調試工具很多，比如，核心的的。前端流程部署，和現在幾乎是前端最流行的自動化的項目構建工具正則表達式瀏覽器插件開發瀏覽器原理溝通能力優秀下圖是前端工程師圖解：showImg(http://upload-images.jianshu.io/upload_images/1807893-de7c7404345922b6.jp...

raise_yang 2019-08-29 12:47 評論0 收藏0