摘要:前言在環境下做些簡單的爬蟲時,需要用代理地址,如果訪問的目標站點是協議,用就會有些問題解決方法使用隧道代理用于的隧道代理具體參考安裝使用使用是對請求修復的一個分支版本安裝使用使用模塊個人感覺如果只是在服務端運行的
前言
在node環境下做些簡單的爬蟲時,需要用代理地址,如果訪問的目標站點
是https協議,用axios就會有些問題
1.使用tunnel隧道代理
node-tunnel - 用于HTTP/HTTPS的隧道代理
具體參考(tunnel)[https://www.npmjs.com/package...]
安裝
npm install tunnel
使用
const axios = require("axios") const tunnel = require("tunnel") const tunnelProxy = tunnel.httpsOverHttp({ proxy: { host: "you_host", port: "you_port", }, }); axios(url,{ proxy: false, httpsAgent: tunnelProxy, timeout: 10000 }) .then(res=>{ console.log(res.data) })
2.使用 axios-https-proxy-fix
axios-https-proxy-fix是對axioshttps請求bug修復的一個分支版本
安裝
npm i axios-https-proxy-fix
使用
const axios = require("axios-https-proxy-fix") axios(url,{ proxy: { host: "127.0.0.1", port: "1080" }, timeout: 10000 }) .then(res=>{ console.log(res.data) })
3.使用node request模塊
個人感覺如果只是在服務端運行的代碼,用這個最為穩妥
安裝
npm i request
使用
const request = require("request") request({ url, timeout: 5000, proxy: "http://127.0.0.1:1080" },(error,response,body)=>{ if (error) { return console.log(error) } console.log(body) })
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/106541.html
摘要:知乎日報代理首先感謝提供的分析使用詳情請參考他提供的參數和地址代理轉發的使用為前綴進入代理路由啟動界面圖像獲取后為圖像分辨率,接受任意的格式,為任意非負整數,返回值均相同返回值示例最新消息等具體參考提供的分析中的使用方式以及參數含義。 項目說明 這是一個基于express的node后端API服務,當時只是想抓取字幕組網站的下載資源,以備以后通過nas的方式去自動下載關注的美劇。不過后來...
摘要:同源策略所謂同源是指協議,域名,端口均相同。同源策略是瀏覽器的一個安全功能,不同源的客戶端腳本在沒有明確授權的情況下,不能讀寫對方資源。需注意的是由于同源策略的限制,所讀取的為跨域請求接口所在域的,而非當前頁。 一、什么是跨域 1.URL解析 URL (Uniform Resource Locator )統一資源定位符(URL)是用于完整地描述Internet上網頁和其他資源的地址的...
摘要:有兩種方法,一種是在開發環境中設置通過的,另一種是在服務器上修改的配置設置。這樣我們以后使用訪問接口就可以不加了,打包后訪問也不用手動去除統一管理在項目開發過程中,會涉及到很多接口的處理,當項目足夠大時,就需要統一管理接口。 這篇文章總結了vue項目的所遇到的問題,包括跨域、用戶認證、接口統一管理、路由配置、兼容性處理,性能優化等內容。 項目github地址 : 前端 https:...
摘要:使用模擬好后端數據之后模擬數據的使用參考,就需要嘗試請求加載數據了。數據請求選擇了,現在都推薦使用。規定要發送到服務器的數據。布爾值,表示請求是否異步處理。要求為類型的參數,請求成功后調用的回調函數。在一個中重寫回調函數的字符串。 使用Mock模擬好后端數據之后(Mock模擬數據的使用參考:https://segmentfault.com/a/11...),就需要嘗試請求加載數據了。數...
閱讀 3339·2022-01-04 14:20
閱讀 3109·2021-09-22 15:08
閱讀 2188·2021-09-03 10:44
閱讀 2316·2019-08-30 15:44
閱讀 1491·2019-08-29 18:40
閱讀 2655·2019-08-29 17:09
閱讀 2989·2019-08-26 13:53
閱讀 3222·2019-08-26 13:37