国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專(zhuān)欄INFORMATION COLUMN

Linux Shell curl 和 wget 使用代理IP

BLUE / 3602人閱讀

摘要:米撲代理示例,測(cè)試使用的代理,全部來(lái)自于米撲代理,其覆蓋多個(gè)國(guó)家,中國(guó)個(gè)省市,支持等米撲代理示例官網(wǎng)參考推薦米撲代理之使用示例推薦抓取網(wǎng)頁(yè)實(shí)例代理篩選系統(tǒng)

Linux Shell 提供兩個(gè)非常實(shí)用的命令來(lái)爬取網(wǎng)頁(yè),它們分別是 curl 和 wget

curl 和 wget 使用代理

curl 支持 http、https、socks4、socks5

wget 支持 http、https

代理示例:

#!/bin/bash
#
# curl 支持 http、https、socks4、socks5
# wget 支持 http、https
#
# 米撲代理示例:
# http://proxy.mimvp.com/demo2.php
#
# 米撲代理購(gòu)買(mǎi):
# http://proxy.mimvp.com
#
# mimvp.com
# 2015-11-09
 
 
# http代理格式         http_proxy=http://IP:Port
# https代理格式         https_proxy=http://IP:Port
 
{"http": "http://120.77.176.179:8888"}
curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php                    # http_proxy
wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php          # http_proxy
 
{"https": "http://46.105.214.133:3128"}
curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php                    # https_proxy
wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php    # https_proxy
 
     
# curl  支持socks
{"socks4": "101.255.17.145:1080"}
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php
     
{"socks5": "82.164.233.227:45454"}
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php
 
 
# wget 不支持socks


wget 配置文件設(shè)置代理

vim ~/.wgetrc
 
http_proxy=http://120.77.176.179:8888:8080
https_proxy=http://12.7.17.17:8888:8080
use_proxy = on
wait = 30
 
wget -T 30 --tries 3 http://proxy.mimvp.com


Shell 設(shè)置臨時(shí)局部代理

# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
 
# proxy auth
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
 
 
# 取消設(shè)置
unset http_proxy
unset https_proxy


Shell 設(shè)置系統(tǒng)全局代理

# 修改 /etc/profile,保存并重啟服務(wù)器
sudo vim /etc/profile        # 所有人有效
或
sudo vim ~/.bashrc        # 所有人有效
或
vim ~/.bash_profile        # 個(gè)人有效
     
     
# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
 
# proxy auth
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
 
source /etc/profile
或
source ~/.bashrc
或
source ~/.bash_profile
 
 
sudo reboot


米撲代理示例

米撲代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易語(yǔ)言等十多種編程語(yǔ)言或腳本,通過(guò)大量的可運(yùn)行實(shí)例,詳細(xì)講解了使用代理IP的正確方法,方便網(wǎng)頁(yè)爬取、數(shù)據(jù)采集、自動(dòng)化測(cè)試等領(lǐng)域。

米撲代理示例,測(cè)試使用的代理IP,全部來(lái)自于米撲代理,其覆蓋120多個(gè)國(guó)家,中國(guó)34個(gè)省市,支持http、https、socks4、socks5等
米撲代理示例官網(wǎng) :
http://proxy.mimvp.com/demo2.php


參考推薦
米撲代理之使用示例 (推薦)
mimvp-proxy-demo (GitHub)
Linux 抓取網(wǎng)頁(yè)實(shí)例(shell+awk)
LinuxIP代理篩選系統(tǒng)(shell+proxy)

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://specialneedsforspecialkids.com/yun/24939.html

相關(guān)文章

  • Linux Shell curl wget 使用代理IP

    摘要:米撲代理示例,測(cè)試使用的代理,全部來(lái)自于米撲代理,其覆蓋多個(gè)國(guó)家,中國(guó)個(gè)省市,支持等米撲代理示例官網(wǎng)參考推薦米撲代理之使用示例推薦抓取網(wǎng)頁(yè)實(shí)例代理篩選系統(tǒng) Linux Shell 提供兩個(gè)非常實(shí)用的命令來(lái)爬取網(wǎng)頁(yè),它們分別是 curl 和 wget curl 和 wget 使用代理 curl 支持 http、https、socks4、socks5 wget 支持 http、https...

    microcosm1994 評(píng)論0 收藏0
  • 阿里服務(wù)器之項(xiàng)目線上部署過(guò)程

    摘要:還有需要配置安全組,在阿里云控制臺(tái)中進(jìn)行配置,添加和端口,才能夠訪問(wèn)到線上服務(wù)器。 在搭建web全棧的過(guò)程中,最令我頭疼的就是項(xiàng)目的部署與上線,這個(gè)過(guò)程雖然簡(jiǎn)單,但是對(duì)于全棧菜鳥(niǎo)的我來(lái)說(shuō)真的是個(gè)大坑,但是我還是去嘗試,終于通過(guò)各種文檔、請(qǐng)教與實(shí)踐中完成了線上部署,在此做一下記錄與總結(jié) 一、購(gòu)買(mǎi)服務(wù)器 服務(wù)器選擇:服務(wù)器的品牌有很多,如亞馬遜、阿里云、騰訊等等,各大廠商之間的產(chǎn)品、服務(wù)...

    sevi_stuo 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<