摘要：米撲代理示例，測試使用的代理，全部來自于米撲代理，其覆蓋多個國家，中國個省市，支持等米撲代理示例官網參考推薦米撲代理之使用示例推薦抓取網頁實例代理篩選系統

Linux Shell 提供兩個非常實用的命令來爬取網頁，它們分別是 curl 和 wget

curl 和 wget 使用代理

curl 支持 http、https、socks4、socks5

wget 支持 http、https

代理示例：

#!/bin/bash
#
# curl 支持 http、https、socks4、socks5
# wget 支持 http、https
#
# 米撲代理示例：
# http://proxy.mimvp.com/demo2.php
#
# 米撲代理購買：
# http://proxy.mimvp.com
#
# mimvp.com
# 2015-11-09
 
 
# http代理格式         http_proxy=http://IP:Port
# https代理格式         https_proxy=http://IP:Port
 
{"http": "http://120.77.176.179:8888"}
curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php                    # http_proxy
wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php          # http_proxy
 
{"https": "http://46.105.214.133:3128"}
curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php                    # https_proxy
wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php    # https_proxy
 
     
# curl  支持socks
{"socks4": "101.255.17.145:1080"}
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php
     
{"socks5": "82.164.233.227:45454"}
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php
 
 
# wget 不支持socks

wget 配置文件設置代理

vim ~/.wgetrc
 
http_proxy=http://120.77.176.179:8888:8080
https_proxy=http://12.7.17.17:8888:8080
use_proxy = on
wait = 30
 
wget -T 30 --tries 3 http://proxy.mimvp.com

Shell 設置臨時局部代理

# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
 
# proxy auth
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
 
 
# 取消設置
unset http_proxy
unset https_proxy

Shell 設置系統全局代理

# 修改 /etc/profile，保存并重啟服務器
sudo vim /etc/profile        # 所有人有效
或
sudo vim ~/.bashrc        # 所有人有效
或
vim ~/.bash_profile        # 個人有效
     
     
# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
 
# proxy auth
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
 
source /etc/profile
或
source ~/.bashrc
或
source ~/.bash_profile
 
 
sudo reboot

米撲代理示例

米撲代理示例，包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易語言等十多種編程語言或腳本，通過大量的可運行實例，詳細講解了使用代理IP的正確方法，方便網頁爬取、數據采集、自動化測試等領域。

米撲代理示例，測試使用的代理IP，全部來自于米撲代理，其覆蓋120多個國家，中國34個省市，支持http、https、socks4、socks5等
米撲代理示例官網 ：
http://proxy.mimvp.com/demo2.php

參考推薦：
米撲代理之使用示例 （推薦）
mimvp-proxy-demo （GitHub）
Linux 抓取網頁實例（shell+awk）
LinuxIP代理篩選系統（shell+proxy）