問題背景
最近工作上有開發爬蟲的任務,對目標網站數據進行抓取,由于大部分網站都在國外,無法直接訪問,需要通過代理才能登錄。爬蟲部署的服務器在香港,所以爬蟲部署到服務器后,是可以訪問目標網站的,但本地開發調試程序時,需要通過代理才能訪問。
這篇文章就帶大家了解一下如何在Java程序中使用代理訪問網絡。
你需要一個代理服務器,和一個可以連接到此服務器的客戶端。
花點銀子買一個穩定的賬號,或者自己搭建一個。
這里我使用自己搭建的 Shadowsocks 代理服務器,使用 Shadowsocks-Windows 作為本地代理的客戶端,并開啟默認的 1080 端口,以供本地其他程序通過代理訪問網絡。
指定 Java 程序的代理服務器地址和端口
有兩種指定方式:
通過命令行參數指定
如果只需要考慮代理 HTTP 協議請求,只需添加 -Dhttp.proxyHost=127.0.0.1 -Dhttp.proxyPort=1080。想要HTTP和HTTPS協議的請求都通過代理訪問網絡,可以追加上 -Dhttps.proxyHost=127.0.0.1 -Dhttps.proxyPort=1080。最終填寫的值為:
-Dhttp.proxyHost=127.0.0.1 -Dhttp.proxyPort=1080 -Dhttps.proxyHost=127.0.0.1 -Dhttps.proxyPort=1080
在程序中使用System.setProperty(String, String)
同樣很簡單,這里直接上代碼:
String proxyHost = "127.0.0.1"; String proxyPort = "1080"; System.setProperty("http.proxyHost", proxyHost); System.setProperty("http.proxyPort", proxyPort); // 對https也開啟代理 System.setProperty("https.proxyHost", proxyHost); System.setProperty("https.proxyPort", proxyPort);
推薦使用第一種方案,通過VM Option 的方式,對代碼沒有任何侵入,綠色環保。
測試這里我在Eclipse中使用第一種方法進行測試。
測試代碼
import java.io.IOException; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; public class Test { public static void main(String[] args) throws IOException { URL url = new URL("https://google.com"); URLConnection connection = url.openConnection(); connection.connect(); InputStream inputStream = connection.getInputStream(); byte[] bytes = new byte[1024]; while (inputStream.read(bytes) >= 0) { System.out.println(new String(bytes)); } } }
測試結果,可以正常訪問Google等網站。
除了上述 http.proxyHost 和 http.proxyPort,以及 https.proxyHost 和 https.proxyPort 在代理時比較有用外,還有一個屬性也比較有用,那就是 http.nonProxyHosts,它用來指定哪些主機不使用代理,如果有多個,用英文豎線(|)分隔,可以使用星號 (*)作為通配符。
下表是常用協議對應的代理屬性:
協議 | 屬性(代理主機/代理端口/不使用代理的主機列表) | 默認值 |
---|---|---|
HTTP | http.proxyHost | |
http.proxyPort | 80 | |
http.nonProxyHosts | ||
HTTPS | https.proxyHost | |
https.proxyPort | 443 | |
https.nonProxyHosts | ||
FTP | ftp.proxyHost | |
ftp.proxyPort | 80 | |
ftp.nonProxyHosts | ||
SOCKS | socksProxyHost | |
socksProxyPort | 1080 |
詳細介紹請參考官方說明:Java Networking and Proxies
原文鏈接:http://xueliang.org/article/detail/20170116145848852
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/66495.html
摘要:環境運行時依賴,需提前安裝環境。抓包就是將網絡傳輸發送與接收的數據包進行截獲重發編輯轉存等操作,也用來檢查網絡安全。抓包也經常被用來進行數據截取等。 目錄 Bur...
摘要:它使用方式,接收和響應外部系統的某種請求。回顧我們在學習基礎網絡編程章節已經知道了這么一個連接了。使用指定名稱的命名空間。名詞簡單對象訪問協議作為一個基于語言的協議用于有網上傳輸數據。以的根元素出現。代理這么一個概念就更加清晰了。 WebService介紹 首先我們來談一下為什么需要學習webService這樣的一個技術吧.... 問題一 如果我們的網站需要提供一個天氣預報這樣一個需求...
閱讀 2785·2021-10-14 09:42
閱讀 3608·2021-10-11 10:59
閱讀 2941·2019-08-30 11:25
閱讀 3073·2019-08-29 16:25
閱讀 3223·2019-08-26 17:40
閱讀 1224·2019-08-26 13:30
閱讀 1143·2019-08-26 11:46
閱讀 1329·2019-08-23 15:22