国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Java程序通過代理訪問網絡

garfileo / 1708人閱讀

問題背景

最近工作上有開發爬蟲的任務,對目標網站數據進行抓取,由于大部分網站都在國外,無法直接訪問,需要通過代理才能登錄。爬蟲部署的服務器在香港,所以爬蟲部署到服務器后,是可以訪問目標網站的,但本地開發調試程序時,需要通過代理才能訪問。
這篇文章就帶大家了解一下如何在Java程序中使用代理訪問網絡。

解決方案

你需要一個代理服務器,和一個可以連接到此服務器的客戶端。
花點銀子買一個穩定的賬號,或者自己搭建一個。

這里我使用自己搭建的 Shadowsocks 代理服務器,使用 Shadowsocks-Windows 作為本地代理的客戶端,并開啟默認的 1080 端口,以供本地其他程序通過代理訪問網絡。

指定 Java 程序的代理服務器地址和端口
有兩種指定方式:

通過命令行參數指定
如果只需要考慮代理 HTTP 協議請求,只需添加 -Dhttp.proxyHost=127.0.0.1 -Dhttp.proxyPort=1080。想要HTTP和HTTPS協議的請求都通過代理訪問網絡,可以追加上 -Dhttps.proxyHost=127.0.0.1 -Dhttps.proxyPort=1080。最終填寫的值為:

-Dhttp.proxyHost=127.0.0.1 -Dhttp.proxyPort=1080 -Dhttps.proxyHost=127.0.0.1 -Dhttps.proxyPort=1080

在程序中使用System.setProperty(String, String)
同樣很簡單,這里直接上代碼:

String proxyHost = "127.0.0.1";
String proxyPort = "1080";
      
System.setProperty("http.proxyHost", proxyHost);
System.setProperty("http.proxyPort", proxyPort);
      
// 對https也開啟代理
System.setProperty("https.proxyHost", proxyHost);
System.setProperty("https.proxyPort", proxyPort);

推薦使用第一種方案,通過VM Option 的方式,對代碼沒有任何侵入,綠色環保。

測試

這里我在Eclipse中使用第一種方法進行測試。

測試代碼

import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;

public class Test {

    public static void main(String[] args) throws IOException {
        URL url = new URL("https://google.com");
        URLConnection connection = url.openConnection();
        connection.connect();
        InputStream inputStream = connection.getInputStream();
        byte[] bytes = new byte[1024];
        while (inputStream.read(bytes) >= 0) {
            System.out.println(new String(bytes));
        }
    }
}

測試結果,可以正常訪問Google等網站。

總結

除了上述 http.proxyHosthttp.proxyPort,以及 https.proxyHosthttps.proxyPort 在代理時比較有用外,還有一個屬性也比較有用,那就是 http.nonProxyHosts,它用來指定哪些主機不使用代理,如果有多個,用英文豎線(|)分隔,可以使用星號 (*)作為通配符。
下表是常用協議對應的代理屬性:

協議 屬性(代理主機/代理端口/不使用代理的主機列表) 默認值
HTTP http.proxyHost
http.proxyPort 80
http.nonProxyHosts
HTTPS https.proxyHost
https.proxyPort 443
https.nonProxyHosts
FTP ftp.proxyHost
ftp.proxyPort 80
ftp.nonProxyHosts
SOCKS socksProxyHost
socksProxyPort 1080

詳細介紹請參考官方說明:Java Networking and Proxies

原文鏈接:http://xueliang.org/article/detail/20170116145848852

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/66495.html

相關文章

  • Burp Suite抓包講解

    摘要:環境運行時依賴,需提前安裝環境。抓包就是將網絡傳輸發送與接收的數據包進行截獲重發編輯轉存等操作,也用來檢查網絡安全。抓包也經常被用來進行數據截取等。 目錄 Bur...

    不知名網友 評論0 收藏0
  • Java 知識小集

    摘要:鎖的兩種主要特性互斥同一時間只允許一個線程持有某個特定的鎖??梢娦跃€程釋放鎖之前對共享數據做出的更改對于隨后獲得該鎖的另一個線程是可見的。在商業上的成功奠定了字符存儲以位即一個字節為單位的基礎。 1.鎖的兩種主要特性: 互斥:同一時間只允許一個線程持有某個特定的鎖。線程持有該鎖相當于令牌去訪問線程共享的數據??梢娦裕壕€程釋放鎖之前對共享數據做出的更改對于隨后獲得該鎖的另一個線程是可見的...

    XBaron 評論0 收藏0
  • 深入理解代理模式

    摘要:代理模式代理類中創建一個真實對象的實例模式的核心裝飾者強調的是增強自身,在被裝飾之后你能夠在被增強的類上使用增強后的功能。 代理模式 在詳細了解代理模式之前,可能對于像小秋一樣的小白,只知道一些很淺顯的概念,或者就知道遠程代理啊,靜態代理啊,動態代理啊,這些看似可以望文生義的專業名詞,但是如果我告訴你代理模式貫穿了我們生活的方方面面,就比如你現在刷著公眾號的時候,實際上就用了遠程代理模...

    testHs 評論0 收藏0
  • WebService就是這么簡單

    摘要:它使用方式,接收和響應外部系統的某種請求。回顧我們在學習基礎網絡編程章節已經知道了這么一個連接了。使用指定名稱的命名空間。名詞簡單對象訪問協議作為一個基于語言的協議用于有網上傳輸數據。以的根元素出現。代理這么一個概念就更加清晰了。 WebService介紹 首先我們來談一下為什么需要學習webService這樣的一個技術吧.... 問題一 如果我們的網站需要提供一個天氣預報這樣一個需求...

    SwordFly 評論0 收藏0

發表評論

0條評論

garfileo

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<