国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

基于Java的同花順股票數據爬蟲

EasonTyler / 2420人閱讀

摘要:問題來源今天與同學聊天,得知他有個任務是抓取同花順網站上的股票數據,有點興趣,便做了相關實驗。由于時間關系,以上代碼只是把數據所在的網頁抓取到本地,沒有進行解析。

問題來源

今天與同學聊天,得知他有個任務是抓取同花順網站上的股票數據,有點興趣,便做了相關實驗。

介紹

網站地址:http://q.10jqka.com.cn/

網站界面:

爬取內容:圖中全部股票專欄表格中的數據

觀察

瀏覽器:Firefox

觀察現象:網頁中每次只展示一頁的數據,一頁20條數據。通常來說,為了減輕瀏覽器的存儲壓力,后臺服務器一般只給前臺發送一頁的數據,數據的獲取需要前端發送請求

尋找請求:為了獲取某一頁數據對應的請求,點擊F12鍵,調出瀏覽器工具控制臺,并點擊到網絡專欄,同時清空界面中的所有請求,頁面如下:

點擊頁,發現請求,該請求方法為GET,返回類型為html,界面如下:

探索請求:發現該請求的返回類型為html,為了進一步探索該請求,將該請求的地址復制到瀏覽器地址欄中,打開頁面,發現這與主網站上的數據一致,可認為該請求可獲取到股票數據。

尋找關系:通常來說,某一頁與請求的地址會有特定的聯系。剛剛我們請求的地址為:http://q.10jqka.com.cn/index/...,發現其中的4正好為我們所點擊的頁數,這個時候頁數和請求地址的規律尋找出來了

實驗

語言:Java

工具:htmlunit,

    
            net.sourceforge.htmlunit
            htmlunit
            2.35.0
    

基本思想:瀏覽器模擬點擊

源碼如下:

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.net.URL;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.HttpMethod;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.Page;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.WebRequest;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlButton;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlPasswordInput;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;

public class HtmlUtil {
    WebClient webClient;
    //初始化
    public HtmlUtil(){
        webClient = new WebClient(BrowserVersion.CHROME);//新建一個模擬谷歌Chrome瀏覽器的瀏覽器客戶端對象
        webClient.getOptions().setThrowExceptionOnScriptError(false);//當JS執行出錯的時候是否拋出異常, 這里選擇不需要
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//當HTTP的狀態非200時是否拋出異常, 這里選擇不需要
        webClient.getOptions().setActiveXNative(false);
        webClient.getOptions().setCssEnabled(false);//是否啟用CSS, 因為不需要展現頁面, 所以不需要啟用
        webClient.getOptions().setJavaScriptEnabled(true); //很重要,啟用JS。有些網站要開啟!
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要,設置支持AJAX
        webClient.getOptions().setTimeout(30000);
    }
    //獲取某個url的web客戶端
    public String htmlUnitUrl(String url, WebClient webClient) {  
        try {  
            WebRequest request = new WebRequest(new URL(url), HttpMethod.GET);  
            Map additionalHeaders = new HashMap();  
            additionalHeaders  
                    .put("User-Agent",  
                            "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36");  
            additionalHeaders.put("Accept-Language", "zh-CN,zh;q=0.8");  
            additionalHeaders.put("Accept", "*/*");  
                        request.setAdditionalHeaders(additionalHeaders);  
            // 獲取某網站頁面  
            Page page = webClient.getPage(request);  
            return page.getWebResponse().getContentAsString();  
        } catch (Exception e) {  
           
        }  
        return null;  
    }  
    //爬取某網頁
    public void work(String url) {
        try {
            HtmlPage page = webClient.getPage(url);//打開網頁
            int pageCount = 177;
            for(int i=1;i<=pageCount;i++) {
                //當訪問速度過快時,后臺瀏覽器會禁止,在這里可加入適當延遲的代碼
                /**
                *延遲執行的代碼
                */
                
                String content = htmlUnitUrl("http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/"+i+"/ajax/1/",webClient);
                if(content.contains("Nginx forbidden."))
                    return;
                else {
                     writeFile("F://測試//"+i+".html",content);
                    }
            }
           
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    public static void main(String[] args){
        HtmlUtil demo=new HtmlUtil();
        String url = "http://q.10jqka.com.cn/";
        demo.work(url);
    }
    /**
     * 保存抓取的html到本地
     * @param path
     * @param content
     */
    public static boolean writeFile(String path,String content) {
    
         File file = new File(path);
         boolean isSuccess = true;
         System.out.println(path);
         // if file doesnt exists, then create it
         if (!file.exists()) {
            try {
                isSuccess = file.createNewFile();
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
                isSuccess = false;
            }
         }else {
             file.delete();
         }
        FileWriter fw;
        try {
            fw = new FileWriter(file.getAbsoluteFile());
            BufferedWriter bw = new BufferedWriter(fw);
            bw.write(content);
            bw.close();
            System.out.println("寫入成功.");
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
            System.out.println("寫入失敗.");
            isSuccess = false;
        }
        return isSuccess;
    }
}
總結

因為心存興趣,便做了相關的實驗,為了方便,其中的部分代碼還借鑒了網上的源碼。由于時間關系,以上代碼只是把數據所在的網頁抓取到本地,沒有進行解析。

大家晚安~

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/74954.html

相關文章

  • 量化交易之股票數據獲取——同花軟件

    摘要:將另存為格式時,文件將工作表中的單元格所顯示的文本和數值以逗號分離進行保存。方法此處使用模塊的函數讀取文件,函數以字典形式返回,字典的鍵則是這個單元格的標題即列頭,每一個單元格內容放在字典的值內。 前言 數據是進行量化交易的基礎和關鍵,目前國內做量化產品的金融機構大部分是從券商獲取高頻實時行情數據的,另外很多金融網站也提供了數據接口,可以調用接口方式獲取,也可以用爬蟲的方式獲取。文本講...

    Chaz 評論0 收藏0
  • 首次公開,整理12年積累博客收藏夾,零距離展示《收藏夾吃灰》系列博客

    摘要:時間永遠都過得那么快,一晃從年注冊,到現在已經過去了年那些被我藏在收藏夾吃灰的文章,已經太多了,是時候把他們整理一下了。那是因為收藏夾太亂,橡皮擦給設置私密了,不收拾不好看呀。 ...

    Harriet666 評論0 收藏0
  • AI Challenger開賽,千萬量級數據開放,AI高手將上演巔峰對決

    摘要:月日,各項競賽的排名將決定最終的成績排名。選手通過訓練模型,對虛擬股票走勢進行預測。冠軍將獲得萬元人民幣的獎勵。 showImg(https://segmentfault.com/img/bVUzA7?w=477&h=317); 2017年9月4日,AI challenger全球AI挑戰賽正式開賽,來自世界各地的AI高手,將展開為期三個多月的比拼,獲勝團隊將分享總額超過200萬人民幣的...

    Ali_ 評論0 收藏0
  • 計算機秋招必備!杭州互聯網大廠企業整理清單!

    摘要:截至年月日零時,杭州市常住人口為萬人。年,杭州市實現地區生產總值億元。阿里巴巴對杭州的影響巨大,一線的七個企業中,有四個企業都是阿里巴巴大集團下的。 歡迎持續關注我...

    morgan 評論0 收藏1

發表評論

0條評論

EasonTyler

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<