資訊專欄INFORMATION COLUMN
摘要：如果你是個足球迷的話，估計或多或少都會看一下昨晚中國踢韓國的比賽，因為不管他們踢得怎樣，我們還是深愛著他們，那句話說得好，國足虐我千百遍，我待國足如初戀。
如果你是個足球迷的話，估計或多或少都會看一下昨晚中國踢韓國的比賽，因為不管他們踢得怎樣，我們還是深愛著他們，那句話說得好，“國足虐我千百遍，我待國足如初戀”。更何況他們兩場都踢贏了，所以面對第三場實力有點強的韓國隊也是希望能贏的，畢竟我們也在十二強賽上贏過他們！
如果你不是個足球迷，但你也可以看看，可以學習下如何去抓APP的數據。好了，廢話不多說，開始抓取！
1.抓包分析請求手機抓包我們可以用 Fiddler 軟件來抓取，如果不懂怎樣抓的話，可以看看這篇文章抓包軟件?Fiddler?了解一下？
配置好之后，開始抓包。
首先找到需要爬取的文章
懂球帝app截圖
文章鏈接為：https://m.dongqiudi.com/artic...
在配置好抓包之后，點擊下方的評論，可以看到
評論截圖
抓包截圖
很容易就找到文章評論的請求，就是下面這個
可以看到請求的鏈接為：https://api.dongqiudi.com/v2/...?，
請求方法為GET，接下來就好辦了，我們再看看滑下去查看更多的評論的請求。
可以看到，向下翻頁多了兩個參數，不過容易知道，next?參數就是一個時間戳，而?pn?參數就是頁數吧，從?0?開始的。
但是怎樣判斷所有評論已經爬完了呢？我們可以看看數據的詳情，下面將 json 數據格式化，在下圖可以看到在 data 里面有下一頁的數據，那這就容易了，哈哈
分析了，接下來就是代碼部分了。
2.代碼部分這是主體部分，先從第一個評論鏈接中爬取評論以及找出下一頁的評論地址進而繼續爬取。這里是把數據庫存進 mongodb 中。
主要的爬取邏輯，可以看出來是比較簡單的，因為沒有涉及到什么加密參數之類的，但是有一個問題，每一次進行請求的時候，有時候是會返回帶有相同的評論的，所以我們也需要在數據庫簡單地進行去重。
下面是入庫和去重的代碼部分
剩下的就沒有了。
3.查看所得的數據由于數據分析還不熟悉，所以暫時只制作詞云圖。
需要先將數據寫到文本上
詞云圖是：
可以看出，昨晚國足輸一場，也被很多人噴了，但是還是有很多人是一直支持的，永遠都為國足加油，里面也說到了，中國和韓國是有一定差距的，而且還有點大，輸了也正常不過了，沒必要噴，再說我覺得昨晚的比賽已經比第一場的比賽好很多(第二次沒看)，還是有進步的，我對國足未來淘汰賽也是充滿期望的，我相信能走得更遠！
下一場 踢泰國， 20號，有人看嗎？
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43044.html
摘要：爆炸足球模仿懂球帝移動端官網，歡迎各位老鐵地址技術棧前端后端通過設置代理的方式請求懂球帝官網獲取數據項目截圖安裝與運行建議使用淘寶鏡像服務端運行訪問項目打包運行打包后代碼有任何問題可以在這里提，謝謝你的支持。歡迎各位老鐵，飛機票 Vue2-football—爆炸足球 模仿懂球帝移動端官網，歡迎各位老鐵stargithub地址：https://github.com/vqlai/vue2....
摘要：前端日報精選第期寫給前端應屆生的職業規劃建議應用編譯優化之路進階篇命名空間模式解析源碼解析之任務管理入門教程快速上手聊聊改變歷史中文正式發布，帶來種新的圖表類型關系圖解好好寫代碼吧使用手冊掘金發布在即將全面支持掘金仿懂球帝 2017-10-10 前端日報 精選 【第1074期】寫給前端應屆生的職業規劃建議webpack 應用編譯優化之路JS進階篇--命名空間模式解析gulp源碼解析之任...
摘要：立即咨詢產品文檔優刻得上線了混合云自建機房火爆預售官方補貼活動中針對混合云作了介紹，老劉博客本篇文章分享給大家有關產品優勢架構及與傳統自建私有云的對比。UCloud混合云UHybrid可提供豐富的IaaS和PaaS產品和專業的服務，整合UCloud公有云、托管云、私有云和客戶自有托管IDC等資源，重點解決存量IT資源合理利用，實現多云互聯互通，多區域靈活組網；滿足各個行業上云業務穩定，平滑過...
閱讀 1608·2021-11-23 09:51
閱讀 1178·2019-08-30 13:57
閱讀 2257·2019-08-29 13:12
閱讀 2011·2019-08-26 13:57
閱讀 1193·2019-08-26 11:32
閱讀 978·2019-08-23 15:08
閱讀 699·2019-08-23 14:42
閱讀 3080·2019-08-23 11:41
