Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---APP爬取相關(guān)庫(kù)的安裝：Char

keelii 發(fā)布于2019-07-31 10:34 / 3000人閱讀

摘要：點(diǎn)擊，即可進(jìn)入證書(shū)的安裝頁(yè)面。上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)庫(kù)的安裝下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝

上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---6、Web庫(kù)的安裝：Flask、Tornado
下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---8、APP爬取相關(guān)庫(kù)的安裝：MitmProxy的安裝

除了 Web 網(wǎng)頁(yè)，爬蟲(chóng)也可以對(duì) APP 的數(shù)據(jù)進(jìn)行抓取，APP 中的頁(yè)面要加載出來(lái)，首先需要獲取數(shù)據(jù)，那么這些數(shù)據(jù)一般是通過(guò)請(qǐng)求服務(wù)器的接口來(lái)獲取的，由于 APP 端沒(méi)有像瀏覽器一樣的開(kāi)發(fā)者工具直接比較直觀地看到后臺(tái)的請(qǐng)求，所以對(duì) APP 來(lái)說(shuō)，它的數(shù)據(jù)抓取主要用到一些抓包技術(shù)。

本書(shū)介紹的抓包工具有 Charles、MitmProxy、MitmDump，APP 一些簡(jiǎn)單的接口我們通過(guò) Charles 或 MitmProxy 分析找出規(guī)律就可以直接用程序模擬來(lái)抓取了，但是如果遇到更復(fù)雜的接口我們就需要利用 MitmDump 對(duì)接Python來(lái)對(duì)抓取到的請(qǐng)求和響應(yīng)進(jìn)行實(shí)時(shí)處理和保存，另外既然要做規(guī)模采集就需要自動(dòng)化 APP 的操作而不是人工去采集，所以這里還需要一個(gè)工具叫做 Appium，它可以像 Selenium 一樣對(duì) APP 進(jìn)行自動(dòng)化控制，如自動(dòng)化模擬APP的點(diǎn)擊、下拉等操作。

本節(jié)我們來(lái)了解一下 Charles、MitmProxy、MitmDump、Appium 的安裝方法。

1.6.1 Charles的安裝

Charles 是一個(gè)網(wǎng)絡(luò)抓包工具，在做 APP 抓包的時(shí)候會(huì)用到，相比 Fiddler 來(lái)說(shuō)，Charles 的功能更為強(qiáng)大，而且跨平臺(tái)支持更好，所以在這里我們選用 Charles 來(lái)作為主要的移動(dòng)端抓包工具，用于分析移動(dòng) APP 的數(shù)據(jù)包，輔助完成 APP 數(shù)據(jù)抓取工作。

1. 相關(guān)鏈接

官方網(wǎng)站：https://www.charlesproxy.com

下載鏈接：https://www.charlesproxy.com/...

2.下載Charles

Charles 的官網(wǎng)是：https://www.charlesproxy.com，我們可以在官網(wǎng)下載最新穩(wěn)定版本，鏈接為：https://www.charlesproxy.com/...，它支持 Windows、Linux、Mac 三大平臺(tái)。

3. 證書(shū)配置

現(xiàn)在很多頁(yè)面都在向 HTTPS 方向發(fā)展，HTTPS 通信協(xié)議應(yīng)用越來(lái)越廣泛，如果一個(gè) APP 通信應(yīng)用了 HTTPS 協(xié)議，那它通信的數(shù)據(jù)都會(huì)是被加密的，常規(guī)的截包方法是無(wú)法識(shí)別請(qǐng)求內(nèi)部的數(shù)據(jù)的。
安裝完成之后如果我們想要做 HTTPS 抓包的話還需要配置一下相關(guān) SSL 證書(shū)，如果不配置的話無(wú)法抓取 HTTPS 請(qǐng)求。

點(diǎn)擊 Help->SSL Proxying->Install Charles Root Certificate，即可進(jìn)入證書(shū)的安裝頁(yè)面。
接下來(lái)找到 Charles 的證書(shū)雙擊，將信任設(shè)置為始終信任即可，如圖 1-48 所示：

圖 1-48 證書(shū)配置
這樣就成功安裝了證書(shū)。

iOS

如果你的手機(jī)是 iOS 系統(tǒng)，可以按照下面的操作進(jìn)行證書(shū)配置。
首先查看一下電腦的 Charles 代理是是否開(kāi)啟的，點(diǎn)擊 Proxy->Proxy Settings 即可打開(kāi)當(dāng)前代理設(shè)置頁(yè)面，確保當(dāng)前的 HTTP 代理是開(kāi)啟的，如圖 1-49 所示：

圖 1-49 代理設(shè)置
例如這里的代理端口為 8888，也可以自行修改。
接下來(lái)將手機(jī)和電腦連在同一個(gè)局域網(wǎng)下，例如當(dāng)前電腦的 IP 為 192.168.1.76，那么首先設(shè)置手機(jī)的代理為 192.168.1.76:8888，設(shè)置如圖 1-50 所示：

圖 1-50 代理設(shè)置
設(shè)置完畢之后電腦上就會(huì)出現(xiàn)一個(gè)提示窗口，詢(xún)問(wèn)是否信任此設(shè)備，如圖 1-51 所示：

圖 1-51 提示窗口
點(diǎn)擊 Allow 即可，這樣手機(jī)就和 PC 連在了同一個(gè)局域網(wǎng)內(nèi)了，而且設(shè)置了 Charles 的代理，這樣 Charles 即可抓取到流經(jīng) APP 的數(shù)據(jù)包了。
接下來(lái)我們?cè)侔惭b Charles 的 HTTPS 證書(shū)。
在電腦上打開(kāi) Help->SSL Proxying->Install Charles Root Certificate on a Mobile Device or Remote Browser，如圖 1-52 所示：

圖 1-52 證書(shū)安裝頁(yè)面入口
即可看到如下提示，如圖 1-53 所示：

它提示我們?cè)谑謾C(jī)上設(shè)置好 Charles 的代理，我們剛才已經(jīng)設(shè)置好了，然后在手機(jī)的瀏覽器中打開(kāi) chls.pro/ssl 下載證書(shū)，我們?cè)谑謾C(jī)上打開(kāi)這個(gè)鏈接。
打開(kāi)之后便會(huì)彈出證書(shū)的安裝頁(yè)面，如圖 1-54 所示：

圖 1-54 證書(shū)安裝頁(yè)面
我們點(diǎn)擊安裝，然后輸入密碼即可完成安裝，如圖 1-55 所示：

圖 1-55 安裝成功頁(yè)面
如果你的 iOS 版本是 10.3 以下的話，此處信任 CA 證書(shū)的流程就已經(jīng)完成了。
如果你的 iOS 版本是 10.3 及以上，還需要在設(shè)置->通用->關(guān)于本機(jī)->證書(shū)信任設(shè)置將證書(shū)添加完全信任，如圖 1-56 所示：
在這里將 Charles 的證書(shū)的完全信任開(kāi)關(guān)打開(kāi)即可，如圖 1-56 所示：

圖 1-56 證書(shū)信任設(shè)置
這樣 iOS 上配置信任 CA 證書(shū)的流程就結(jié)束了。

Android

如果你的手機(jī)是 Android 系統(tǒng)，可以按照下面的操作進(jìn)行證書(shū)配置。
Android 同樣需要設(shè)置代理為 Charles 的代理，如圖 1-57 所示：

圖 1-57 代理設(shè)置
設(shè)置完畢之后電腦上就會(huì)出現(xiàn)一個(gè)提示窗口，詢(xún)問(wèn)是否信任此設(shè)備，如圖 1-58 所示：

圖 1-58 提示窗口
點(diǎn)擊 Allow 即可。
接下來(lái)像 iOS 設(shè)備一樣，在手機(jī)瀏覽器上打開(kāi) chls.pro/ssl，這時(shí)會(huì)出現(xiàn)一個(gè)提示框，如圖 1-59 所示：
evernotecid://D603D29C-DFBA-4C04-85E9-CCA3C33763F6/appyinxiangcom/23852268/ENResource/p75

圖 1-59 證書(shū)安裝頁(yè)面
我們?yōu)樽C書(shū)添加一個(gè)名稱(chēng)，然后點(diǎn)擊確定即可完成證書(shū)的安裝。

4. 結(jié)語(yǔ)

本文介紹了 Charles 的安裝及證書(shū)配置過(guò)程，后文我們會(huì)介紹 Charles 的基本使用方法。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---6、Web庫(kù)的安裝：Flask、Tornado
下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---8、APP爬取相關(guān)庫(kù)的安裝：MitmProxy的安裝