【爬蟲系列之一】爬蟲開發環境的搭建

Jochen 發布于2019-07-30 16:48 / 2283人閱讀

摘要：當前分為版本，以及版本，這兩個版本相互直接是不兼容的，但是當前世面的主流或者程序還是偏多，所以我這邊主要是版本為基礎，確切地說，是版本。下面來說說如何安裝開發環境以及開發工具一環境的安裝上安裝如果你正在使用，系統是，系統自帶了。

當前python分為2.x版本，以及3.x版本，這兩個版本相互直接是不兼容的，但是當前世面的主流web或者程序還是2.x偏多，所以我這邊主要是2.x版本為基礎，確切地說，是2.7版本。

下面來說說如何安裝開發環境以及開發工具

一、環境的安裝 MAC上安裝python

如果你正在使用Mac，系統是10.13.3，系統自帶了Python 2.7。這邊也可以在直接在終端輸入如下命令，看是否存在python以及python版本

?  ~ python --version
Python 2.7.10
?  ~

如果需要安裝python3，則執行以下命令

?  ~ brew install python

注意：

安裝Python2.7以上版本，會自動帶pip。

Python3高版本自帶pip3

MAC自帶的python是沒有pip，此時需要如果需要使用，請執行

// 給系統的python安裝pip
?  ~ sudo easy_install pip

LINUX上安裝python

#安裝依賴
?  ~ yum -y install python-devel openssl openssl-devel gcc sqlite sqlite-devel mysql-devel libxml2-devel libxslt-devel

#下載python2.7
?  ~ wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

?  ~ mkdir /software
?  ~ mv Python-2.7.13.tgz /software
?  ~ cd /software
?  ~ tar -zxf Python-2.7.13.tgz

?  ~ cd Python-2.7.13/
?  ~ ./configure --prefix=/usr/local/python2.7 --with-threads --enable-shared
?  ~ make
?  ~ make altinstall

# 備份舊python相關命令
?  ~ mv /usr/bin/pip /usr/bin/pip_old
?  ~ mv /usr/bin/easy_install /usr/bin/easy_install_old
?  ~ mv /usr/bin/python /usr/bin/python_old

# 新版本python命令做軟連接，快捷使用
?  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib
?  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib
?  ~ ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python
?  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib64
?  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib64


# 下載最新版的pip，然后安裝
?  ~ cd /software
?  ~ wget https://bootstrap.pypa.io/get-pip.py
?  ~ python get-pip.py
?  ~ ln -s /usr/local/python2.7/bin/pip /usr/bin/pip

# 查找pip的位置
?  ~ find / -name pip

在windows上面安裝

從Python的官方網站python.org下載最新的2.7版本

然后，運行下載的MSI安裝包，在選擇安裝組件的一步時，勾上所有的組件：、

特別要注意選上pip和Add python.exe to Path，然后一路點“Next”即可完成安裝。

默認會安裝到C:Python27目錄下，然后打開命令提示符窗口，敲入python后，就會出現>>>提示符

二、開發工具的安裝

不論是mac還是windows都是，從pycharm官網下載該工具，然后傻瓜式安裝，打開需要激活，有多余經費的娃子們，推薦購買正版，窮人可以考慮：關注公眾號 喝醉的清茶 后臺回復 pycharm激活 獲取激活方式。

更多精彩內容，歡迎大家關注我的微信公眾號：喝醉的清茶

GPU云服務器云服務器 python爬蟲搭建環境 python爬蟲環境搭建 java開發環境的搭建 php開發環境的搭建

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/41837.html

【爬蟲系列之二】python基礎知識的了解

摘要：數據傳送上面介紹了參數，這里就是將需要的參數通過方式傳入上述代碼引入了庫，現在我們模擬登陸京東商場，但是應該是無法登陸的，一般都是需要設置一些頭部的工作，或者其它的參數，這里使用了庫對參數，進行一下。了解了前面的環境搭建，以及python的基礎知識的學習，咱們接下來學習一下，如何將網頁扒下來一、案例介紹當我們打開瀏覽器，打開頁面，看到的是好看的頁面，但是其實是由瀏覽器解釋才呈現...

SHERlocked93 2019-07-30 16:50 評論0 收藏0
【爬蟲系列之三】URLError異常處理以及Cookie的使用

摘要：一的處理出現產生的原因很多，比如網絡沒法連接，連接不到服務器，或者服務器不存在。二的使用，一般是某些網站為了辨別用戶身份，進行跟蹤，從而存儲在客戶端的數據。模塊的主要作用是提供可存儲的對象，以便于與模塊配合使用來訪問資源。一、urlError的處理出現urlError產生的原因很多，比如:網絡沒法連接，連接不到服務器，或者服務器不存在。在代碼中，我們需要用try-except的語句...

xiaochao 2019-07-30 16:49 評論0 收藏0
Python爬蟲建站入門手記——從零開始建立采集站點（一：環境搭建）

摘要：從今天起，我將在這里更新一個系列的簡單爬蟲到建立網站的實踐手記。內容將會從最簡單的開始，環境搭建，基本爬蟲，入庫，用建立可供用戶訪問的網站，網站部署。第一部分，買，裝環境。我們爬蟲站點的所有文件都放在里面。從今天起，我將在這里更新一個系列的python簡單爬蟲到建立網站的實踐手記。內容將會從最簡單的開始，環境搭建，基本爬蟲，入庫，用Django建立可供用戶訪問的網站，網站部署。 ...

HackerShell 2019-07-24 17:56 評論0 收藏0
前端每周清單第 18 期：Firefox、Chrome、React、Angular發布新版本；提升R

摘要：本文即以簡單的回歸擬合為例，從最基礎的庫安裝數據導入數據預處理到模型訓練模型預測介紹了如何使用進行簡單的機器學習任務。前端每周清單第 18 期：Firefox、Chrome、React、Angular發布新版本；提升RN應用性能的方法為InfoQ中文站特供稿件，首發地址為這里；如需轉載，請與InfoQ中文站聯系。從屬于筆者的 Web 前端入門與工程實踐的前端每周清單系列系列；部分...

Lemon_95 2019-08-20 17:24 評論0 收藏0