摘要:也就是說,這些基本庫都要安裝好。這次的安裝環境是,電腦是位,主要用安裝。最后就是安裝了,在里面安裝直接用安裝說明聽說用安裝可簡單了,一個命令就搞定了,可惜我懶得試了。
0 前言
因為要學一點爬蟲,我要安裝 Scrapy 這個庫,直接用 Pycharm 安裝就報錯, pip 也不行,所以要把 Scrapy 依賴的庫安裝好,然后再安裝 Scrapy 。也就是說,lxml、pyOpenSSL、Twisted、pywin32 這些基本庫都要安裝好。
這次的安裝環境是python3.6, 電腦是 32 位,主要用 Pycharm 安裝。
用 pycharm 安裝比較簡單一點
也可以 cmd 內輸入
pip install lxml
先 Win鍵+R,再輸入 cmd ,回車
進來后輸入
pip install lxml
如果不行,則去下面的網站下載。
https://pypi.org/project/lxml...
https://www.lfd.uci.edu/~gohl...
比如我這臺電腦是 Python3.6,32位的就下載 lxml-4.2.1-cp36-cp36m-win32.whl
進入 cmd,然后 cd 到文件的路徑下,接著就是
pip install lxml-4.2.1-cp36-cp36m-win32.whl
命令后面那一部分要和文件名保持一致,也就是 pip install 文件名.whl回車,等一會就安裝好了
用 pycharm 安裝或者
pip install pyOpenSSL
https://pypi.org/project/pyOp...
如果還不行,就下載圖中的這個,然后進入 cmd 用 pip 安裝 whl文件
我這里用 Pycharm 安裝不了,pip install Twisted 也不行,直接去下載 whl 文件回來安裝
https://www.lfd.uci.edu/~gohl...
https://pypi.org/project/Twis...
電腦是 python3.6 ,32 位的電腦,所以下載的是 Twisted-18.4.0-cp36-cp36m-win32.whl
進入 cmd ,cd 到文件目錄下,輸入命令
pip install Twisted-18.4.0-cp36-cp36m-win32.whl
命令后面那一部分要和文件名保持一致,也就是 pip install 文件名.whl,回車,等一會就安裝好了。
pycharm 安裝或者 pip install pywin32
https://sourceforge.net/proje...
如果不行,下載 exe 文件,下載回來直接運行一下就好。
最后就是安裝 Scrapy 了,在 pycharm 里面安裝
直接用 pip 安裝
pip install Scrapy2 說明
聽說用 Anaconda 安裝可簡單了,一個命令就搞定了,可惜我懶得試了。
conda install Scrapy
Anaconda下載鏈接:https://www.anaconda.com/down...
本次的參考資料是小怪大佬的知識星球【scrapy 爬蟲課程】里的資料,這里就不放出來了。
文章首發于本人公眾號,歡迎關注~
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/41783.html
摘要:好啦一切準備工作就緒,現在開始安裝庫安裝成功后,安裝就簡單了,在命令提示符窗口直接輸入命令回車現在一切都搞定了,可以新建一個測試,敲一個基于框架的爬蟲程序咯。 最近忽然有了想要學習python爬蟲的想法,但是首先需要安裝工具。python安裝倒是很輕松,只要傻瓜式一鍵安裝即可,但是在Windows下安裝scrapy倒不是件容易的事情。言歸正傳,說下我從昨天下午到今天上午安裝的步驟: 1...
摘要:一基礎環境由于不是職業的開發者,因此環境是基于的。二安裝打開命令行工具創建虛擬環境,默認情況下會創建目錄,所有的虛擬環境都會產生一個子目錄保存在此,里面包含基本程序文件以及庫文件。 目錄 基于 Python 的 Scrapy 爬蟲入門:環境搭建 基于 Python 的 Scrapy 爬蟲入門:頁面提取 基于 Python 的 Scrapy 爬蟲入門:圖片處理 作為一個全棧工程師(...
摘要:是最有名的爬蟲框架之一,可以很方便的進行抓取,并且提供了很強的定制型,這里記錄簡單學習的過程和在實際應用中會遇到的一些常見問題一安裝在安裝之前有一些依賴需要安裝,否則可能會安裝失敗,的選擇器依賴于,還有網絡引擎,下面是下安裝的過程下安裝安裝 scrapy是python最有名的爬蟲框架之一,可以很方便的進行web抓取,并且提供了很強的定制型,這里記錄簡單學習的過程和在實際應用中會遇到的一...
閱讀 3024·2021-09-22 14:59
閱讀 1864·2021-09-22 10:02
閱讀 2108·2021-09-04 16:48
閱讀 2260·2019-08-30 15:53
閱讀 2967·2019-08-30 11:27
閱讀 3403·2019-08-29 18:35
閱讀 961·2019-08-29 17:07
閱讀 2669·2019-08-29 13:27