windows下安裝python+scrapy

dantezhao 發(fā)布于2019-07-30 14:22 / 2783人閱讀

摘要：好啦一切準備工作就緒，現(xiàn)在開始安裝庫安裝成功后，安裝就簡單了，在命令提示符窗口直接輸入命令回車現(xiàn)在一切都搞定了，可以新建一個測試，敲一個基于框架的爬蟲程序咯。

最近忽然有了想要學習python爬蟲的想法，但是首先需要安裝工具。python安裝倒是很輕松，只要傻瓜式一鍵安裝即可，但是在Windows下安裝scrapy倒不是件容易的事情。言歸正傳，說下我從昨天下午到今天上午安裝的步驟：

1、python的安裝

進入python的官網https://www.python.org/，點擊downloads選項進入下載頁，如圖：

根據(jù)自己的機型，選擇下載對應的安裝包，我下載的是python 3.5.3版本的：

選定下載位置，傻瓜式一鍵安裝即可。實際上，32位和64位的版本安裝起來沒有區(qū)別，雙擊打開后，第一步要記得勾上add python to Path 選項，這樣的好處是自動配置環(huán)境變量

可在命令提示符中用命令python --version，驗證安裝是否成功：

到此，python已經安裝好了！！！是不是hin簡單~接下來安裝scrapy吧^-^

2、scrapy的安裝

先安裝pywin32,進入https://sourceforge.net/proje...，下載與已安裝python版本對應的pywin64安裝包，例如python3.4 64位對應的安裝包為pywin32-218.win-amd64-py3.4.exe，下載完成后一直next安裝，依然是傻瓜式安裝法

檢查安裝結果,在python命令行輸入import win32api，如果沒有報錯說明安裝完成，如果報錯說明PYTHONPATH環(huán)境變量沒有配置

配置PYTHONPATH環(huán)境變量,將python安裝目錄下lib目錄中的site-packages路徑添加到PYTHONPATH環(huán)境變量，再次檢驗安裝結果

安裝Twisted,進入http://www.lfd.uci.edu/~gohlk...下載對應twisted和lxml

打開命令提示符窗口，輸入命令：
pip install D:downloadsTwisted-16.4.1-cp35-cp35m-win_amd64.whl(下載好的twisted模塊的whl文件路徑)，盜一下別人的圖

再輸入命令：pip --version,檢查安裝是否成功

3、pip的安裝，估計因為我安裝的版本自動配置環(huán)境變量，所以我好像沒有下載pip，就可以用pip命令

如圖：

但是，如果安裝pip的話，同樣要去python的官網下載，下載地址是https://pypi.python.org/pypi/... ，選擇相應版本下載，下載完成之后，解壓到文件夾。在該文件夾的目錄下使用控制臺命令：輸入python setup.py install;并添加入環(huán)境變量。

好啦！一切準備工作就緒，現(xiàn)在開始安裝scrapy~

twisted庫安裝成功后，安裝scrapy就簡單了，在命令提示符窗口直接輸入命令： pip install scrapy 回車

現(xiàn)在一切都搞定了，可以新建一個Scrapy測試，敲一個基于Scrapy框架的爬蟲程序咯。

心得：Windows下的安裝過程還是很麻煩的，因為有很多依賴要添加，不過在各方查找資料以后仿佛就不是那么難了！一步一步在cmd中運行測試，還要看錯誤提示，少哪一個依賴就下載哪一個安裝哪一個！環(huán)境框架已經搭好，接下來就是學習如何寫爬蟲程序了。
再貼兩個鏈接吧：
1、 https://segmentfault.com/a/11...
2、 http://jingyan.baidu.com/arti...

GPU云服務器云服務器 Python安裝Scrapy windows下安裝教程 windows下安裝webrtc windows下eclipse安裝

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/40670.html

基于 Python 的 Scrapy 爬蟲入門：環(huán)境搭建

摘要：一基礎環(huán)境由于不是職業(yè)的開發(fā)者，因此環(huán)境是基于的。二安裝打開命令行工具創(chuàng)建虛擬環(huán)境，默認情況下會創(chuàng)建目錄，所有的虛擬環(huán)境都會產生一個子目錄保存在此，里面包含基本程序文件以及庫文件。目錄基于 Python 的 Scrapy 爬蟲入門：環(huán)境搭建基于 Python 的 Scrapy 爬蟲入門：頁面提取基于 Python 的 Scrapy 爬蟲入門：圖片處理作為一個全棧工程師（...

Gu_Yan 2019-07-31 11:00 評論0 收藏0
Python3網絡爬蟲實戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy

摘要：所以如果對爬蟲有一定基礎，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網絡爬蟲實戰(zhàn)爬取相關庫的安裝的安裝下一篇文章網絡爬蟲實戰(zhàn)爬蟲框架的安裝上一篇文章：Python3網絡爬蟲實戰(zhàn)---9、APP爬取相關庫的安裝：Appium的安裝下一篇文章：Python3網絡爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...

張憲坤 2019-07-31 10:34 評論0 收藏0
在 Windows 下安裝 Scrapy

摘要：也就是說，這些基本庫都要安裝好。這次的安裝環(huán)境是，電腦是位，主要用安裝。最后就是安裝了，在里面安裝直接用安裝說明聽說用安裝可簡單了，一個命令就搞定了，可惜我懶得試了。 0 前言因為要學一點爬蟲，我要安裝 Scrapy 這個庫，直接用 Pycharm 安裝就報錯， pip 也不行，所以要把 Scrapy 依賴的庫安裝好，然后再安裝 Scrapy 。也就是說，lxml、pyOpenSS...

QiuyueZhong 2019-07-30 16:39 評論0 收藏0