Scrapy入門的點(diǎn)點(diǎn)滴滴（一）

DesGemini 發(fā)布于2019-07-30 14:25 / 892人閱讀

摘要：從剛開(kāi)始接觸到使用進(jìn)行爬蟲(chóng)，經(jīng)歷了許多，不懂的各種百度，硬是從不會(huì)進(jìn)步成入門了，抱怨的話不多說(shuō)，進(jìn)入正題。

從剛開(kāi)始接觸Python2.7到使用Scrapy1.3進(jìn)行爬蟲(chóng)，經(jīng)歷了許多，不懂的各種百度，硬是從不會(huì)進(jìn)步成入門了，抱怨的話不多說(shuō)，進(jìn)入正題。

寫這篇文章的目的在于總結(jié)這段時(shí)間學(xué)習(xí)Scrapy的到的一些經(jīng)驗(yàn)

環(huán)境搭建

1、如果在代碼中運(yùn)行命令scrapy crawl sina2出錯(cuò)（如上圖）
   subprocess.CalledProcessError: Command "scrapy crawl sina2" 
   returned non-zero exit status 1
   有可能是：
    1、先將scrapy crawl sina2命令在cmd窗口中測(cè)試，如果報(bào)錯(cuò)：
      Fatal error in launcher: Unable to create process using """
    請(qǐng)參考下方第二點(diǎn)
    2、scrapy沒(méi)有裝好

2、如果命令行出錯(cuò)
   Fatal error in launcher: Unable to create process using """
   有可能是：
    1、python沒(méi)有安裝在c盤的原因，經(jīng)測(cè)試我將python27放到除c盤以外都不行
    2、安裝路徑不要有 空格中文之類的字符

3、pip被墻，修改國(guó)內(nèi)源方法，可以增加速度（好久沒(méi)去測(cè)試，不懂還可以用不）
    1、linux或者是Mac的 pip源：
       1、找到vi ~/.pip/pip.conf
       2、修改
       [global]
       index-url = https://pypi.tuna.tsinghua.edu.cn/simple
    2、window的 pip源：
       1、找到C:UsersAdministrator
       2、新建pip文件夾，新建pip.ini文件 填寫以下內(nèi)容
       [global]
       index-url = https://pypi.tuna.tsinghua.edu.cn/simple

4、安裝Scrapy過(guò)程中出錯(cuò)：
    ERROR: ‘xslt-config’ 不是內(nèi)部或外部命令，也不是可運(yùn)行的程序 或批處理文件。
    1、在http://pypi.python.org/simple/lxml/下載win10 x64（看系統(tǒng)情況）
       的lxml-2.2.8.win-amd64-py2.7.exe
    2、然后重新打開(kāi)cmd去pip install Scrapy 解決了此xml的問(wèn)題了

5、運(yùn)行代碼報(bào)錯(cuò)：
   ImportError: No module named win32api
   解決：
   1、pip install pypiwin32

從一臺(tái)電腦快速?gòu)?fù)制環(huán)境到另以臺(tái)電腦（window）

當(dāng)你在一臺(tái)電腦上配置相當(dāng)完全的python開(kāi)發(fā)環(huán)境之后，想要換一臺(tái)同類型的電腦繼續(xù)工作，一想到要從新安裝各類的三方庫(kù)，是不是很累，我這里有幾點(diǎn)小建議

1、首先明確需要的安裝的基本東西：
    1、jdk（python需要）
    2、PythonChram（開(kāi)發(fā)工具）
    3、Python27（python基礎(chǔ)）

2、jdk：
    1、到已安裝電腦的安裝目錄復(fù)制jdk文件夾
    2、拷貝到新電腦你想要存放的目錄（注意目錄不要有中文、特殊字符等）
    3、配置jdk環(huán)境變量，路徑指向你存放的目錄（自行百度）
    說(shuō)明：jdk安裝完的文件夾，可以直接拷貝應(yīng)用，無(wú)需從網(wǎng)絡(luò)上下載然后安裝，比較方便

3、PythonChram：
    1、到已安裝電腦的安裝目錄復(fù)制PythonChram文件夾
    2、拷貝到新電腦你想要存放的目錄（注意目錄不要有中文、特殊字符等）
    3、同時(shí)：也可以打開(kāi)軟件，將設(shè)置項(xiàng)導(dǎo)出，拷貝到新電腦的軟件上使用，可以省去設(shè)置軟件
    外觀的麻煩事，但是可能有些基礎(chǔ)的配置項(xiàng)就需要重新配置如：
       1、python解釋器的位置
       2、git的路徑

4、Python27：
    1、到已安裝電腦的安裝目錄復(fù)制Python27文件夾
    2、拷貝到新電腦的C盤根目錄（特別注意：放到除C盤之外的目錄可能會(huì)出現(xiàn)問(wèn)題，請(qǐng)自測(cè)）
    3、配置環(huán)境變量（指向存放的c盤目錄）
    說(shuō)明：Python27安裝完的文件夾，可以直接拷貝應(yīng)用，無(wú)需從網(wǎng)絡(luò)上下載然后安裝，比較
         方便，而且里面已經(jīng)包含了需要的三方庫(kù)，可以省掉用pip安裝的麻煩事情