服務器上部署scrapy爬蟲項目

UnixAgain 發(fā)布于2019-07-31 11:17 / 1954人閱讀

摘要：爬爬們，如果你已經開始部署項目了，那么你肯定也已經寫好了完整的爬蟲項目，恭喜你，你很優(yōu)秀今天忙了小半天的服務器部署，跟大家分享一些心得首先我們要有一臺服務器，不好意思，這是廢話，略過。。。。。

爬爬們，如果你已經開始部署項目了，那么你肯定也已經寫好了完整的爬蟲項目，恭喜你，你很優(yōu)秀！
**今天忙了小半天的服務器部署，跟大家分享一些心得～

首先我們要有一臺服務器，不好意思，這是廢話，略過。。。。。

安裝python

   # 下載安裝包，好習慣可以自己創(chuàng)建文件夾/home/download/
   $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
   # 解壓
   $ tar zxvf Python-3.4.1.tgz /us
   3進入解壓后的目錄，執(zhí)行安裝配置
   $ ./configure
   #或指定安裝目錄
   $ ./configure --prefix=/opt/python3
   $ make
   $ make install
   #安裝后建立一個鏈接，這樣我們可以用python3直接運行程序，和python2區(qū)別開來。
   $ ln -s /opt/python3/bin/python3 /usr/bin/python3

注意：1.在安裝之前最好要安裝各種依賴包

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

若已經安裝python3并改軟鏈接了，請修改/usr/bin/yum文件中的第一行python后加2.？版本號，還有一個文件需要修改叫什么我忘記了，同理

注意：2.pip3安裝之前要建立pip3軟連接

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安裝scrapy

在這里我們先安裝scrapyd避免手動安裝scrapy需要的插件
pip3 install scrapyd
pip3 install scrapy

注意：若沒有在第二步安裝依賴環(huán)境 sqlite-devel，那么在啟動scrapyd的時候會報錯。
安裝各種依賴包最好創(chuàng)建虛擬環(huán)境，

#安裝
pip3 install virtualenv
#建立軟連接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#進入項目目錄創(chuàng)建虛擬環(huán)境
$ virtualenv venv
# 在venv/bin目錄下
source activate

云服務器 GPU云服務器服務器上如何部署項目 scrapy 爬蟲如何部署項目到服務器上怎么云服務器上部署項目

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/44950.html

小程序開發(fā)（一）：使用scrapy爬蟲采集數(shù)據

摘要：用途廣泛，可以用于數(shù)據挖掘監(jiān)測和自動化測試。運行下，發(fā)現(xiàn)數(shù)據全部存到了數(shù)據庫中。提供了一些接口來查看項目爬蟲情況，以及執(zhí)行或者停止執(zhí)行爬蟲。完成小程序所需要的所有接口的開發(fā)，以及使用定時任務執(zhí)行爬蟲腳本。過完年回來，業(yè)余時間一直在獨立開發(fā)一個小程序。主要數(shù)據是8000+個視頻和10000+篇文章，并且數(shù)據會每天自動更新。我會整理下整個開發(fā)過程中遇到的問題和一些細節(jié)問題，因為內容會比...

mrli2016 2019-07-31 10:19 評論0 收藏0
部署Scrapy分布式爬蟲項目

摘要：以上示例代表當發(fā)現(xiàn)條或條以上的級別的時，自動停止當前任務，如果當前時間在郵件工作時間內，則同時發(fā)送通知郵件。 showImg(https://segmentfault.com/img/remote/1460000018052810); 一、需求分析初級用戶：只有一臺開發(fā)主機能夠通過 Scrapyd-client 打包和部署 Scrapy 爬蟲項目，以及通過 Scrapyd JS...

techstay 2019-07-31 10:01 評論0 收藏0
scrapy 進階使用

摘要：下載器負責獲取頁面，然后將它們交給引擎來處理。內置了一些下載器中間件，這些中間件將在后面介紹。下載器中間件下載器中間件可以在引擎和爬蟲之間操縱請求和響應對象。爬蟲中間件與下載器中間件類似，啟用爬蟲中間件需要一個字典來配置。前段時間我寫了一篇《scrapy快速入門》，簡單介紹了一點scrapy的知識。最近我的搬瓦工讓墻了，而且我又學了一點mongodb的知識，所以這次就來介紹一些scr...

The question 2019-07-31 11:02 評論0 收藏0
Scrapy-Cluster結合Spiderkeeper管理分布式爬蟲

摘要：分布式爬蟲，分發(fā)網址是基于地址。注意要使用管理同一個集群，爬蟲項目名稱須一致，同時集群中配置相同任務瀏覽器訪問啟動爬蟲時即可看見兩個集群配置，啟動同名爬蟲開始分布式爬蟲啟動分布式爬蟲后狀態(tài) Scrapy-cluster 建設基于Scrapy-cluster庫的kafka-monitor可以實現(xiàn)分布式爬蟲 Scrapyd+Spiderkeeper實現(xiàn)爬蟲的可視化管理環(huán)境 IP...

bingo 2019-07-30 17:45 評論0 收藏0
Python3網絡爬蟲實戰(zhàn)---14、部署相關庫的安裝：Scrapyrt、Gerapy

摘要：相關鏈接官方文檔安裝推薦使用安裝，命令如下命令執(zhí)行完畢之后即可完成安裝。的安裝是一個分布式管理模塊，本節(jié)來介紹一下的安裝方式。如果沒有錯誤報出，則證明庫已經安裝好了。上一篇文章網絡爬蟲實戰(zhàn)部署相關庫下一篇文章網絡爬蟲實戰(zhàn)爬蟲基礎基本原理上一篇文章：Python3網絡爬蟲實戰(zhàn)---13、部署相關庫ScrapydClient、ScrapydAPI下一篇文章：Python3網絡爬蟲實戰(zhàn)--...

nihao 2019-07-31 10:34 評論0 收藏0