Python3網絡爬蟲實戰---14、部署相關庫的安裝：Scrapyrt、Gerapy

nihao 發布于2019-07-31 10:34 / 2114人閱讀

摘要：相關鏈接官方文檔安裝推薦使用安裝，命令如下命令執行完畢之后即可完成安裝。的安裝是一個分布式管理模塊，本節來介紹一下的安裝方式。如果沒有錯誤報出，則證明庫已經安裝好了。上一篇文章網絡爬蟲實戰部署相關庫下一篇文章網絡爬蟲實戰爬蟲基礎基本原理

上一篇文章：Python3網絡爬蟲實戰---13、部署相關庫ScrapydClient、ScrapydAPI
下一篇文章：Python3網絡爬蟲實戰---15、爬蟲基礎：HTTP基本原理

Scrapyrt的安裝

Scrapyrt 為 Scrapy 提供了一個調度的 HTTP 接口，有了它我們不需要再執行 Scrapy 命令而是通過請求一個 HTTP 接口即可調度 Scrapy 任務，Scrapyrt 比 Scrapyd 輕量級，如果不需要分布式多任務的話可以簡單使用 Scrapyrt 實現遠程 Scrapy 任務的調度。

1. 相關鏈接

GitHub：https://github.com/scrapinghu...

官方文檔：http://scrapyrt.readthedocs.io

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install scrapyrt

命令執行完畢之后即可完成安裝。

接下來在任意一個 Scrapy 項目中運行如下命令即可啟動 HTTP 服務：

scrapyrt

運行之后會默認在 9080 端口上啟動服務，類似的輸出結果如下：

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory

如果想更換運行端口可以使用 -p 參數，如：

scrapyrt -p 9081

這樣就會在 9081 端口上運行了。

3. Docker安裝

另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上運行，且本地 Scrapy 項目的路徑為 /home/quotesbot，可以使用如下命令運行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣同樣可以在 9080 端口上監聽指定的 Scrapy 項目。

Gerapy的安裝

Gerapy 是一個 Scrapy 分布式管理模塊，本節來介紹一下 Gerapy 的安裝方式。

1. 相關鏈接

GitHub：https://github.com/Gerapy

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install gerapy

3. 測試安裝

安裝完成之后，可以在 Python 命令行下測試。

$ python3
>>> import gerapy

如果沒有錯誤報出，則證明庫已經安裝好了。

上一篇文章：Python3網絡爬蟲實戰---13、部署相關庫ScrapydClient、ScrapydAPI
下一篇文章：Python3網絡爬蟲實戰---15、爬蟲基礎：HTTP基本原理

云服務器 GPU云服務器 python3爬蟲實戰網絡爬蟲實戰 python3網絡爬蟲爬蟲實戰

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/44059.html

Python3網絡爬蟲實戰---13、部署相關庫ScrapydClient、ScrapydAPI

摘要：相關鏈接使用說明安裝推薦使用安裝，命令如下驗證安裝安裝成功后會有一個可用命令，叫做，即部署命令。我們可以輸入如下測試命令測試是否安裝成功如果出現如圖類似輸出則證明已經成功安裝圖運行結果在后文我們會詳細了解它的用法。上一篇文章：Python3網絡爬蟲實戰---12、部署相關庫的安裝：Docker、Scrapyd下一篇文章：Python3網絡爬蟲實戰---14、部署相關庫的安裝：Scra...

lolomaco 2019-07-31 10:34 評論0 收藏0
Python3網絡爬蟲實戰---15、爬蟲基礎：HTTP基本原理

摘要：上一篇文章網絡爬蟲實戰部署相關庫的安裝下一篇文章網絡爬蟲實戰網頁基礎在寫爬蟲之前，還是需要了解一些爬蟲的基礎知識，如原理網頁的基礎知識爬蟲的基本原理基本原理等。由萬維網協會和工作小組共同合作制定的規范，目前廣泛使用的是版本。上一篇文章：Python3網絡爬蟲實戰---14、部署相關庫的安裝：Scrapyrt、Gerapy下一篇文章：Python3網絡爬蟲實戰---16、Web網頁基礎...

codeGoogle 2019-07-31 10:34 評論0 收藏0
Python3網絡爬蟲實戰---12、部署相關庫的安裝：Docker、Scrapyd

摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網絡爬蟲實戰爬蟲框架的安裝下一篇文章網絡爬蟲實戰部署相關庫上一篇文章：Python3網絡爬蟲實戰---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網絡爬蟲實戰---...

ityouknow 2019-07-31 10:34 評論0 收藏0
Python3網絡爬蟲實戰---10、爬蟲框架的安裝：PySpider、Scrapy

摘要：所以如果對爬蟲有一定基礎，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網絡爬蟲實戰爬取相關庫的安裝的安裝下一篇文章網絡爬蟲實戰爬蟲框架的安裝上一篇文章：Python3網絡爬蟲實戰---9、APP爬取相關庫的安裝：Appium的安裝下一篇文章：Python3網絡爬蟲實戰---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...

張憲坤 2019-07-31 10:34 評論0 收藏0
Python3網絡爬蟲實戰---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedi

摘要：上一篇文章網絡爬蟲實戰爬蟲框架的安裝下一篇文章網絡爬蟲實戰部署相關庫的安裝的安裝是一個中支持渲染的工具，本節來介紹一下它的安裝方式。另外一個是的庫的安裝，安裝之后即可在中使用服務。上一篇文章：Python3網絡爬蟲實戰---10、爬蟲框架的安裝：PySpider、Scrapy下一篇文章：Python3網絡爬蟲實戰---12、部署相關庫的安裝：Docker、Scrapyd Scrap...

harryhappy 2019-07-31 10:34 評論0 收藏0