資訊專欄INFORMATION COLUMN
摘要：相關鏈接使用說明安裝推薦使用安裝，命令如下驗證安裝安裝成功后會有一個可用命令，叫做，即部署命令。我們可以輸入如下測試命令測試是否安裝成功如果出現如圖類似輸出則證明已經成功安裝圖運行結果在后文我們會詳細了解它的用法。
上一篇文章：Python3網絡爬蟲實戰---12、部署相關庫的安裝：Docker、ScrapydScrapydClient的安裝
下一篇文章：Python3網絡爬蟲實戰---14、部署相關庫的安裝：Scrapyrt、Gerapy
在將 Scrapy 代碼部署到遠程 Scrapyd 的時候，其第一步就是要將代碼打包為 Egg 文件，其次需要將 Egg 文件上傳到遠程主機，這個過程如果我們用程序來實現是完全可以的，但是我們并不需要做這些工作，因為 ScrapydClient 已經為我們實現了這些功能。
下面我們就來過一下 ScrapydClient 的安裝過程。
GitHub：https://github.com/scrapy/scr...
PyPi：https://pypi.python.org/pypi/...
使用說明：https://github.com/scrapy/scr...
2. Pip安裝推薦使用 Pip 安裝，命令如下：
pip3 install scrapyd-client3. 驗證安裝
安裝成功后會有一個可用命令，叫做 scrapyd-deploy，即部署命令。
我們可以輸入如下測試命令測試 ScrapydClient 是否安裝成功：
scrapyd-deploy -h
如果出現如圖 1-87 類似輸出則證明 ScrapydClient 已經成功安裝:
圖 1-87 運行結果
在后文我們會詳細了解它的用法。
安裝好了 Scrapyd 之后，我們可以直接請求它提供的 API 即可獲取當前主機的 Scrapy 任務運行狀況。
如某臺主機的 IP 為 192.168.1.1，則可以直接運行如下命令獲取當前主機的所有 Scrapy 項目：
curl http://localhost:6800/listprojects.json
運行結果：
{"status": "ok", "projects": ["myproject", "otherproject"]}
返回結果是 Json 字符串，通過解析這個字符串我們便可以得到當前主機所有項目。
但是用這種方式來獲取任務狀態還是有點繁瑣，所以 ScrapydAPI 就為它做了一層封裝，下面我們來看下它的安裝方式。
1. 相關鏈接GitHub：https://pypi.python.org/pypi/...
PyPi：https://pypi.python.org/pypi/...
官方文檔：http://python-scrapyd-api.rea...
2. Pip安裝推薦使用 Pip 安裝，命令如下：
pip install python-scrapyd-api3. 驗證安裝
安裝完成之后便可以使用 Python 來獲取主機狀態了，所以如上的操作便可以用 Python 代碼實現：
from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI("http://localhost:6800")
print(scrapyd.list_projects())
運行結果：
["myproject", "otherproject"]
這樣我們便可以用 Python 直接來獲取各個主機上 Scrapy 任務的運行狀態了。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/44031.html
摘要：相關鏈接官方文檔安裝推薦使用安裝，命令如下命令執行完畢之后即可完成安裝。的安裝是一個分布式管理模塊，本節來介紹一下的安裝方式。如果沒有錯誤報出，則證明庫已經安裝好了。上一篇文章網絡爬蟲實戰部署相關庫下一篇文章網絡爬蟲實戰爬蟲基礎基本原理 上一篇文章：Python3網絡爬蟲實戰---13、部署相關庫ScrapydClient、ScrapydAPI下一篇文章：Python3網絡爬蟲實戰--...
摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網絡爬蟲實戰爬蟲框架的安裝下一篇文章網絡爬蟲實戰部署相關庫 上一篇文章：Python3網絡爬蟲實戰---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網絡爬蟲實戰---...
摘要：上一篇文章網絡爬蟲實戰爬蟲框架的安裝下一篇文章網絡爬蟲實戰部署相關庫的安裝的安裝是一個中支持渲染的工具，本節來介紹一下它的安裝方式。另外一個是的庫的安裝，安裝之后即可在中使用服務。 上一篇文章：Python3網絡爬蟲實戰---10、爬蟲框架的安裝：PySpider、Scrapy下一篇文章：Python3網絡爬蟲實戰---12、部署相關庫的安裝：Docker、Scrapyd Scrap...
摘要：點擊，即可進入證書的安裝頁面。上一篇文章網絡爬蟲實戰庫的安裝下一篇文章網絡爬蟲實戰爬取相關庫的安裝的安裝 上一篇文章：Python3網絡爬蟲實戰---6、Web庫的安裝：Flask、Tornado下一篇文章：Python3網絡爬蟲實戰---8、APP爬取相關庫的安裝：MitmProxy的安裝 除了 Web 網頁，爬蟲也可以對 APP 的數據進行抓取，APP 中的頁面要加載出來，首先需...
摘要：下的安裝的安裝非常簡單，使用即可，命令如下執行命令后即可完成的安裝。另外還可以在端口上啟動，命令如下更多啟動方式可以參考的安裝說明。上一篇文章網絡爬蟲實戰網絡爬蟲實戰爬取相關庫的安裝的安裝下一篇文章網絡爬蟲實戰爬取相關庫的安裝的安裝 上一篇文章：Python3網絡爬蟲實戰---7、Python3網絡爬蟲實戰---APP爬取相關庫的安裝：Charles的安裝下一篇文章：Python3網絡...
閱讀 1339·2021-11-11 16:54
閱讀 2385·2021-09-22 10:51
閱讀 2655·2019-08-30 15:44
閱讀 3206·2019-08-29 17:05
閱讀 1445·2019-08-29 17:01
閱讀 2898·2019-08-29 12:28
閱讀 2471·2019-08-26 13:50
閱讀 1731·2019-08-23 16:47
