scrapy添加新命令

CastlePeaK 發布于2019-07-30 17:39 / 834人閱讀

摘要：允許開發者自定義命令，假設工程名字為，在工程的根目錄有一個文件內容如下在文件里設置，就可以在的幫助中看到這個命令，運行時用。自定義命令的默認設置會和工程的設置合并到一起，但是相比在文件里和命令行定義的設置優先級要低。

COMMANDS_MODULE允許開發者自定義命令，假設工程名字為properties，在工程的根目錄有一個hi.py文件內容如下：

from scrapy.commands import ScrapyCommand
class Command(ScrapyCommand):

   default_settings = {"LOG_ENABLED": False}
   def run(self, args, opts):
       print("hello")

在settings.py文件里設置COMMANDS_MODULE = "properties.hi" ，就可以在Scrapy的幫助中看到這個命令，運行時用scrapy hi。自定義命令的默認設置default_settings會和工程的設置合并到一起，但是相比在settings.py文件里和命令行定義的設置優先級要低。

如果需要自定義多個命令，則可以在工程的根目錄下建立一個文件夾，又如commands，里面放一些類似上面hi.py文件的命令，然后設置COMMANDS_MODULE = "properties.commands即可

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42335.html

scrapy入門教程3：scrapy的shell命令

摘要：用例運行爬蟲命令基本語法是否需要項目存在當然是不需要咯貌似這個命令是不依托一個項目而直接運行一個爬蟲的命令。用例我終于寫完了，喜歡的就收藏推薦一下吧，這樣我就會更有動力寫新的教程了，哇哈哈 0. 基本環境說明本文截圖及運行環境均在Win8上實現（是的，我放假回家了，家里的機器是win8的沒有辦法），但基本步驟與win 7環境基本相同。（應該把~）ps:我后來換了臺win7的電腦，所...

zhongmeizhi 2019-07-24 18:07 評論0 收藏0
基于 Python 的 Scrapy 爬蟲入門：環境搭建

摘要：一基礎環境由于不是職業的開發者，因此環境是基于的。二安裝打開命令行工具創建虛擬環境，默認情況下會創建目錄，所有的虛擬環境都會產生一個子目錄保存在此，里面包含基本程序文件以及庫文件。目錄基于 Python 的 Scrapy 爬蟲入門：環境搭建基于 Python 的 Scrapy 爬蟲入門：頁面提取基于 Python 的 Scrapy 爬蟲入門：圖片處理作為一個全棧工程師（...

Gu_Yan 2019-07-31 11:00 評論0 收藏0
scrapy-redis分布式爬蟲框架詳解

摘要：分布式爬蟲框架詳解隨著互聯網技術的發展與應用的普及，網絡作為信息的載體，已經成為社會大眾參與社會生活的一種重要信息渠道。下載器中間件位于引擎和下載器之間的框架，主要是處理引擎與下載器之間的請求及響應。 scrapy-redis分布式爬蟲框架詳解隨著互聯網技術的發展與應用的普及，網絡作為信息的載體，已經成為社會大眾參與社會生活的一種重要信息渠道。由于互聯網是開放的，每個人都可以在網絡上...

myeveryheart 2019-07-30 16:09 評論0 收藏0
18、 Python快速開發分布式搜索引擎Scrapy精講—Scrapy啟動文件的配置—xpath表

摘要：百度云搜索，搜各種資料搜網盤，搜各種資料我們自定義一個來作為啟動文件導入執行命令方法給解釋器，添加模塊新路徑將文件所在目錄添加到解釋器執行命令爬蟲文件表達式基本使用設置爬蟲起始域名設置爬蟲起始地址默認爬蟲回調函數，返【百度云搜索，搜各種資料:http://www.bdyss.cn】【搜網盤，搜各種資料:http://www.swpan.cn】我們自定義一個main.py來作為啟動...

rubyshen 2019-07-31 11:25 評論0 收藏0