国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Scrapyd部署爬蟲

laoLiueizo / 2539人閱讀

摘要：部署爬蟲準(zhǔn)備工作安裝安裝安裝安裝地址安裝完成以后將所在目錄配置到環(huán)境變量中開始部署修改項目目錄下的文件，修改如下加上將前面的刪除的名字，可以使用默認(rèn)的，當(dāng)然也可以改變在任意目錄下的打開終端，輸入觀察是否運(yùn)行成功，運(yùn)行成功的話，就可以打開

Scrapyd部署爬蟲 準(zhǔn)備工作 
安裝scrapyd: pip install scrapyd


安裝scrapyd-client : pip install scrapyd-client


安裝curl:[安裝地址](http://ono60m7tl.bkt.clouddn.com/curl.exe),安裝完成以后將所在目錄配置到環(huán)境變量中
開始部署 
修改scrapy項目目錄下的scrapy.cfg文件，修改如下
[deploy:JD_Spider]    #加上target   :name
url = http://localhost:6800/   #將前面的#刪除
project = JD               #project的名字，可以使用默認(rèn)的，當(dāng)然也可以改變
在任意目錄下的打開終端，輸入scrapyd,觀察是否運(yùn)行成功，運(yùn)行成功的話，就可以打開http://localhost:6800看是否正常顯示，如果正常顯示則看到下面的這張圖,這里的JD是部署之后才能看到的，現(xiàn)在是看不到的，所以沒出現(xiàn)也不要擔(dān)心：





在項目的根目錄下運(yùn)行如下的命令：python E:python2.7Scriptsscrapyd-deploy target -p project,這里的E:python2.7Scripts是你的python安裝目錄，Scripts是安裝目錄下的一個文件夾，注意前面一定要加上python,target是在前面scrapy.cfg中設(shè)置的deploy:JD_Spider，JD_Spider就是target,project 是JD,因此這個完整的命令是python E:python2.7Scriptsscrapyd-deploy JD_Spider -p JD,現(xiàn)在項目就部署到上面了，這下網(wǎng)頁上就有JD了，詳情請見上圖


驗證是否成功，你可以在網(wǎng)頁上看有沒有顯示你的工程名字，另外在根目錄下輸入python E:python2.7Scriptsscrapyd-deploy -l就能列出你所有部署過的項目了


啟動爬蟲：curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name,這里的project填入的是項目名，spider_name填入的是你的爬蟲中定義的name,運(yùn)行我的實例完整的代碼為：curl http://localhost:6800/schedule.json -d project=JD -d spider=spider，這里將會顯示如下信息：



#這里的jobid比較重要，下面會用到這個取消爬蟲
{"status": "ok", "jobid": "3013f9d1283611e79a63acb57dec5d04", "node_name": "DESKTOP-L78TJQ7"}
取消爬蟲：curl http://localhost:6800/cancel.json -d project=myproject -d job=jobid,jobid就是上面的提到過的，如果取消我的這個實例代碼如：curl http://localhost:6800/cancel.json -d project=JD -d job=3013f9d1283611e79a63acb57dec5d04,那么它的狀態(tài)就會變成如下：
{"status": "ok", "prevstate": "running", "node_name": "DESKTOP-L78TJQ7"}
列出項目：curl http://localhost:6800/listprojects.json,下面將會出現(xiàn)你已經(jīng)部署的項目


刪除項目：curl http://localhost:6800/delproject.json -d project=myproject


列出版本：curl http://localhost:6800/listversions.json?project=myproject,這里的project是項目的名字，是在scrapy.cfg設(shè)置的


列出爬蟲：curl http://localhost:6800/listspiders.json?project=myproject這里的project是項目的名字，是在scrapy.cfg設(shè)置的


列出job:curl http://localhost:6800/listjobs.json?project=myproject這里的project是項目的名字，是在scrapy.cfg設(shè)置的


刪除版本：curl http://localhost:6800/delversion.json -d project=myproject -d version=r99，這里的version是自己的項目版本號，在刪除之前需要查看版本號
更多文章請看本人博客

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/38601.html

相關(guān)文章

  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、Scrapyd

    摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)部署相關(guān)庫 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---...

    ityouknow 評論0 收藏0

  • 如何通過 Scrapyd + ScrapydWeb 簡單高效地部署和監(jiān)控分布式爬蟲項目

    摘要：支持一鍵部署項目到集群。添加郵箱帳號設(shè)置郵件工作時間和基本觸發(fā)器，以下示例代表每隔小時或當(dāng)某一任務(wù)完成時，并且當(dāng)前時間是工作日的點，點和點，將會發(fā)送通知郵件。除了基本觸發(fā)器，還提供了多種觸發(fā)器用于處理不同類型的，包括和等。 showImg(https://segmentfault.com/img/remote/1460000018772067?w=1680&h=869); 安裝和配置 ...

    zsirfs 評論0 收藏0

  • scrapyd部署爬蟲項目到LINUX服務(wù)器

    摘要：，首先把爬蟲項目上傳到服務(wù)器我的服務(wù)器架設(shè)在公司內(nèi)網(wǎng)里。部署名會在后面的部署項目環(huán)節(jié)用到。新項目創(chuàng)建創(chuàng)建完成。，部署項目的文件想要爬蟲程序真正進(jìn)行抓取起來，還有一步。選擇文件，部署文件至此，部署爬蟲項目就結(jié)束了。 1，首先把scrapy爬蟲項目上傳到服務(wù)器 我的服務(wù)器架設(shè)在公司內(nèi)網(wǎng)里。所以在這里使用WinSCP作為上傳工具。showImg(https://segmentfault....

    cppowboy 評論0 收藏0

  • 部署Scrapy分布式爬蟲項目

    摘要：以上示例代表當(dāng)發(fā)現(xiàn)條或條以上的級別的時，自動停止當(dāng)前任務(wù)，如果當(dāng)前時間在郵件工作時間內(nèi)，則同時發(fā)送通知郵件。 showImg(https://segmentfault.com/img/remote/1460000018052810); 一、需求分析 初級用戶： 只有一臺開發(fā)主機(jī) 能夠通過 Scrapyd-client 打包和部署 Scrapy 爬蟲項目，以及通過 Scrapyd JS...

    techstay 評論0 收藏0

  • CentOS7之Scrapy爬蟲部署

    摘要：安裝配置文件內(nèi)容如下守護(hù)進(jìn)程，用這個的原因?qū)嵲谑且驗樘嗳趿耍豢床蛔【蛼炝税惭b配置導(dǎo)入默認(rèn)配置鏈接管理設(shè)置管理進(jìn)程啟動創(chuàng)建文件內(nèi)容如下啟動查看如一切正常常用命令查看狀態(tài)重新載入重啟任務(wù)可以更新配置檢查日志爬蟲部署部署項目目錄 scrapyd 安裝: sudo pip install scrapyd 配置: #文件~/.scrapyd.conf #內(nèi)容如下: [scrapyd] egg...

    elisa.yang 評論0 收藏0

  • CentOS7之Scrapy爬蟲部署

    摘要：安裝配置文件內(nèi)容如下守護(hù)進(jìn)程，用這個的原因?qū)嵲谑且驗樘嗳趿?，一看不住就掛了安裝配置導(dǎo)入默認(rèn)配置鏈接管理設(shè)置管理進(jìn)程啟動創(chuàng)建文件內(nèi)容如下啟動查看如一切正常常用命令查看狀態(tài)重新載入重啟任務(wù)可以更新配置檢查日志爬蟲部署部署項目目錄 scrapyd 安裝: sudo pip install scrapyd 配置: #文件~/.scrapyd.conf #內(nèi)容如下: [scrapyd] egg...

    scq000 評論0 收藏0

發(fā)表評論

0條評論

閱讀需要支付1元查看
<