国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

CentOS7之Scrapy爬蟲部署

scq000 / 1707人閱讀

摘要：安裝配置文件內(nèi)容如下守護(hù)進(jìn)程，用這個(gè)的原因?qū)嵲谑且驗(yàn)樘嗳趿耍豢床蛔【蛼炝税惭b配置導(dǎo)入默認(rèn)配置鏈接管理設(shè)置管理進(jìn)程啟動(dòng)創(chuàng)建文件內(nèi)容如下啟動(dòng)查看如一切正常常用命令查看狀態(tài)重新載入重啟任務(wù)可以更新配置檢查日志爬蟲部署部署項(xiàng)目目錄

scrapyd 安裝: 
sudo pip install scrapyd
配置: 
#文件~/.scrapyd.conf
#內(nèi)容如下:
[scrapyd]
eggs_dir    = /home/sirius/scrapyd/eggs
logs_dir    = /home/sirius/scrapyd/logs
items_dir   = /home/sirius/scrapyd/items
jobs_to_keep = 5
dbs_dir     = /home/sirius/scrapyd/dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 50
poll_interval = 5
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
#daemonstatus.json = scrapyd.webservice.DaemonStatus
supervisor 
守護(hù)進(jìn)程，用這個(gè)的原因?qū)嵲谑且驗(yàn)閟crapyd太脆弱了，一看不住就掛了
安裝: 
sudo pip install supervisor
配置: 
sudo mkdir -p /etc/supervisor/

＃導(dǎo)入默認(rèn)配置
sudo su - root -c "echo_supervisord_conf > /etc/supervisor/supervisord.conf"

#鏈接管理
[inet_http_server]         ; inet (TCP) server disabled by default
port=127.0.0.1:9001        ; (ip_address:port specifier, *:port for all iface)
;username=user              ; (default is no username (open server))
;password=123               ; (default is no password (open server))  

[supervisorctl]
;serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket
serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
;username=chris              ; should be same as http_username if set
;password=123                ; should be same as http_password if set
;prompt=mysupervisor         ; cmd line prompt (default "supervisor")
;history_file=~/.sc_history  ; use readline history if available

#設(shè)置管理進(jìn)程
[program:scrapyd]
command=scrapyd
autostart=true
autorestart=unexpected
啟動(dòng) 
`創(chuàng)建文件/usr/lib/systemd/system/supervisord.service內(nèi)容如下:

[Unit]                                                              
Description=supervisord - Supervisor process control system for UNIX
Documentation=http://supervisord.org                                
After=network.target                                                

[Service]                                                           
Type=forking                                                        
ExecStart=/usr/bin/supervisord -c /etc/supervisor/supervisord.conf             
ExecReload=/usr/bin/supervisorctl reload                            
ExecStop=/usr/bin/supervisorctl shutdown                            
User=

[Install]                                                           
WantedBy=multi-user.target

#啟動(dòng)
sudo systemctl enable supervisord
sudo systemctl start supervisord

#查看
supervisorctl

#如一切正常
|>$ scrapyd   RUNNING   pid 8059, uptime 0:02:02

#常用命令
status #查看狀態(tài)
reload #重新載入
restart scrapyd #重啟任務(wù)
update #可以更新 supervisor 配置
tail -f scrapyd stderr #檢查日志
爬蟲部署: 部署: 
cd <項(xiàng)目目錄>
scrapyd-deploy
API控制: 
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/18841.html

相關(guān)文章

  • CentOS7之Scrapy爬蟲部署

    摘要：安裝配置文件內(nèi)容如下守護(hù)進(jìn)程，用這個(gè)的原因?qū)嵲谑且驗(yàn)樘嗳趿耍豢床蛔【蛼炝税惭b配置導(dǎo)入默認(rèn)配置鏈接管理設(shè)置管理進(jìn)程啟動(dòng)創(chuàng)建文件內(nèi)容如下啟動(dòng)查看如一切正常常用命令查看狀態(tài)重新載入重啟任務(wù)可以更新配置檢查日志爬蟲部署部署項(xiàng)目目錄 scrapyd 安裝: sudo pip install scrapyd 配置: #文件~/.scrapyd.conf #內(nèi)容如下: [scrapyd] egg...

    elisa.yang 評(píng)論0 收藏0

  • 小程序開發(fā)（一）：使用scrapy爬蟲采集數(shù)據(jù)

    摘要：用途廣泛，可以用于數(shù)據(jù)挖掘監(jiān)測和自動(dòng)化測試。運(yùn)行下，發(fā)現(xiàn)數(shù)據(jù)全部存到了數(shù)據(jù)庫中。提供了一些接口來查看項(xiàng)目爬蟲情況，以及執(zhí)行或者停止執(zhí)行爬蟲。完成小程序所需要的所有接口的開發(fā)，以及使用定時(shí)任務(wù)執(zhí)行爬蟲腳本。 過完年回來，業(yè)余時(shí)間一直在獨(dú)立開發(fā)一個(gè)小程序。主要數(shù)據(jù)是8000+個(gè)視頻和10000+篇文章，并且數(shù)據(jù)會(huì)每天自動(dòng)更新。 我會(huì)整理下整個(gè)開發(fā)過程中遇到的問題和一些細(xì)節(jié)問題，因?yàn)閮?nèi)容會(huì)比...

    mrli2016 評(píng)論0 收藏0

  • Python爬蟲之用supervisor使scrapy在服務(wù)器后臺(tái)運(yùn)行

    摘要：折騰原因之前都是遠(yuǎn)程連接服務(wù)器，然后在命令行運(yùn)行，一旦關(guān)閉遠(yuǎn)程連接，爬蟲就會(huì)停止，很不爽，畢竟能讓一個(gè)爬蟲在服務(wù)器一直跑才是每個(gè)小白的夢(mèng)想，所以開始研究如何使程序在后臺(tái)運(yùn)行，剛開始看了，感覺不好用，又搜了搜，發(fā)現(xiàn)了這個(gè)進(jìn)程管理程序。 折騰原因 之前都是遠(yuǎn)程連接服務(wù)器，然后在命令行運(yùn)行scrapy crawl spider，一旦關(guān)閉遠(yuǎn)程連接，爬蟲就會(huì)停止，很不爽，畢竟能讓一個(gè)爬蟲在服務(wù)器...

    Turbo 評(píng)論0 收藏0

  • 部署Scrapy分布式爬蟲項(xiàng)目

    摘要：以上示例代表當(dāng)發(fā)現(xiàn)條或條以上的級(jí)別的時(shí)，自動(dòng)停止當(dāng)前任務(wù)，如果當(dāng)前時(shí)間在郵件工作時(shí)間內(nèi)，則同時(shí)發(fā)送通知郵件。 showImg(https://segmentfault.com/img/remote/1460000018052810); 一、需求分析 初級(jí)用戶： 只有一臺(tái)開發(fā)主機(jī) 能夠通過 Scrapyd-client 打包和部署 Scrapy 爬蟲項(xiàng)目，以及通過 Scrapyd JS...

    techstay 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<