Scrapy-Cluster結合Spiderkeeper管理分布式爬蟲

bingo 發布于2019-07-30 17:45 / 1295人閱讀

摘要：分布式爬蟲，分發網址是基于地址。注意要使用管理同一個集群，爬蟲項目名稱須一致，同時集群中配置相同任務瀏覽器訪問啟動爬蟲時即可看見兩個集群配置，啟動同名爬蟲開始分布式爬蟲啟動分布式爬蟲后狀態

Scrapy-cluster 建設

基于Scrapy-cluster庫的kafka-monitor可以實現分布式爬蟲

Scrapyd+Spiderkeeper實現爬蟲的可視化管理

環境

IP	Role
168...118	Scrapy-cluster,scrapyd,spiderkeeper
168...119	Scrapy-cluster,scrapyd,kafka,redis,zookeeper

# cat /etc/redhat-release 
CentOS Linux release 7.4.1708 (Core) 
# python -V
Python 2.7.5
# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

Zookeeper 單機配置

下載并配置

# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz
# tar -zxvf zookeeper-3.4.13.tar.gz
# cd zookeeper-3.4.13/conf
# cp zoo_sample.cfg zoo.cfg
# cd ..
# PATH=/opt/zookeeper-3.4.13/bin:$PATH
# echo "export PATH=/opt/zookeeper-3.4.13/bin:$PATH" > /etc/profile.d/zoo.sh

單節點啟動

# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.13/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

# zkServer.sh start

kafka 單機配置

下載

# wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
# tar -zxvf kafka_2.12-2.0.0.tgz
# cd kafka_2.12-2.0.0/

配置

# vim config/server.properties

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0                     # kafka的機器編號，
host.name = 168.*.*.119         # 綁定ip
port=9092                        # 默認端口9092，
# Switch to enable topic deletion or not, default value is false
delete.topic.enable=true
############################# Zookeeper #############################
zookeeper.connect=localhost:2181

啟動

nohup bin/kafka-server-start.sh config/server.properties &

停止命令bin/kafka-server-stop.sh config/server.properties

redis 單機配置

安裝配置

# yum -y install redis
# vim /etc/redis.conf
bind 168.*.*.119

啟動

# systemctl start redis.service

scrapy-cluster 單機配置

# git clone https://github.com/istresearch/scrapy-cluster.git
# cd scrapy-cluster
# pip install -r requirements.txt

離線運行單元測試,以確保一切似乎正常

# ./run_offline_tests.sh

修改配置

# vim kafka-monitor/settings.py
# vim redis-monitor/settings.py
# vim crawlers/crawling/settings.py

修改以下

# Redis host configuration
REDIS_HOST = "168.*.*.119"
REDIS_PORT = 6379
REDIS_DB = 0

KAFKA_HOSTS = "168.*.*.119:9092"
KAFKA_TOPIC_PREFIX = "demo"
KAFKA_CONN_TIMEOUT = 5
KAFKA_APPID_TOPICS = False
KAFKA_PRODUCER_BATCH_LINGER_MS = 25  # 25 ms before flush
KAFKA_PRODUCER_BUFFER_BYTES = 4 * 1024 * 1024  # 4MB before blocking

# Zookeeper Settings
ZOOKEEPER_ASSIGN_PATH = "/scrapy-cluster/crawler/"
ZOOKEEPER_ID = "all"
ZOOKEEPER_HOSTS = "168.*.*.119:2181"

啟動監聽

# nohup python kafka_monitor.py run >> /root/scrapy-cluster/kafka-monitor/kafka_monitor.log 2>&1 &
# nohup python redis_monitor.py >> /root/scrapy-cluster/redis-monitor/redis_monitor.log 2>&1 &

scrapyd 爬蟲管理工具配置

安裝

# pip install scrapyd

配置

# sudo mkdir /etc/scrapyd
# sudo vi /etc/scrapyd/scrapyd.conf

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 10
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

啟動

# nohup scrapyd >> /root/scrapy-cluster/scrapyd.log 2>&1 &

建議做Nginx反向代理

啟動異常

File "/usr/local/lib/python3.6/site-packages/scrapyd-1.2.0-py3.6.egg/scrapyd/app.py", line 2, in 
from twisted.application.internet import TimerService, TCPServer
File "/usr/local/lib64/python3.6/site-packages/twisted/application/internet.py", line 54, in 
from automat import MethodicalMachine
File "/usr/local/lib/python3.6/site-packages/automat/__init__.py", line 2, in 
from ._methodical import MethodicalMachine
File "/usr/local/lib/python3.6/site-packages/automat/_methodical.py", line 210, in 
    class MethodicalInput(object):
File "/usr/local/lib/python3.6/site-packages/automat/_methodical.py", line 220, in MethodicalInput
    @argSpec.default
builtins.TypeError: "_Nothing" object is not callable


Failed to load application: "_Nothing" object is not callable

解決：Automat降級

pip install Automat==0.6.0

Spiderkeeper 爬蟲管理界面配置

安裝

pip install SpiderKeeper

啟動

mkdir /root/spiderkeeper/
nohup spiderkeeper --server=http://168.*.*.118:6800 --username=admin --password=admin --database-url=sqlite:////root/spiderkeeper/SpiderKeeper.db >> /root/scrapy-cluster/spiderkeeper.log 2>&1 &

瀏覽器訪問http://168.*.*.118:5000

使用Spiderkeeper 管理爬蟲 使用scrapyd-deploy部署爬蟲項目

修改scrapy.cfg配置

vim /root/scrapy-cluster/crawler/scrapy.cfg

[settings]
default = crawling.settings

[deploy]
url = http://168.*.*.118:6800/
project = crawling

添加新的spider

cd /root/scrapy-cluster/crawler/crawling/spider

使用scrapyd-deploy部署項目

# cd /root/scrapy-cluster/crawler
# scrapyd-deploy 
Packing version 1536225989
Deploying to project "crawling" in http://168.*.*.118:6800/addversion.json
Server response (200):
{"status": "ok", "project": "crawling", "version": "1536225989", "spiders": 3, "node_name": "ambari"}

spiderkeeper 配置爬蟲項目

登錄Spiderkeeper創建項目

使用scrapy.cfg中配置的項目名

創建后再Spiders->Dashboard中看到所有spider

Scrapy-cluster 分布式爬蟲

Scrapy Cluster需要在不同的爬蟲服務器之間進行協調，以確保最大的內容吞吐量，同時控制集群服務器爬取網站的速度。

Scrapy Cluster提供了兩種主要策略來控制爬蟲對不同域名的攻擊速度。這由爬蟲的類型與IP地址確定，但他們都作用于不同的域名隊列。

Scrapy-cluster分布式爬蟲，分發網址是基于IP地址。在不同的機器上啟動集群，不同服務器上的每個爬蟲去除隊列中的所有鏈接。

部署集群中第二個scrapy-cluster

配置一臺新的服務器參照scrapy-cluster 單機配置,同時使用第一臺服務器配置kafka-monitor/settings.py redis-monitor/settings.py crawling/settings.py

Current public ip 問題

由于兩臺服務器同時部署在相同內網，spider運行后即獲取相同Current public ip，導致scrapy-cluster調度器無法根據IP分發鏈接

2018-09-07 16:08:29,684 [sc-crawler] DEBUG: Current public ip: b"110.*.*.1"

參考代碼/root/scrapy-cluster/crawler/crawling/distributed_scheduler.py第282行：

try:
    obj = urllib.request.urlopen(settings.get("PUBLIC_IP_URL",
                                  "http://ip.42.pl/raw"))
    results = self.ip_regex.findall(obj.read())
    if len(results) > 0:
        # results[0] 獲取IP地址即為110.90.122.1
        self.my_ip = results[0]
    else:
        raise IOError("Could not get valid IP Address")
    obj.close()
    self.logger.debug("Current public ip: {ip}".format(ip=self.my_ip))
except IOError:
    self.logger.error("Could not reach out to get public ip")
    pass

建議修改代碼，獲取本機IP

self.my_ip = [(s.connect(("8.8.8.8", 53)), s.getsockname()[0], s.close()) 
                for s in [socket.socket(socket.AF_INET, socket.SOCK_DGRAM)]][0][1]

運行分布式爬蟲

在兩個scrapy-cluster中運行相同Spider

execute(["scrapy", "runspider", "crawling/spiders/link_spider.py"])

使用python kafka_monitor.py feed投遞多個鏈接，使用DEBUG即可觀察到鏈接分配情況

使用SpiderKeeper管理分布式爬蟲 配置scrapyd管理集群第二個scrapy-cluster

在第二臺scrapy-cluster服務器上安裝配置scrapyd，參考scrapyd 爬蟲管理工具配置并修改配置

[settings]
default = crawling.settings

[deploy]
url = http://168.*.*.119:6800/
project = crawling

啟動scrapyd后使用scrapyd-deploy工具部署兩個scrapy-cluster上的爬蟲項目。

使用Spiderkeeper連接多個scrapy-cluster

重新啟動spiderkeeper，對接兩個scrapy-cluster的管理工具scrapyd。

nohup spiderkeeper --server=http://168.*.*.118:6800 --server=http://168.*.*.119:6800 --username=admin --password=admin --database-url=sqlite:////root/spiderkeeper/SpiderKeeper.db >> /root/scrapy-cluster/spiderkeeper.log 2>&1 &

注意：要使用spiderkeeper管理同一個集群，爬蟲項目名稱須一致，同時集群中scrapy-cluster配置相同spider任務

瀏覽器訪問http://168.*.*.118:5000 啟動爬蟲時即可看見兩個scrapy-cluster集群配置，啟動同名爬蟲開始scrapy-cluster分布式爬蟲

啟動分布式爬蟲后狀態

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42398.html

spiderkeeper 部署&操作

摘要：前言最近發現了一個的庫這個庫的主要用途是在于配合這管理你的爬蟲支持一鍵式部署定時采集任務啟動暫停等一系列的操作簡單來說將的進行封裝最大限度減少你跟命令行交互次數不得說這個是很棒的事情的連接環境配置由于是基于以上的版本兼容性較好所以我們需要的前言最近發現了一個spdierkeeper的庫,這個庫的主要用途是在于.配合這scrpyd管理你的爬蟲,支持一鍵式部署,定時采集任務,啟動,暫停...

Neilyo 2019-07-30 15:39 評論0 收藏0
基于Celery的分布式爬蟲管理平臺: Crawlab

摘要：基于的爬蟲分布式爬蟲管理平臺，支持多種編程語言以及多種爬蟲框架。后臺程序會自動發現這些爬蟲項目并儲存到數據庫中。每一個節點需要啟動應用來支持爬蟲部署。任務將以環境變量的形式存在于爬蟲任務運行的進程中，并以此來關聯抓取數據。 Crawlab 基于Celery的爬蟲分布式爬蟲管理平臺，支持多種編程語言以及多種爬蟲框架。 Github: https://github.com/tikazyq/...

legendaryedu 2019-07-31 10:08 評論0 收藏0
scrapyd部署爬蟲項目到LINUX服務器

摘要：，首先把爬蟲項目上傳到服務器我的服務器架設在公司內網里。部署名會在后面的部署項目環節用到。新項目創建創建完成。，部署項目的文件想要爬蟲程序真正進行抓取起來，還有一步。選擇文件，部署文件至此，部署爬蟲項目就結束了。 1，首先把scrapy爬蟲項目上傳到服務器我的服務器架設在公司內網里。所以在這里使用WinSCP作為上傳工具。showImg(https://segmentfault....

cppowboy 2019-07-30 18:39 評論0 收藏0
高級架構師實戰：如何用最小的代價完成爬蟲需求

摘要：在系統正常運行時，可以變更爬蟲的配置，一旦實時監控爬蟲出現異常，可實時修正配置進行干預。從數據庫中實時讀取配置信息，響應業務層的配置請求。處理系統通過服務層，每次去取配置信息可能維護人員在實時修正及待抓取的列表進行處理。 showImg(https://segmentfault.com/img/bVLa4V?w=960&h=540); 一 ?緣起在我工作的多家公司，有眾多的領域，如房...

light 2019-06-24 17:53 評論0 收藏0
從0-1打造最強性能Scrapy爬蟲集群

摘要：包括爬蟲編寫爬蟲避禁動態網頁數據抓取部署分布式爬蟲系統監測共六個內容，結合實際定向抓取騰訊新聞數據，通過測試檢驗系統性能。 1 項目介紹本項目的主要內容是分布式網絡新聞抓取系統設計與實現。主要有以下幾個部分來介紹：（1）深入分析網絡新聞爬蟲的特點，設計了分布式網絡新聞抓取系統爬取策略、抓取字段、動態網頁抓取方法、分布式結構、系統監測和數據存儲六個關鍵功能。（2）結合程序代碼分解說...

vincent_xyb 2019-07-30 14:46 評論0 收藏0