Beanbun: 簡單開放的 PHP 爬蟲框架

mayaohua 發(fā)布于2019-06-27 16:15 / 3503人閱讀

摘要：是用編寫的多進(jìn)程網(wǎng)絡(luò)爬蟲框架，具有良好的開放性高可擴(kuò)展性。它要天然支持分布式，支持多進(jìn)程或線程，利用，可以方便的建立起一個功能強(qiáng)大的爬蟲。

Beanbun

Beanbun 是用 PHP 編寫的多進(jìn)程網(wǎng)絡(luò)爬蟲框架，具有良好的開放性、高可擴(kuò)展性。
項目地址：https://github.com/kiddyuchin...
文檔地址：http://beanbun.org

由來

我希望有這樣一個爬蟲框架：在簡單需求的情況下，可以用最少的代碼快速建立一個功能完善的爬蟲；而且如果你愿意，你可以對爬蟲進(jìn)行你想要的任何修改。它要天然支持分布式，支持多進(jìn)程（或線程），利用 composer，可以方便的建立起一個功能強(qiáng)大的爬蟲。
在對之前寫過的一個爬蟲的功能不斷的刪減調(diào)整后，就有了目前的 Beanbun，這個名字來自于作者家的貓，此貓名叫門丁，“門丁”是北方的一種面點。門丁 -> 豆包 -> bean bun。
我希望在這里能夠拋磚引玉，和大家一起繼續(xù)完善 Beanbun。

特點

支持守護(hù)進(jìn)程與普通兩種模式（守護(hù)進(jìn)程模式只支持 Linux 服務(wù)器）

默認(rèn)使用 Guzzle 進(jìn)行爬取

支持分布式

支持內(nèi)存、Redis 等多種隊列方式

支持自定義URI過濾

支持廣度優(yōu)先和深度優(yōu)先兩種爬取方式

遵循 PSR-4 標(biāo)準(zhǔn)

爬取網(wǎng)頁分為多步，每步均支持自定義動作（如添加代理、修改 user-agent 等）

靈活的擴(kuò)展機(jī)制，可方便的為框架制作插件：自定義隊列、自定義爬取方式...

安裝

Beanbun 可以通過 composer 進(jìn)行安裝。

$ composer require kiddyu/beanbun

一個簡單的例子

創(chuàng)建一個文件 start.php，包含以下內(nèi)容

seed = [
    "http://www.950d.com/",
    "http://www.950d.com/list-1.html",
    "http://www.950d.com/list-2.html",
];
$beanbun->afterDownloadPage = function($beanbun) {
    file_put_contents(__DIR__ . "/" . md5($beanbun->url), $beanbun->page);
};
$beanbun->start();

在命令行中執(zhí)行

$ php start.php

接下來就可以看到抓取的日志了。

2017-04-04 14:14:14 Beanbun worker download http://www.950d.com/ success.
2017-04-04 14:14:14 Beanbun worker download http://www.950d.com/list-1.html success.
2017-04-04 14:14:14 Beanbun worker download http://www.950d.com/list-2.html success.

最后

后邊我會針對一些不同類型的網(wǎng)站，寫一些用 Beanbun 實現(xiàn)爬蟲的小例子，歡迎大家持續(xù)關(guān)注。