Laravel 下使用 Guzzle 編寫多線程爬蟲實戰

hzx 發布于2019-06-27 13:42 / 1520人閱讀

摘要：本文經授權轉自社區說明庫是一套強大的請求套件。本文重點演示如何使用發起多線程請求。

本文經授權轉自 PHPHub 社區

說明

Guzzle 庫是一套強大的 PHP HTTP 請求套件。

本文重點演示如何使用 Guzzle 發起多線程請求。

參考

Github 官方用戶接口文檔

Guzzle 并發請求文檔

Laravel LTS 5.1 - Artisan 文檔

創建命令 1. 運行命令行創建命令

php artisan make:console MultithreadingRequest --command=test:multithreading-request

2. 注冊命令

編輯 app/Console/Kernel.php，在 $commands 數組中增加：

CommandsMultithreadingRequest::class,

3. 測試下命令

修改 app/Console/Commands/MultithreadingRequest.php 文件，在 handle 方法中增加：

$this->info("hello");

輸出：

$ php artisan test:multithreading-request
hello

4. 安裝 Guzzle

composer require guzzlehttp/guzzle "6.2"

直接貼代碼

一份可運行的代碼勝過千言萬語呀。

下面代碼是 app/Console/Commands/MultithreadingRequest.php 里的內容：

totalPageCount = count($this->users);

        $client = new Client();

        $requests = function ($total) use ($client) {
            foreach ($this->users as $key => $user) {

                $uri = "https://api.github.com/users/" . $user;
                yield function() use ($client, $uri) {
                    return $client->getAsync($uri);
                };
            }
        };

        $pool = new Pool($client, $requests($this->totalPageCount), [
            "concurrency" => $this->concurrency,
            "fulfilled"   => function ($response, $index){

                $res = json_decode($response->getBody()->getContents());

                $this->info("請求第 $index 個請求，用戶 " . $this->users[$index] . " 的 Github ID 為：" .$res->id);

                $this->countedAndCheckEnded();
            },
            "rejected" => function ($reason, $index){
                $this->error("rejected" );
                $this->error("rejected reason: " . $reason );
                $this->countedAndCheckEnded();
            },
        ]);

        // 開始發送請求
        $promise = $pool->promise();
        $promise->wait();
    }

    public function countedAndCheckEnded()
    {
        if ($this->counter < $this->totalPageCount){
            $this->counter++;
            return;
        }
        $this->info("請求結束！");
    }
}

運行結果：

$ php artisan test:multithreading-request
請求第 5 個請求，用戶 zhengjinghua 的 Github ID 為：3413430
請求第 6 個請求，用戶 NauxLiu 的 Github ID 為：9570112
請求第 0 個請求，用戶 CycloneAxe 的 Github ID 為：6268176
請求第 1 個請求，用戶 appleboy 的 Github ID 為：21979
請求第 2 個請求，用戶 Aufree 的 Github ID 為：5310542
請求第 3 個請求，用戶 lifesign 的 Github ID 為：2189610
請求第 4 個請求，用戶 overtrue 的 Github ID 為：1472352
請求結束！

注意請求是同時發送過去的，因為 concurrency 并發設置了 7，所以 7 個請求同時發送，只不過接收到返回的時間點不一樣。

完。

GPU云服務器云服務器爬蟲多線程多線程爬蟲多線程網頁爬蟲 jsoup多線程爬蟲

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/21567.html

爬蟲 - 收藏集 - 掘金

摘要：使用的爬蟲知乎用戶數據爬取和分析閱讀掘金背景說明小拽利用的寫的爬蟲，實驗性的爬取了知乎用戶的基本信息同時，針對爬取的數據，進行了簡單的分析呈現。 Python 知乎爬蟲（最新） - 后端 - 掘金環境：python3.x外部依賴包：requestsgithub項目地址主要的問題:模擬登陸：知乎現在改用https請求了，數據加密，但是問題不大，重要的是網頁數據改動了，而且在請求時后...

zzbo 2019-07-31 10:55 評論0 收藏0
Beanbun: 簡單開放的 PHP 爬蟲框架

摘要：是用編寫的多進程網絡爬蟲框架，具有良好的開放性高可擴展性。它要天然支持分布式，支持多進程或線程，利用，可以方便的建立起一個功能強大的爬蟲。 Beanbun Beanbun 是用 PHP 編寫的多進程網絡爬蟲框架，具有良好的開放性、高可擴展性。項目地址：https://github.com/kiddyuchin...文檔地址：http://beanbun.org 由來我希望有這樣一...

mayaohua 2019-06-27 16:15 評論0 收藏0
Laravel學習筆記之Core Concepts in Guzzle Package——Strea

摘要：使用了來表示該，該接口也是對的抽象，暴露了一些常用方法判斷是否滿足要求的方法的讀寫相關操作獲取元數據方法操作指針相關方法等等。本篇主要學習下相關使用。后續還會分享相關使用，到時見。說明：本文主要學習guzzlehttp/guzzle package的使用，該package提供了一套發送HTTP請求API，就像phpunit package, mockery package, symf...

singerye 2019-06-27 14:43 評論0 收藏0
PHP相關

摘要：的機器學習庫的機器學習庫，包括算法交叉驗證神經網絡等內容。在即將到來的大會上，她將和大家分享在機器學習領域的全新可能。入門總結入門相關，如安裝配置基本使用等。基于 Swoole 開發 PHP 擴展 Swoole-1.9.7 增加了一個新特性，可以基于 Swoole 使用 C++ 語言開發擴展模塊，在擴展模塊中可以注冊 PHP 內置函數和類。現在可以基于 Swoole 來編寫 PHP ...

lewinlee 2019-06-28 14:39 評論0 收藏0
PHP新手開發者的路線建議

摘要：年開發者應該熟練使用，并且知道版本更新內容。對開發和運維人員來說，最希望的就是一次性創建或配置，可以在任意地方正常運行。是標準規范，是開發的實踐標準。對開發者來說語言推薦和，全棧的選擇非常多，推薦熱門的前言在前天（2018-08-02）已經發布了PHP 7.3.0.beta1 Released 如果你還沒有使用 PHP7 ，那真的很遺憾。2018年PHP開發者應該熟練使用 PHP7...

klinson 2019-07-01 10:25 評論0 收藏0