PHP使用curl_multi并發請求

Jacendfeng 發布于2019-06-27 14:54 / 1473人閱讀

摘要：根據獲取請求對象這個比較簡單可以看官方文檔將三個待請求對象放入下載器中輪詢一旦有一個請求完成，找出來，處理因為底層是，所以最大受限于從請求中獲取信息內容錯誤把請求已經完成了得刪除當沒有數據的時候進行堵塞，把使用權交出來，避免上面死循環空跑數

class CurlMultiUtil {
    /**
    * 根據url,postData獲取curl請求對象,這個比較簡單,可以看官方文檔
    */
    private static function getCurlObject($url,$postData=array(),$header=array()){
        $options = array();
        $url = trim($url);
        $options[CURLOPT_URL] = $url;
        $options[CURLOPT_TIMEOUT] = 3;
        $options[CURLOPT_RETURNTRANSFER] = true;
        foreach($header as $key=>$value){
            $options[$key] =$value;
        }
        if(!empty($postData) && is_array($postData)){
            $options[CURLOPT_POST] = true;
            $options[CURLOPT_POSTFIELDS] = http_build_query($postData);
        }
        if(stripos($url,"https") === 0){
            $options[CURLOPT_SSL_VERIFYPEER] = false;
        }
        $ch = curl_init();
        curl_setopt_array($ch,$options);
        return $ch;
    }
    /**
     * [request description]
     * @param  [type] $chList
     * @return [type]
     */
    private static function request($chList){
        $downloader = curl_multi_init();
        // 將三個待請求對象放入下載器中
        foreach ($chList as $ch){
            curl_multi_add_handle($downloader,$ch);
        }
        $res = array();
        // 輪詢
        do {
            while (($execrun = curl_multi_exec($downloader, $running)) == CURLM_CALL_MULTI_PERFORM);
            if ($execrun != CURLM_OK) {
                break;
            }
            // 一旦有一個請求完成，找出來，處理,因為curl底層是select，所以最大受限于1024
            while ($done = curl_multi_info_read($downloader)){
                // 從請求中獲取信息、內容、錯誤
                // $info = curl_getinfo($done["handle"]);
                $output = curl_multi_getcontent($done["handle"]);
                // $error = curl_error($done["handle"]);
                $res[] = $output;
                // 把請求已經完成了得 curl handle 刪除
                curl_multi_remove_handle($downloader, $done["handle"]);
            }
            // 當沒有數據的時候進行堵塞，把 CPU 使用權交出來，避免上面 do 死循環空跑數據導致 CPU 100%
            if ($running) {
                $rel = curl_multi_select($downloader, 1);
                if($rel == -1){
                    usleep(1000);
                }
            }
            if($running == false){
                break;
            }
        }while(true);
        curl_multi_close($downloader);
        return $res;
    }
    /**
     * [get description]
     * @param  [type] $urlArr
     * @return [type]
     */
    public static function get($urlArr){
        $data = array();
        if (!empty($urlArr)) {
            $chList = array();
            foreach ($urlArr as $key => $url) {
                $chList[] = self::getCurlObject($url);
            }
            $data = self::request($chList);
        }
        return $data;
    }
}

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/22085.html

curl_multi實現并發

摘要：普通請求創建多個資源并發創建多個資源創建批處理句柄增加句柄待優化點在執行而整個批處理句柄沒有全部執行完畢時，系統會不停地執行函數。進行改動的方式是應用函數庫中的函數，其函數原型如下阻塞直到批處理連接中有活動連接。普通請求 curl_normal.php use time:0.830 s curl_multi并發 curl_multi.php use time:0.259 s ...

shusen 2019-06-28 18:47 評論0 收藏0
PHP實現并發請求

摘要：不支持多線程模式和回調處理，因此內部腳本都是同步阻塞式的，如果你發起一個的請求，那么程序就會阻塞，直到請求返回結果，才會繼續執行代碼。參考資料手冊手冊預定義常量中實現多線程請求詳解每次使用同時并發多少請求合適簡書多線程及原理后端服務開發中經常會有并發請求的需求，比如你需要獲取10家供應商的帶寬數據（每個都提供不同的url），然后返回一個整合后的數據，你會怎么做呢？在PHP中，最直觀...

zhangfaliang 2019-07-01 12:30 評論0 收藏0
php中curl_multi函數集的用法

摘要：今天我就來聊聊我關于函數集的使用心得，關于請求的問題。耗時這是不能容忍的。事實上內部實現就是用的事件循環。通過函數創建下載器。四復雜的運用這就是用法在上面的例子中。動態的從下載器中取出已經完成了的請求。函數實現的壓測工具。一、引言這段時間比較忙，已經很久沒有寫博客了。今天我就來聊聊我關于curl_multi_*函數集的使用心得，關于http請求的問題。當我們用戶php發起一個ht...

neu 2019-06-27 14:56 評論0 收藏0
三年前舊代碼的重構、總結與反思

摘要：最近在維護一個三年前的舊代碼，用的是框架。單元測試和語言并發控制實際上是個蛋疼的問題，夸張一點說，當時的并不能特別輕松地實現并發，甚至不能實現并發。語言的功能之一就是自帶單元測試。用語言之前，我的習慣是不寫單元測試。最近在維護一個三年前的舊代碼，用的是laravel框架。從某些方面來講，這個代碼算是比較標準為了實現在規定的時間內完成相關功能，同時程序員水平不高、經過大量優化之后，變...

Shihira 2019-07-01 10:35 評論0 收藏0
PHP編程中的并發

摘要：編程中的并發周末去北京面了兩個公司，認識了幾位技術牛人，面試中聊了很多，感覺收獲頗豐。本文大約總結了編程中的五種并發方式，最后的的實現純屬無聊，可以無視。生成的可以中斷函數，并用向發送消息。 PHP編程中的并發周末去北京面了兩個公司，認識了幾位技術牛人，面試中聊了很多，感覺收獲頗豐。認識到了自己的不足之處，也堅定了自己對計算機學習的信心。本文是對其中一道面試題的總結。面試中有一個問...

lewinlee 2019-06-27 11:46 評論0 收藏0