国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

php通過共享內存,控制mysql連接數,多進程插入數據(pcnt學習四)

ivyzhang / 796人閱讀

摘要:本人前一遍中提到,當進程數過多時,多進程插入數據庫表,超過了最大連接數,就會報錯,插入就會有失敗的情況。這樣就可以控制有的連接數不會達到上限,程序不會出現連接數據庫失敗的情況。多進程耗內存比較嚴重,下一步打算用多線程來試試。

本人前一遍blog中提到,當進程數過多時,多進程插入mysql數據庫表,超過了mysql最大連接數,就會報錯,插入就會有失敗的情況。想通過進程間通信來控制一下連接數,參考了一些網上的blog
實現了一下,利用共享內存來存放mysql的連接數,當某個進程在獲取信號量后,嘗試去連接數據庫之前,先判斷一下,當前的連接數是否超過了預定的閾值,如果沒有,就連接數據庫,連接成功后,連接數加一,立馬釋放信號,等操作數據庫完畢后,進程再次阻塞,來獲取信號,然后把連接數減一,釋放信號量后,進程退出。
這樣就可以控制有mysql的連接數不會達到上限,程序不會出現連接數據庫失敗的情況。當然我可以直接少fork一些進程,本人就是覺得要折騰一下。不然進程通信就懵逼了。而且也不會有以下的問題出現。
但是本人實驗,fork一萬個子進程,虛擬機很容易就掛了。后來該為fork 5000個子進程,插入一百萬條數據,模擬的是最原始的插入。虛擬機雖然沒有崩, 但是很卡,期間會出現很多僵尸進程,這里有點疑問。
多進程耗內存比較嚴重,下一步打算用多線程來試試。
ps:要支持Semaphore函數,php在編譯安裝是要加上如下參數:

--enable-sysvsem
--enable-sysvshm
--enable-sysvmsg

為此,我還重新編譯了php。。。。蛋疼啊。代碼如下:

 0) {
        //$id = pcntl_wait($status,WNOHANG);
        $child[] = $pid;
    } else if ($pid == 0) {
        while(true) {
            // 獲得信號量
            sem_acquire($signal);
            $count = shm_get_var($shm_id, SHARE_KEY);
            if ($count >= $poolSize) {
                sem_release($signal);
                continue;
            } else {
                $link  = mysqli_connect("localhost","root","root","yii2advanced");
                if ($link) {
                    $count++;
                    shm_put_var($shm_id,SHARE_KEY,$count);
                    sem_release($signal);
                    $start = ($i-1)*$per + 1;
                    $end   = $start + $per;
                    for($j = $start; $j< $end; $j++){
                        $time = microtime(true);
                        $sql = "insert pcntl_test (rank,time) values (".$j.",".$time.")";
                        mysqli_query($link,$sql);
                    }
                    mysqli_close($link);
                    break;
                }
                
            }
            sleep(1);
        }
        sem_acquire($signal);
        $count = shm_get_var($shm_id,SHARE_KEY);
        $count--;
        shm_put_var($shm_id, SHARE_KEY, $count);
        sem_release($signal);
        $id = getmypid();
        $count++;
        echo "count : ".$count." child ".$id." finished ".microtime(true).PHP_EOL;
        exit(0);
    
    }
}
while(count($child)){
    foreach($child as $k => $pid) {
        $res = pcntl_waitpid($pid, $status, WNOHANG);
        if ( -1 == $res || $res > 0) {
            unset($child[$k]);
        }
    }
}
$end = microtime(true);
echo "end ".$end.PHP_EOL;
echo "fork ".$num."process insert ".$total." recodes takes ".($end-$begin).PHP_EOL;

最后,我統計分析了一下5千個進程,一百萬條記錄,插入時,mysql的連接數情況(平均連接數為464),用python作圖如下:

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/22717.html

相關文章

  • swoole入門4-初識swoole

    摘要:當某種網絡事件發生時,會回調用戶設置的指定回調函數。承擔了底層網絡事件的監聽及各種底層事件處理,當收到請求時,會觸發事件提醒,然后將控制權轉交預先注冊的事件回調函數,來進行后續的處理。請求到來時創建,請求結束后銷毀。 運行流程圖 showImg(https://segmentfault.com/img/remote/1460000017207791);showImg(https://s...

    forsigner 評論0 收藏0
  • php進程插入據(pcntl 學習筆記二)

    摘要:進程切換太多,影響了了效率應該是原因之一。當時,十萬條記錄,個進程插入總時間為單進程插入萬條數據,耗時秒,相對個進程插入萬記錄來說,耗時少些。而單進程插入萬條記錄,耗時,相對來說,是挺慢的了。 個人在虛擬機centos7,單核,1G內存 /** * 模擬并發請求,10萬次寫入數據庫 * 拆分為10個進程,每個進程處理一萬條插入 */ $total = 10000; $num ...

    CoyPan 評論0 收藏0
  • 深入了解SAPI

    摘要:將環境變量和標準輸入發送到子進程子進程完成處理后將標準輸出和錯誤信息從同一連接返回。當子進程關閉連接時,請求便告知處理完成。定義一個子進程最多處理的請求數,達到這個值,進程自動退出。 一、SAPI比較 1. SAPI 服務器應用程序編程接口,就是服務器與編程語言之間交互的接口。比如Linux命令行執行一段PHP代碼,其實是Linux shell通過PHP SAPI傳入一組參數,zend...

    CoderBear 評論0 收藏0

發表評論

0條評論

ivyzhang

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<