摘要:本人前一遍中提到,當進程數過多時,多進程插入數據庫表,超過了最大連接數,就會報錯,插入就會有失敗的情況。這樣就可以控制有的連接數不會達到上限,程序不會出現連接數據庫失敗的情況。多進程耗內存比較嚴重,下一步打算用多線程來試試。
本人前一遍blog中提到,當進程數過多時,多進程插入mysql數據庫表,超過了mysql最大連接數,就會報錯,插入就會有失敗的情況。想通過進程間通信來控制一下連接數,參考了一些網上的blog
實現了一下,利用共享內存來存放mysql的連接數,當某個進程在獲取信號量后,嘗試去連接數據庫之前,先判斷一下,當前的連接數是否超過了預定的閾值,如果沒有,就連接數據庫,連接成功后,連接數加一,立馬釋放信號,等操作數據庫完畢后,進程再次阻塞,來獲取信號,然后把連接數減一,釋放信號量后,進程退出。
這樣就可以控制有mysql的連接數不會達到上限,程序不會出現連接數據庫失敗的情況。當然我可以直接少fork一些進程,本人就是覺得要折騰一下。不然進程通信就懵逼了。而且也不會有以下的問題出現。
但是本人實驗,fork一萬個子進程,虛擬機很容易就掛了。后來該為fork 5000個子進程,插入一百萬條數據,模擬的是最原始的插入。虛擬機雖然沒有崩, 但是很卡,期間會出現很多僵尸進程,這里有點疑問。
多進程耗內存比較嚴重,下一步打算用多線程來試試。
ps:要支持Semaphore函數,php在編譯安裝是要加上如下參數:
--enable-sysvsem --enable-sysvshm --enable-sysvmsg
為此,我還重新編譯了php。。。。蛋疼啊。代碼如下:
0) { //$id = pcntl_wait($status,WNOHANG); $child[] = $pid; } else if ($pid == 0) { while(true) { // 獲得信號量 sem_acquire($signal); $count = shm_get_var($shm_id, SHARE_KEY); if ($count >= $poolSize) { sem_release($signal); continue; } else { $link = mysqli_connect("localhost","root","root","yii2advanced"); if ($link) { $count++; shm_put_var($shm_id,SHARE_KEY,$count); sem_release($signal); $start = ($i-1)*$per + 1; $end = $start + $per; for($j = $start; $j< $end; $j++){ $time = microtime(true); $sql = "insert pcntl_test (rank,time) values (".$j.",".$time.")"; mysqli_query($link,$sql); } mysqli_close($link); break; } } sleep(1); } sem_acquire($signal); $count = shm_get_var($shm_id,SHARE_KEY); $count--; shm_put_var($shm_id, SHARE_KEY, $count); sem_release($signal); $id = getmypid(); $count++; echo "count : ".$count." child ".$id." finished ".microtime(true).PHP_EOL; exit(0); } } while(count($child)){ foreach($child as $k => $pid) { $res = pcntl_waitpid($pid, $status, WNOHANG); if ( -1 == $res || $res > 0) { unset($child[$k]); } } } $end = microtime(true); echo "end ".$end.PHP_EOL; echo "fork ".$num."process insert ".$total." recodes takes ".($end-$begin).PHP_EOL;
最后,我統計分析了一下5千個進程,一百萬條記錄,插入時,mysql的連接數情況(平均連接數為464),用python作圖如下:
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/22717.html
摘要:當某種網絡事件發生時,會回調用戶設置的指定回調函數。承擔了底層網絡事件的監聽及各種底層事件處理,當收到請求時,會觸發事件提醒,然后將控制權轉交預先注冊的事件回調函數,來進行后續的處理。請求到來時創建,請求結束后銷毀。 運行流程圖 showImg(https://segmentfault.com/img/remote/1460000017207791);showImg(https://s...
摘要:進程切換太多,影響了了效率應該是原因之一。當時,十萬條記錄,個進程插入總時間為單進程插入萬條數據,耗時秒,相對個進程插入萬記錄來說,耗時少些。而單進程插入萬條記錄,耗時,相對來說,是挺慢的了。 個人在虛擬機centos7,單核,1G內存 /** * 模擬并發請求,10萬次寫入數據庫 * 拆分為10個進程,每個進程處理一萬條插入 */ $total = 10000; $num ...
閱讀 3406·2021-11-24 09:39
閱讀 1797·2021-11-17 09:33
閱讀 3503·2021-10-12 10:12
閱讀 5019·2021-09-22 15:51
閱讀 1112·2019-08-30 13:11
閱讀 3571·2019-08-30 10:59
閱讀 564·2019-08-30 10:48
閱讀 1311·2019-08-26 13:48