摘要:目的綜上所述,我的目標就是實現(xiàn)基于模式實現(xiàn)的多進程管理工具。備注下文中,父進程統(tǒng)稱為子進程統(tǒng)稱為。最后我們通過下圖來簡單的總結(jié)和描述這個多進程實現(xiàn)的過程控制上面實現(xiàn)了多進程和多進程的常駐內(nèi)存,那如何去管理呢答案多進程通信。
_ | | _ __ __ _ _ __ _ _| |_ ___ | "_ / _` | "__| | | | __/ _ | | | | (_| | | | |_| | || (_) | |_| |_|\__,_|_| \__,_|\__\___/ .TIGERB.cn An object-oriented multi process manager for PHP Version: 0.1.0業(yè)務場景
在我們實際的業(yè)務場景中(PHP技術(shù)棧),我們可能需要定時或者近乎實時的執(zhí)行一些業(yè)務邏輯,簡單的我們可以使用unix系統(tǒng)自帶的crontab實現(xiàn)定時任務,但是對于一些實時性要求比較高的業(yè)務就不適用了,所以我們就需要一個常駐內(nèi)存的任務管理工具,為了保證實時性,一方面我們讓它一直執(zhí)行任務(適當?shù)乃撸WCcpu不被100%占用),另一方面我們實現(xiàn)多進程保證并發(fā)的執(zhí)行任務。
目的綜上所述,我的目標就是:實現(xiàn)基于php-cli模式實現(xiàn)的master-worker多進程管理工具。其次,“我有這樣一個目標,我是怎樣一步步去分析、規(guī)劃和實現(xiàn)的”,這是本文的宗旨。
備注:下文中,父進程統(tǒng)稱為master,子進程統(tǒng)稱為worker。分析
我們把這一個大目標拆成多個小目標去逐個實現(xiàn),如下:
多進程
目的:一個master fork多個worker
現(xiàn)象:所有worker的ppid父進程ID為當前master的pid
master控制worker
目的:master通知worker,worker接收來自master的消息
master接收信號
目的:master接收并自定義處理來自終端的信號
多進程PHP fork進程的方法 pcntl_fork, 這個大家應該有所了解,如果不知道的簡單google/bing一下應該很容易找到這個函數(shù)。接著FTM, 我們看看pcntl_fork這個函數(shù)的使用方式大致如下:
$pid = pcntl_fork(); // pcntl_fork 的返回值是一個int值 // 如果$pid=-1 fork進程失敗 // 如果$pid=0 當前的上下文環(huán)境為worker // 如果$pid>0 當前的上下文環(huán)境為master,這個pid就是fork的worker的pid
接著看代碼:
$pid = pcntl_fork(); switch ($pid) { case -1: // fatal error 致命錯誤 所有進程crash掉 break; case 0: // worker context exit; // 這里exit掉,避免worker繼續(xù)執(zhí)行下面的代碼而造成一些問題 break; default: // master context pcntl_wait($status); // pcntl_wait會阻塞,例如直到一個子進程exit // 或者 pcntl_waitpid($pid, $status, WNOHANG); // WNOHANG:即使沒有子進程exit,也會立即返回 break; }
我們看到master有調(diào)用pcntl_wait或者pcntl_waitpid函數(shù),為什么呢?首先我們在這里得提到兩個概念,如下:
孤兒進程:父進程掛了,子進程被pid=1的init進程接管(wait/waitpid),直到子進程自身生命周期結(jié)束被系統(tǒng)回收資源和父進程采取相關(guān)的回收操作
僵尸進程:子進程exit退出,父進程沒有通過wait/waitpid獲取子進程狀態(tài),子進程占用的進程號等描述資源符還存在,產(chǎn)生危害:例如進程號是有限的,無法釋放進程號導致未來可能無進程號可用
所以,pcntl_wait或者pcntl_waitpid的目的就是防止worker成為僵尸進程(zombie process)。
除此之外我們還需要把我們的master掛起和worker掛起,我使用的的是while循環(huán),然后usleep(200000)防止CPU被100%占用。
最后我們通過下圖(1-1)來簡單的總結(jié)和描述這個多進程實現(xiàn)的過程:
master控制worker上面實現(xiàn)了多進程和多進程的常駐內(nèi)存,那master如何去管理worker呢?答案:多進程通信。話不多說google/bing一下,以下我列舉幾種方式:
命名管道: 感興趣
隊列: 個人感覺和業(yè)務中使用redis做消息隊列思路應該一致
共享內(nèi)存: 違背“不要通過共享內(nèi)存來通信,要通過通信來實現(xiàn)共享”原則
信號: 承載信息量少
套接字: 不熟悉
所以我選擇了“命名管道”的方式。我設(shè)計的通信流程大致如下:
step 1: 創(chuàng)建worker管道
step 2: master寫消息到worker管道
step 3: worker讀消息從worker管道
接著還是逐個擊破,當然話不多說還是google/bing一下。posix_mkfifo創(chuàng)建命名管道、fopen打開文件(管道以文件形式存在)、fread讀取管道、fclose關(guān)閉管道就呼嘯而出,哈哈,這樣我們就能很容易的實現(xiàn)我們上面的思路的了。接著說說我在這里遇到的問題:fopen阻塞了,導致業(yè)務代碼無法循環(huán)執(zhí)行,一想不對啊,平常fopen普通文件不存在阻塞行為,這時候二話不說FTM搜fopen,crtl+f頁面搜“block”,重點來了:
fopen() will block if the file to be opened is a fifo. This is true whether it"s opened in "r" or "w" mode. (See man 7 fifo: this is the correct, default behaviour; although Linux supports non-blocking fopen() of a fifo, PHP doesn"t).
翻譯下,大概意思就是“當使用fopen的r或者w模式打開一個fifo的文件,就會一直阻塞;盡管linux支持非阻塞的打開fifo,但是php不支持。”,得不到解決方案,不支持,感覺要放棄,一想這種場景應該不會不支持吧,再去看看posix_mkfifo,結(jié)果喜出望外:
The "r+" allows fopen to return immediately regardless of external writer channel.
結(jié)論使用“r+”,同時我們又知道了使用stream_set_blocking防止緊接著的fread阻塞。接著我們用下圖(1-2)來簡單的總結(jié)和描述這個master-worker通信的方式。
master接收信號最后我們需要解決的問題就是master怎么接受來自client的信號,google/bing結(jié)論:
master接收信號 -> pcntl_signal注冊對應信號的handler方法 -> pcntl_signal_dispatch() 派發(fā)信號到handler
如下圖(1-3)所示,
其他接著我們只要實現(xiàn)不同信號下master&worker的策略,例如worker的重啟等。這里需要注意的就是,當master接受到重啟的信號后,worker不要立即exit,而是等到worker的業(yè)務邏輯執(zhí)行完成了之后exit。具體的方式就是:
master接收reload信號 -> master把reload信號寫worker管道 -> worker讀取到reload信號 -> worker添加重啟標志位 -> worker執(zhí)行完業(yè)務邏輯后且檢測到重啟的標志位后exit建模
上面梳理完我們的實現(xiàn)方式后,接著我們就開始碼代碼了。碼代碼之前進行簡單的建模,如下:
進程管理類Manager
- attributes + master: master對象 + workers: worker進程對象池 + waitSignalProcessPool: 等待信號的worker池 + startNum: 啟動進程數(shù)量 + userPasswd: linux用戶密碼 + pipeDir: 管道存放路徑 + signalSupport: 支持的信號 + hangupLoopMicrotime: 掛起間隔睡眠時間 - method + welcome: 歡迎于 + configure: 初始化配置 + fork: forkworker方法 + execFork: 執(zhí)行forkworker方法 + defineSigHandler: 定義信號handler + registerSigHandler: 注冊信號handler + hangup: 掛起主進程
進程抽象類Process
- attributes + type: 進程類型 master/worker + pid: 進程ID + pipeName: 管道名稱 + pipeMode: 管道模式 + pipeDir: 管道存放路徑 + pipeNamePrefix: 管道名稱前綴 + pipePath: 管道生成路徑 + readPipeType: 讀取管道數(shù)據(jù)的字節(jié)數(shù) + workerExitFlag: 進程退出標志位 + signal: 當前接受到的信號 + hangupLoopMicrotime: 掛起間隔睡眠時間 - method + hangup: 掛起進程(抽象方法) + pipeMake: 創(chuàng)建管道 + pipeWrite: 寫管道 + pipeRead: 讀管道 + clearPipe: 清理管道文件 + stop: 進程exit
master實體類MasterProcess
- attributes + - method + hangup: 掛起進程
worker實體類MasterProcess
- attributes + - method + dispatchSig: 定義worker信號處理方式
最后我們需要做的就是優(yōu)雅的填充我們的代碼了。
最后項目地址 https://github.com/TIGERB/naruto
個人知識還有很多不足,如果有寫的不對的地方,希望大家及時指正。
THX~
掃面下方二維碼關(guān)注我的技術(shù)公眾號,及時為大家推送我的原創(chuàng)技術(shù)分享
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/26152.html
摘要:和內(nèi)容無關(guān)的主題什么是信號信號就是事件發(fā)生時,對進程的一種通知機制也叫軟件中斷。當一個進程收到信號后,內(nèi)核會暫停該進程正在執(zhí)行的代碼,并跳轉(zhuǎn)到對應的信號處理函數(shù)中,如果處理函數(shù)不中斷,執(zhí)行完處理函數(shù)后,會繼續(xù)執(zhí)行之前中斷的地方往下執(zhí)行。 今天晚上吃鹵煮,領(lǐng)桌的妹子問我,這玩意兒能吃么?我:你覺得能吃就能吃。。。和內(nèi)容無關(guān)的主題 什么是信號 信號就是事件發(fā)生時,對進程的一種通知機制(也叫...
摘要:異步隊列消費者開發(fā)只提供了模式下運行控制器方法,并未提供主進程多子進程的進程模型,并未提供多線程處理。多線程異步隊列服務只需寫好控制器方法,然后在配置文件中配置下路由命名空間進程線程數(shù)量,就可在模式中啟動多進程多線程模型的異步隊列處理程序。 最近業(yè)余時間一直在開發(fā)ExpressPHP的第二個版本 MixPHP,今天下班想起之前一個面試官的問題:你為什么還要再造一個輪子呢?仔細回想,第一...
摘要:第一次子進程正在休眠中,父進程依舊在循環(huán)中。第三次此時父進程已經(jīng)執(zhí)行了,將已經(jīng)退出的子進程回收,釋放了等資源。梳理一下流程,子進程向父進程發(fā)送信號是對人們來說是透明的,也就是說我們無須關(guān)心。 [原文地址:https://blog.ti-node.com/blog...] 上一篇尬聊了通篇的pcntl_wait()和pcntl_waitpid(),就是為了解決僵尸進程的問題,但最后看起來...
摘要:將開發(fā)環(huán)境和生產(chǎn)環(huán)境的差異降至最低,并使用持續(xù)交付實施敏捷開發(fā)??梢栽诠ぞ呒軜?gòu)和開發(fā)流程不發(fā)生明顯變化的前提下實現(xiàn)擴展。我們的初衷是分享在現(xiàn)代軟件開發(fā)過程中發(fā)現(xiàn)的一些系統(tǒng)性問題,并加深對這些問題的認識。 簡介 如今,軟件通常會作為一種服務來交付,它們被稱為網(wǎng)絡(luò)應用程序,或軟件即服務(SaaS)。12-Factor 為構(gòu)建如下的 SaaS 應用提供了方法論: 使用標準化流程自動配置,從...
閱讀 2985·2021-10-12 10:17
閱讀 1589·2021-09-01 11:38
閱讀 1081·2019-08-30 15:44
閱讀 3479·2019-08-26 18:36
閱讀 507·2019-08-26 13:25
閱讀 1884·2019-08-26 10:29
閱讀 2835·2019-08-23 15:58
閱讀 759·2019-08-23 12:59