swoole+Mixphp+CodeIgniter開發失蹤兒童信息平臺

jasperyang 發布于2019-06-28 18:48 / 1089人閱讀

摘要：寫基于和開發的失蹤兒童信息平臺。團圓系統的全稱應該是公安部兒童失蹤信息緊急發布平臺，在新浪微博上有一個官方的微博賬號，通過這個微博賬號發布兒童失蹤信息。

這是我在sf上的第一篇文章。寫基于swoole、Mixphp和CodeIgniter開發的失蹤兒童信息平臺。

在2017年的時候，關注到有一個“團圓系統”，它是公安部專門為了快速擴散失蹤兒童消息的平臺，但是網上并沒有找到這個平臺的地址。當然，偶然在淘寶平臺上找到一個接口，這個接口可以取得失蹤兒童的數據，后來這個接口提示不能訪問了。那么如果我想去做這樣的一個失蹤兒童信息平臺的話，就要從另外的地方獲取數據了。

團圓系統的全稱應該是公安部兒童失蹤信息緊急發布平臺，在新浪微博上有一個官方的微博賬號，通過這個微博賬號發布兒童失蹤信息。因此在實現“失蹤兒童信息平臺”的第一步就是從微博上去獲取數據，并且這個獲取數據的程序最后能在后臺程序自動運行，這樣就不用人工干預了。

從微博頁面抓取數據

我對php語言要熟悉一些，因此在打算自己動手實現這個想法的時候，就選擇了php，另外之前也關注到swoole，swoole拓展了PHPer的能力范圍，不再局限于Web開發。進而找了一個比較容易上手的基于swoole的框架MixPHP，因此，在從微博上抓取數據的程序是基于Mixphp寫的,工程結構如下：

在apps/daemon/commands目錄下新建一個控制器IndexController.php，控制器部分代碼如下：

processName}" is running, PID : {$pid}." . PHP_EOL;
        }
        // 啟動提示
        echo "mix-daemon "{$this->processName}" start successed." . PHP_EOL;
        // 蛻變為守護進程
        if ($this->d) {
            Process::daemon();
        }
        // 寫入 PID 文件
        Process::writePid(self::PID_FILE);
        // 修改進程名稱
        Process::setName("mix-daemon: {$this->processName}");
        // 開始工作
        $this->startWork();
    }
    public function startWork()
    {
        try {
            while (true) {

                //實時采集一次
                $sql = "select `itemid` from items where status=:status";
                $rows = mix::app()->rdb->createCommand($sql)->bindParams([
                    "status" => "失蹤"
                ])->queryAll();
                if (!empty($rows)) {
                    foreach ($rows as $row) {
                        //采集一次失蹤的，
                        $this->actionDetail($row["itemid"]);
                        sleep(5);
                        //再增量采集一次
                        $this->actionIncrementOnce();
                    }
                }
            }
        } catch (Exception $e) {
            Mix::app()->error->exception($e);
            sleep(10); // 休息一會，避免 cpu 出現 100%
            $this->startWork();
        }
    }
    }

哦，需要提醒的是，Mixphp需要一些準備條件，在官方文檔中寫的非常詳細。安裝好Mixphp之后就可以直接運行上面的后臺程序，命令如：

./mix-daemon index/start -d

-d 表示這個進程將在后臺運行。
數據的抓取分為幾個部分，

批量抓取，在程序第一次運行時會給定一些url進行批量初始化抓取

增量抓取，會根據抓取回來的頁面內容分析新的url，再進行抓取新的url

補充抓取，意思是部分兒童的狀態為失蹤，隔一段時間之后找回來了，那么狀態也會發生變化，因此要對這些url進行補充抓取。

前臺展示頁面

前臺展示，相當于做一個網站，使用的是CodeIgniter框架，這個框架用來做網站，很方便，因此我也一直在用。
整個網站只顯示那些仍然處于失蹤狀態的兒童的信息。頁面的效果大致是這樣的：

另外一個就是發微博

我在微博開發平臺注冊了一個應用，可以調用微博的api，因此在數據抓取的程序里，在數據存到數據庫中的同時會發一條微博。調用的是share接口。使用微博的api的過程是這樣的，先使用oauth獲取到access_token,另外從微博開發平臺找到key和secret，部分代碼如下：

$c = new SaeTClientV2(WB_AKEY, WB_SKEY, $access_token);
$sus = mix::app()->rdb->insert("items", $dataArray)->execute();
$insertId = Mix::app()->rdb->getLastInsertId();
$affectedRowss = Mix::app()->rdb->getRowCount();
if ($affectedRowss > 0) {
    $texts = "" . $dataArray["name"] . "," . $dataArray["agesex"] . "," . mb_substr($dataArray["detail"], 0, 110, "utf-8") . "..." . "如有線索，請迅速與警方聯系:" . $dataArray["policetel"] . "http://www.anman.org/index/baobei/" . $containerid;
    if ($weibopic) {
        $weibopic = $this->get_img($weibopic, mix::app()->getRuntimePath());
    }
    $weiboRep = $c->share($texts, $weibopic);
    if (isset($weiboRep["id"])){
        $sinaweibos = array("itemid"=>$containerid,"weiboid"=>$weiboRep["id"]);
        mix::app()->rdb->insert("sinaweibos",$sinaweibos)->execute();
    }
    if ($weibopic){
        unlink($weibopic);
    }
    echo date("Y-m-d H:i:s") . " " . $containerid . "微博發送成功！" . PHP_EOL;
    echo date("Y-m-d H:i:s") . " " . $containerid . "插入數據操作成功" . PHP_EOL;
    mix::app()->log->info(date("Y-m-d H:i:s") . " " . $containerid . "插入數據操作成功");
} else {
    mix::app()->log->error(date("Y-m-d H:i:s") . " " . $containerid . "插入操作出錯");
}

微博的效果如下：

總結一下：

整個實現過程中使用到了swoole,codeigniter框架，微博開發平臺，mysql。
后臺程序從微博中抓取數據到本地，然后根據規則通過微博api在發送微博。
有一個專門的網站去展示這些信息。
后面我打算試著去對這些數據做一些分析。

云服務器 GPU云服務器 MixPHP CodeIgniter codeigniter框架 codeigniter數據庫類

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/28677.html

我為什么要開發一個 MixPHP 框架

摘要：異步隊列消費者開發只提供了模式下運行控制器方法，并未提供主進程多子進程的進程模型，并未提供多線程處理。多線程異步隊列服務只需寫好控制器方法，然后在配置文件中配置下路由命名空間進程線程數量，就可在模式中啟動多進程多線程模型的異步隊列處理程序。最近業余時間一直在開發ExpressPHP的第二個版本 MixPHP，今天下班想起之前一個面試官的問題：你為什么還要再造一個輪子呢？仔細回想，第一...

SnaiLiu 2019-06-28 14:14 評論0 收藏0
MixPHP/Yii/CodeIgniter 并發壓力測試

摘要：由于是基于的傳統框架，如果使用的正常部署方式來對比，顯得有些不公平，由于同時支持在中運行，所以此次測試的是部署在之中。你也來測試一下吧， MixPHP 是一個基于 Swoole 的高性能框架，CodeIgniter 是一個元老級的輕量級框架，Yii 是一個非常流行的框架，以下是三個框架的對比。由于 Yii/CodeIgniter 是基于 Apache/PHP-FPM 的傳統框架，如果...

ashe 2019-07-01 12:25 評論0 收藏0
MixPHP：基于 Swoole 的常駐內存型 PHP 框架

摘要：框架最新源代碼行數行，因此可以很容易的改造它，成為你們公司的專屬框架。也不同于其他基于的微服務框架，只聚焦于微服務治理，定位于開發的更多領域，覆蓋從初創到億元級體量的技術訴求。的授權全靠用戶自愿購買，詳情 MixPHP是什么 MixPHP 是秉承普及 PHP 常駐內存型解決方案，促進 PHP 往更后端發展的理念而創造，采用 Swoole 擴展作為底層引擎，圍繞常駐內存的方式而設計，...

王晗 2019-07-01 12:25 評論0 收藏0
MixPHP 環境搭建之 Apache + PHP

摘要：在多種環境中遷移，代碼無需修改，是無縫遷移的。由于大部分用戶開發是在中進行，因此開發階段我們推薦使用部署方案，因為更簡單快速，下面整體演示一下的環境搭建。安裝解壓至指定安裝目錄。先不要啟動，這會啟動會報錯，沒加環境變量。 MixPHP 是一款基于 Swoole 的常駐內存型 PHP 高性能框架。 MixPHP 同時支持多種環境中執行： Nginx + mix-httpd （使用到 S...

Barrior 2019-07-24 10:44 評論0 收藏0
MixPHP 環境搭建之 Apache + PHP

摘要：在多種環境中遷移，代碼無需修改，是無縫遷移的。由于大部分用戶開發是在中進行，因此開發階段我們推薦使用部署方案，因為更簡單快速，下面整體演示一下的環境搭建。安裝解壓至指定安裝目錄。先不要啟動，這會啟動會報錯，沒加環境變量。 MixPHP 是一款基于 Swoole 的常駐內存型 PHP 高性能框架。 MixPHP 同時支持多種環境中執行： Nginx + mix-httpd （使用到 S...

microelec 2019-06-28 18:32 評論0 收藏0