2017安防云計(jì)算核心技術(shù)探討

TalkingData 發(fā)布于2019-04-28 19:29 / 2770人閱讀

摘要：實(shí)時(shí)檢索技術(shù)通過(guò)引入分布式數(shù)據(jù)庫(kù)，列式存儲(chǔ)，內(nèi)存計(jì)算，索引引擎等技術(shù)，能應(yīng)對(duì)億級(jí)別的結(jié)構(gòu)化數(shù)據(jù)，在存儲(chǔ)容量，可擴(kuò)展性，檢索速度等多個(gè)方面都可以得到大幅提升。

云計(jì)算技術(shù)以大系統(tǒng)、大數(shù)據(jù)為最顯著的特征，而安防行業(yè)是一個(gè)非常典型的大數(shù)據(jù)應(yīng)用場(chǎng)景，安防行業(yè)中的卡口監(jiān)控系統(tǒng)、視頻監(jiān)控系統(tǒng)由大量的設(shè)備組成（包括大量的前端采集設(shè)備、后端平臺(tái)和云計(jì)算服務(wù)器集群等），每天產(chǎn)生呈幾何級(jí)增長(zhǎng)的數(shù)據(jù)，隨著智慧城市大型項(xiàng)目的不斷成功落地，整個(gè)安防平臺(tái)呈現(xiàn)出數(shù)據(jù)量超大、數(shù)據(jù)類(lèi)型多樣、數(shù)據(jù)處理邏輯復(fù)雜、數(shù)據(jù)清洗、數(shù)據(jù)共享、數(shù)據(jù)挖掘難度高等處理難題，對(duì)安防廠商提出了巨大的挑戰(zhàn)。

其中主要表現(xiàn)在智能交通行業(yè)領(lǐng)域中海量的交通流信息和卡口過(guò)車(chē)抓拍圖片、智慧城市行業(yè)領(lǐng)域中的海量視頻錄像文件等非結(jié)構(gòu)化數(shù)據(jù)，安防行業(yè)的主要用戶(hù)公安、交警都有著需要對(duì)海量圖片和視頻文件進(jìn)行安全有效的數(shù)據(jù)存儲(chǔ)、高性能并行計(jì)算、智能化的數(shù)據(jù)分析挖掘后進(jìn)行實(shí)戰(zhàn)方面的強(qiáng)烈需求，這些都與云計(jì)算特性非常吻合。提供海量存儲(chǔ)的同時(shí)，如何快速有效的定位多維度數(shù)據(jù)，挖掘出各類(lèi)孤島數(shù)據(jù)在多維度的潛在關(guān)聯(lián)關(guān)系，一直是我們致力于解決的問(wèn)題。云計(jì)算、大數(shù)據(jù)等技術(shù)正在慢慢滲入安防行業(yè)，隨著這些技術(shù)的發(fā)展成熟，將對(duì)安防行業(yè)帶來(lái)革命性的影響。

大規(guī)模混合計(jì)算技術(shù)

監(jiān)控系統(tǒng)產(chǎn)生的大量視頻圖像數(shù)據(jù)如果只靠人工來(lái)進(jìn)行處理，效率會(huì)非常低，借助于視頻智能化處理算法，已經(jīng)可以從視頻圖像數(shù)據(jù)中獲取一些簡(jiǎn)單的特征進(jìn)行比對(duì)，或者進(jìn)行模式匹配產(chǎn)生報(bào)警事件，提高了處理的效率。這種方式能夠處理的數(shù)據(jù)量，數(shù)據(jù)組合的程度，數(shù)據(jù)的類(lèi)型等等都還處于較低的水平，無(wú)法應(yīng)對(duì)海量數(shù)據(jù)和日益增長(zhǎng)的需求。大規(guī)模計(jì)算技術(shù)的目的就是為了提供一種統(tǒng)一的數(shù)據(jù)處理平臺(tái)，上面可以集成各種智能化算法和計(jì)算模型，綜合處理海量監(jiān)控?cái)?shù)據(jù)，以更快的速度得到更有價(jià)值的數(shù)據(jù)。

統(tǒng)一資源管理技術(shù)

監(jiān)控系統(tǒng)產(chǎn)生的主要數(shù)據(jù)就是視頻和圖像數(shù)據(jù)，原始數(shù)據(jù)經(jīng)過(guò)處理后，會(huì)產(chǎn)生更豐富的數(shù)據(jù)，處理的方式也會(huì)有很大不同。比如對(duì)于歷史視頻數(shù)據(jù)可以在后臺(tái)處理的視頻數(shù)據(jù)檢索，對(duì)于卡口的車(chē)牌和人臉特征數(shù)據(jù)需要實(shí)時(shí)布控，對(duì)歷史卡口信息需要做到實(shí)時(shí)檢索。這些數(shù)據(jù)都需要不同的計(jì)算框架進(jìn)行處理，通過(guò)引入統(tǒng)一的資源管理平臺(tái)，可以在同一個(gè)資源池里運(yùn)行不同的計(jì)算框架，大幅提高資源的利用率，同時(shí)在資源被某種業(yè)務(wù)獨(dú)占時(shí)，又能最大限度的發(fā)揮系統(tǒng)的性能。

實(shí)時(shí)檢索技術(shù)

傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)都采用關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行保存，通過(guò)RAC等技術(shù)形成數(shù)據(jù)庫(kù)集群，通過(guò)索引方式進(jìn)行加速，但是核心還是基于行存儲(chǔ)和關(guān)系運(yùn)算，面對(duì)海量記錄時(shí)在各個(gè)方面都已經(jīng)遇到了瓶頸。實(shí)時(shí)檢索技術(shù)通過(guò)引入分布式數(shù)據(jù)庫(kù)，列式存儲(chǔ)，內(nèi)存計(jì)算，索引引擎等技術(shù)，能應(yīng)對(duì)100億級(jí)別的結(jié)構(gòu)化數(shù)據(jù)，在存儲(chǔ)容量，可擴(kuò)展性，檢索速度等多個(gè)方面都可以得到大幅提升。該系統(tǒng)在智能交通、刑事偵查等視頻監(jiān)控領(lǐng)域具備重要的研究?jī)r(jià)值和廣闊的應(yīng)用前景。

復(fù)雜事件處理技術(shù)

隨著安防行業(yè)的發(fā)展，業(yè)務(wù)變的也來(lái)越復(fù)雜，比如智能交通領(lǐng)域，出現(xiàn)了車(chē)輛積分研判、套牌車(chē)分析、同行車(chē)分析等需求。這些需求存在產(chǎn)生結(jié)果所依賴(lài)的條件多、處理過(guò)程實(shí)時(shí)性的要求高、需要處理的數(shù)據(jù)量巨大等特點(diǎn)。傳統(tǒng)的方式是采用關(guān)系數(shù)據(jù)庫(kù)，通過(guò)復(fù)雜的SQL語(yǔ)句組合，不斷查詢(xún)比對(duì)的方式，很難滿(mǎn)足實(shí)時(shí)性的要求。復(fù)雜事件處理通過(guò)引入流式計(jì)算等技術(shù)，動(dòng)態(tài)地對(duì)輸入數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析，處理速度可以大幅提供。不符合條件的數(shù)據(jù)都被丟棄掉，系統(tǒng)中只存在處理的結(jié)果或者可能有用的中間數(shù)據(jù)，這樣對(duì)存儲(chǔ)的要求也變小了，完全在內(nèi)存中進(jìn)行全過(guò)程的分析，實(shí)時(shí)性得到了保證。

人臉檢索技術(shù)

人臉檢索的技術(shù)在單臺(tái)服務(wù)器上的應(yīng)用已經(jīng)比較成熟，可以應(yīng)用在身份鑒別、在逃人員抓捕、可疑人員排查、身份證查重等領(lǐng)域。人臉檢測(cè)過(guò)程可以分為以下幾個(gè)階段：視頻或圖像解碼、人臉檢測(cè)、特征提取、特征比對(duì)，前三個(gè)步驟都是每次請(qǐng)求對(duì)應(yīng)一次計(jì)算，計(jì)算量相對(duì)可控，而最后一個(gè)步驟特征比每次請(qǐng)求則需要和達(dá)億級(jí)的人臉特征進(jìn)行比對(duì)，是運(yùn)算量最大的一個(gè)階段。

一些實(shí)時(shí)應(yīng)用的請(qǐng)求數(shù)每秒鐘可達(dá)請(qǐng)求數(shù)達(dá)到數(shù)百次，每次人臉比對(duì)次數(shù)可達(dá)百萬(wàn)級(jí)別時(shí)，則整個(gè)系統(tǒng)需要支持每秒億級(jí)的人臉特征比對(duì)計(jì)算。如此大規(guī)模的計(jì)算，單機(jī)上是無(wú)法完成的，必須采用集群完成。特征庫(kù)本身規(guī)模不大，但是比對(duì)次數(shù)很大，屬于典型的計(jì)算密集型集群，特征庫(kù)可以全部倒入到內(nèi)存，在內(nèi)存中完成計(jì)算。