摘要：摘要近日，阿里云宣布高性能時(shí)間序列數(shù)據(jù)庫(kù)簡(jiǎn)稱(chēng)正式商業(yè)化。對(duì)于物聯(lián)網(wǎng)平臺(tái)企業(yè)可以利用和阿里云的產(chǎn)品能力基于如下的架構(gòu)構(gòu)建云上的物聯(lián)網(wǎng)平臺(tái)。商業(yè)化首發(fā)期間，官網(wǎng)推出折優(yōu)惠活動(dòng)。

摘要： 近日，阿里云宣布高性能時(shí)間序列數(shù)據(jù)庫(kù) (High-Performance Time Series Database , 簡(jiǎn)稱(chēng) HiTSDB) 正式商業(yè)化。

近日，阿里云宣布高性能時(shí)間序列數(shù)據(jù)庫(kù) (High-Performance Time Series Database , 簡(jiǎn)稱(chēng) HiTSDB) 正式商業(yè)化。

先跟大家聊一下什么叫時(shí)序數(shù)據(jù)。簡(jiǎn)單的說(shuō)，就是時(shí)間上分布的一系列數(shù)值，關(guān)鍵字是數(shù)值，我們一般認(rèn)為的時(shí)序數(shù)據(jù)是什么時(shí)間發(fā)生了什么事情，但是在時(shí)序數(shù)據(jù)這個(gè)領(lǐng)域里定義的時(shí)序數(shù)據(jù)全都是跟數(shù)值有關(guān)的。也就是說(shuō)，如果只是一個(gè)帶有時(shí)間戳的一條數(shù)據(jù)并不能叫做時(shí)序數(shù)據(jù)。舉個(gè)例子，比如像我早上8點(diǎn)半上樓吃了個(gè)飯這條記錄，相當(dāng)于一個(gè)日志，這個(gè)本身不構(gòu)成一個(gè)時(shí)序數(shù)據(jù)，但是如果某個(gè)餐廳早上8點(diǎn)半同時(shí)有50個(gè)人在那里吃飯，這個(gè)50加上餐廳的信息再加這個(gè)時(shí)間點(diǎn)就構(gòu)成了一個(gè)時(shí)序數(shù)據(jù)。

單值與多值建模

實(shí)際上通用的建模方式有兩種，其中的一種是單值。實(shí)際上我們是針對(duì)不同的東西來(lái)建模的，多值的模型是針對(duì)數(shù)據(jù)源建模，我們每一行數(shù)據(jù)針對(duì)的是一個(gè)數(shù)據(jù)源，它的三個(gè)被測(cè)量的指標(biāo)在同一列上，所以每一個(gè)數(shù)據(jù)源，數(shù)據(jù)的來(lái)源在每一個(gè)時(shí)間點(diǎn)上都有一行，這就是多值的模型。

還有一種模型是單值的模型，單值的模型我們是把它測(cè)量的精確到時(shí)間序列上，也就在時(shí)間序列的每個(gè)時(shí)間點(diǎn)上只有一個(gè)值，所以是個(gè)單值，也就是說(shuō)對(duì)于多值模型來(lái)說(shuō)它每一行數(shù)據(jù)對(duì)應(yīng)的是一個(gè)數(shù)據(jù)源，對(duì)于單值模型來(lái)說(shuō)它對(duì)應(yīng)的是一個(gè)時(shí)間序列，實(shí)際上多值模型對(duì)應(yīng)的是一個(gè)數(shù)據(jù)源在一個(gè)時(shí)間點(diǎn)上就會(huì)產(chǎn)生一行數(shù)據(jù)，而在單值模型里一個(gè)數(shù)據(jù)源上面的每一個(gè)指標(biāo)會(huì)產(chǎn)生一行數(shù)據(jù)。

什么是插值和降精度？

如上前面所講，時(shí)間序列會(huì)分布在一些時(shí)間線上，數(shù)據(jù)源和測(cè)量指標(biāo)確定了的話，時(shí)間序列是隨著時(shí)間軸往后分布的，實(shí)際上它的采樣在一個(gè)典型的場(chǎng)景里是固定時(shí)間間隔的，它中間一些點(diǎn)做處理會(huì)牽扯到插值和降精度處理。比如說(shuō)中間丟失了一個(gè)點(diǎn)，比較簡(jiǎn)單的方法是中間插一個(gè)值，常用的方法是線性插值，就是在時(shí)間軸上畫(huà)一個(gè)直線中間的點(diǎn)就插出來(lái)了。

另一個(gè)叫降精度，例如我們有個(gè)按秒采樣的時(shí)間序列，顯示時(shí)間范圍是一年的數(shù)據(jù)，為了便于查看，需要把時(shí)間精度降到一天。比如我們只選這一天中的最大值或者最小值或者平均值，作為這一天的氣溫，也就是最高氣溫，最低氣溫和平均氣溫的概念。用算法或者把時(shí)序數(shù)據(jù)轉(zhuǎn)換成精度比較低的時(shí)間序列以便于觀察和理解它，這是在傳統(tǒng)數(shù)據(jù)庫(kù)里沒(méi)有的一種方式。

再一個(gè)就是數(shù)據(jù)聚合，也是非常典型的基于設(shè)備的數(shù)據(jù)統(tǒng)計(jì)，比如這里有很多設(shè)備指標(biāo)數(shù)據(jù)構(gòu)成的時(shí)間線，時(shí)序數(shù)據(jù)的聚合是在時(shí)間線的維度上的，而不是按點(diǎn)的，在處理平時(shí)處理的空間聚合的話，一般是把很多數(shù)據(jù)點(diǎn)按照一個(gè)個(gè)聚合起來(lái)，而實(shí)際數(shù)據(jù)處理的時(shí)候一般會(huì)把它抽象的點(diǎn)連成線就是剛才看的時(shí)間序列，每個(gè)數(shù)據(jù)源在一個(gè)測(cè)量值上會(huì)產(chǎn)生一行時(shí)間線，加上時(shí)間序列，如果是根據(jù)某一個(gè)維度上的測(cè)量的話，在同一維度就能調(diào)成線就把時(shí)間序列處理出來(lái)了。

舉個(gè)例子， 智慧園區(qū)的業(yè)務(wù)系統(tǒng)需要查看一個(gè)樓宇的某盞燈的耗電量情況，那么就需要把這盞燈的耗電量數(shù)據(jù)從數(shù)據(jù)庫(kù)中查詢(xún)并展示出來(lái)，如果由于采集的故障導(dǎo)致某個(gè)時(shí)刻用電量數(shù)據(jù)缺失，那么需要通過(guò)特定算法來(lái)近似的估算出這個(gè)數(shù)據(jù)，這個(gè)計(jì)算補(bǔ)全數(shù)據(jù)的過(guò)程就是“插值”。而當(dāng)需要查看這盞燈一年的耗電趨勢(shì)情況時(shí)，通常只需要計(jì)算出每一天的耗電量，進(jìn)行查看，而不需要把每一個(gè)時(shí)刻采集的數(shù)據(jù)全部輸出出來(lái)，這個(gè)將原始精度轉(zhuǎn)化為業(yè)務(wù)需求精度的過(guò)程就是“降精度”。而如果要統(tǒng)計(jì)某一個(gè)樓層或者樓宇的用耗電量整體趨勢(shì)數(shù)據(jù)時(shí)，就需要將所有統(tǒng)計(jì)范圍內(nèi)的燈具的耗電量數(shù)據(jù)做“合并統(tǒng)計(jì)”，這個(gè)類(lèi)似的統(tǒng)計(jì)過(guò)程就是Aggregation。

時(shí)序數(shù)據(jù)降精度是在時(shí)間序列維度上做的。對(duì)于關(guān)系數(shù)據(jù)庫(kù)來(lái)說(shuō)，首先要把時(shí)間序列維度拿出來(lái)，然后在中間插值，而實(shí)際上 SQL 是按點(diǎn)來(lái)操作的。所以如果要做降精度的話，需要用一個(gè)值查詢(xún)把整條時(shí)間序列上的數(shù)據(jù)查詢(xún)出來(lái)，插好值之后才能做時(shí)間序列之間的聚合，那么服務(wù)和 SQL 服務(wù)器之間的吞吐量非常大，相當(dāng)于 SQL 只是一個(gè)數(shù)據(jù)通道需要把所有值都拉出來(lái)運(yùn)算一遍，這個(gè)查詢(xún)性能會(huì)非常慢，并且每一次計(jì)算都需要重新拉取數(shù)據(jù)，相對(duì) HiTSDB，這個(gè)性就能差了幾百倍，在空間聚合 Aggregator 支持也非常全面，支持 ADhoc 查詢(xún)，HiTSDB 通過(guò)引入倒排索引和數(shù)據(jù)分片提升檢索時(shí)間序列的效率，通過(guò)并行計(jì)算架構(gòu)，整體計(jì)算性能提升非常明顯。

HiTSDB高壓縮技術(shù) 存儲(chǔ)成本降低90%

物聯(lián)網(wǎng)領(lǐng)域是最典型的時(shí)序數(shù)據(jù)產(chǎn)生和應(yīng)用的場(chǎng)景，這些場(chǎng)景具備一些特征，技術(shù)數(shù)據(jù)量特別大，比如某個(gè)智能設(shè)備的溫度傳感器，首先第一是時(shí)間序列會(huì)持續(xù)的產(chǎn)生大量的數(shù)據(jù)，持續(xù)的產(chǎn)生什么意思呢？因?yàn)槲覀兺鶎?duì)時(shí)間序列來(lái)說(shuō)是定時(shí)采樣功能，如果每秒測(cè)量一次，一天是86400秒，如果24小時(shí)都要用，平均每一個(gè)傳感器儀表在一個(gè)時(shí)間點(diǎn)上產(chǎn)生一個(gè)數(shù)據(jù)點(diǎn)，一個(gè)儀表就產(chǎn)生86400個(gè)數(shù)據(jù)，如果把全國(guó)各個(gè)縣都布一個(gè)采樣點(diǎn)，那一天數(shù)據(jù)就上億了，實(shí)際上大家作為氣象采樣來(lái)說(shuō)每一個(gè)縣對(duì)應(yīng)一個(gè)溫度傳感器顯然有點(diǎn)不夠的，可能我們是每一個(gè)街道甚至每個(gè)小區(qū)都有這樣的傳感器，那么這個(gè)數(shù)據(jù)加起來(lái)實(shí)際上是一個(gè)非常驚人的數(shù)字。

利用HiTSDB 的高壓縮技術(shù)，相比較 OpenTSDB 提升10倍左右，通常原始時(shí)序數(shù)據(jù)的大小在 200-300 Byte，OpenTSDB 單數(shù)據(jù)點(diǎn)消耗約20 Byte，HiTSDB 單數(shù)據(jù)點(diǎn)消耗約 2Byte，通過(guò) HiTSDB 可以節(jié)約90%以上的數(shù)據(jù)庫(kù)存儲(chǔ)成本。

對(duì)于物聯(lián)網(wǎng)平臺(tái)企業(yè)可以利用HiTSDB 和阿里云的產(chǎn)品能力基于如下的架構(gòu)構(gòu)建云上的物聯(lián)網(wǎng)平臺(tái)。

HiTSDB 除了在云上提供高效的時(shí)序數(shù)據(jù)服務(wù)能力，企業(yè)可以也可以利用HiTSDB 結(jié)合阿里云工業(yè)大腦和城市大腦的大數(shù)據(jù)方案實(shí)現(xiàn)智能制造生產(chǎn)和智慧城市。 利用HiTSDB 的“邊緣+ 中心”的解決方案，可以滿足工業(yè)物聯(lián)網(wǎng)IoT尤其是電力能源行業(yè)的數(shù)據(jù)邊緣端本地存儲(chǔ)分析，逐級(jí)數(shù)據(jù)上報(bào) ，以及網(wǎng)絡(luò)不穩(wěn)態(tài)的數(shù)據(jù)數(shù)據(jù)穩(wěn)定上報(bào)和中心端的全局設(shè)備數(shù)據(jù)監(jiān)控分析，打通智慧大腦的數(shù)據(jù)通道。

HiTSDB商業(yè)化首發(fā)期間，官網(wǎng)推出85折優(yōu)惠活動(dòng)。更多詳情點(diǎn)擊【HiTSDB官方網(wǎng)站】

原文鏈接

閱讀更多干貨好文，請(qǐng)關(guān)注掃描以下二維碼：