資訊專欄INFORMATION COLUMN
摘要：近日，阿里云宣布高性能時間序列數據庫簡稱正式商業化。對于物聯網平臺企業可以利用和阿里云的產品能力基于如下的架構構建云上的物聯網平臺。
近日，阿里云宣布高性能時間序列數據庫 (High-Performance Time Series Database , 簡稱 HiTSDB) 正式商業化。
先跟大家聊一下什么叫時序數據。簡單的說，就是時間上分布的一系列數值，關鍵字是數值，我們一般認為的時序數據是什么時間發生了什么事情，但是在時序數據這個領域里定義的時序數據全都是跟數值有關的。也就是說，如果只是一個帶有時間戳的一條數據并不能叫做時序數據。舉個例子，比如像我早上8點半上樓吃了個飯這條記錄，相當于一個日志，這個本身不構成一個時序數據，但是如果某個餐廳早上8點半同時有50個人在那里吃飯，這個50加上餐廳的信息再加這個時間點就構成了一個時序數據。
單值與多值建模實際上通用的建模方式有兩種，其中的一種是單值。實際上我們是針對不同的東西來建模的，多值的模型是針對數據源建模，我們每一行數據針對的是一個數據源，它的三個被測量的指標在同一列上，所以每一個數據源，數據的來源在每一個時間點上都有一行，這就是多值的模型。
還有一種模型是單值的模型，單值的模型我們是把它測量的精確到時間序列上，也就在時間序列的每個時間點上只有一個值，所以是個單值，也就是說對于多值模型來說它每一行數據對應的是一個數據源，對于單值模型來說它對應的是一個時間序列，實際上多值模型對應的是一個數據源在一個時間點上就會產生一行數據，而在單值模型里一個數據源上面的每一個指標會產生一行數據。
什么是插值和降精度？如上前面所講，時間序列會分布在一些時間線上，數據源和測量指標確定了的話，時間序列是隨著時間軸往后分布的，實際上它的采樣在一個典型的場景里是固定時間間隔的，它中間一些點做處理會牽扯到插值和降精度處理。比如說中間丟失了一個點，比較簡單的方法是中間插一個值，常用的方法是線性插值，就是在時間軸上畫一個直線中間的點就插出來了。
另一個叫降精度，例如我們有個按秒采樣的時間序列，顯示時間范圍是一年的數據，為了便于查看，需要把時間精度降到一天。比如我們只選這一天中的最大值或者最小值或者平均值，作為這一天的氣溫，也就是最高氣溫，最低氣溫和平均氣溫的概念。用算法或者把時序數據轉換成精度比較低的時間序列以便于觀察和理解它，這是在傳統數據庫里沒有的一種方式。
再一個就是數據聚合，也是非常典型的基于設備的數據統計，比如這里有很多設備指標數據構成的時間線，時序數據的聚合是在時間線的維度上的，而不是按點的，在處理平時處理的空間聚合的話，一般是把很多數據點按照一個個聚合起來，而實際數據處理的時候一般會把它抽象的點連成線就是剛才看的時間序列，每個數據源在一個測量值上會產生一行時間線，加上時間序列，如果是根據某一個維度上的測量的話，在同一維度就能調成線就把時間序列處理出來了。
舉個例子， 智慧園區的業務系統需要查看一個樓宇的某盞燈的耗電量情況，那么就需要把這盞燈的耗電量數據從數據庫中查詢并展示出來，如果由于采集的故障導致某個時刻用電量數據缺失，那么需要通過特定算法來近似的估算出這個數據，這個計算補全數據的過程就是“插值”。而當需要查看這盞燈一年的耗電趨勢情況時，通常只需要計算出每一天的耗電量，進行查看，而不需要把每一個時刻采集的數據全部輸出出來，這個將原始精度轉化為業務需求精度的過程就是“降精度”。而如果要統計某一個樓層或者樓宇的用耗電量整體趨勢數據時，就需要將所有統計范圍內的燈具的耗電量數據做“合并統計”，這個類似的統計過程就是Aggregation。
時序數據降精度是在時間序列維度上做的。對于關系數據庫來說，首先要把時間序列維度拿出來，然后在中間插值，而實際上 SQL 是按點來操作的。所以如果要做降精度的話，需要用一個值查詢把整條時間序列上的數據查詢出來，插好值之后才能做時間序列之間的聚合，那么服務和 SQL 服務器之間的吞吐量非常大，相當于 SQL 只是一個數據通道需要把所有值都拉出來運算一遍，這個查詢性能會非常慢，并且每一次計算都需要重新拉取數據，相對 HiTSDB，這個性就能差了幾百倍，在空間聚合 Aggregator 支持也非常全面，支持 ADhoc 查詢，HiTSDB 通過引入倒排索引和數據分片提升檢索時間序列的效率，通過并行計算架構，整體計算性能提升非常明顯。
HiTSDB高壓縮技術 存儲成本降低90%物聯網領域是最典型的時序數據產生和應用的場景，這些場景具備一些特征，技術數據量特別大，比如某個智能設備的溫度傳感器，首先第一是時間序列會持續的產生大量的數據，持續的產生什么意思呢？因為我們往往對時間序列來說是定時采樣功能，如果每秒測量一次，一天是86400秒，如果24小時都要用，平均每一個傳感器儀表在一個時間點上產生一個數據點，一個儀表就產生86400個數據，如果把全國各個縣都布一個采樣點，那一天數據就上億了，實際上大家作為氣象采樣來說每一個縣對應一個溫度傳感器顯然有點不夠的，可能我們是每一個街道甚至每個小區都有這樣的傳感器，那么這個數據加起來實際上是一個非常驚人的數字。
利用HiTSDB 的高壓縮技術，相比較 OpenTSDB 提升10倍左右，通常原始時序數據的大小在 200-300 Byte，OpenTSDB 單數據點消耗約20 Byte，HiTSDB 單數據點消耗約 2Byte，通過 HiTSDB 可以節約90%以上的數據庫存儲成本。
對于物聯網平臺企業可以利用HiTSDB 和阿里云的產品能力基于如下的架構構建云上的物聯網平臺。
HiTSDB 除了在云上提供高效的時序數據服務能力，企業可以也可以利用HiTSDB 結合阿里云工業大腦和城市大腦的大數據方案實現智能制造生產和智慧城市。 利用HiTSDB 的“邊緣+ 中心”的解決方案，可以滿足工業物聯網IoT尤其是電力能源行業的數據邊緣端本地存儲分析，逐級數據上報 ，以及網絡不穩態的數據數據穩定上報和中心端的全局設備數據監控分析，打通智慧大腦的數據通道。
原文鏈接
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/17699.html
摘要：摘要近日，阿里云宣布高性能時間序列數據庫簡稱正式商業化。對于物聯網平臺企業可以利用和阿里云的產品能力基于如下的架構構建云上的物聯網平臺。商業化首發期間，官網推出折優惠活動。 摘要： 近日，阿里云宣布高性能時間序列數據庫 (High-Performance Time Series Database , 簡稱 HiTSDB) 正式商業化。 近日，阿里云宣布高性能時間序列數據庫 (High-...
摘要：針對五大痛點阿里云推出套件伴隨著設備的增長，物聯網企業遇到的問題也越來越明顯。套件是阿里云專門為物聯網領域的開發人員推出的，目的是幫助開發者搭建安全性能強大的數據通道，方便終端如傳感器執行器嵌入式設備或智能家電等等和云端的雙向通信。 摘要： 阿里云針對物聯網企業遇到的5大痛點，提供了HiTSDB +IoT 套件的一體化解決方案，能夠支持物聯設備快速上云，高效設備管理，數據安全，低成本海...
摘要：近日，阿里云針對物聯網企業遇到的設備認證困難安全問題突出等問題，發布了套件的一體化解決方案，能夠支持物聯設備快速上云，高效設備管理，數據安全，低成本海量數據存儲，實時掌握設備狀態，快速發現數據價值等，可以讓更多物聯網企業快速擁抱云計算。 近日，阿里云針對物聯網企業遇到的設備認證困難、安全問題突出等問題，發布了HiTSDB +IoT 套件的一體化解決方案，能夠支持物聯設備快速上云，高效設...
閱讀 2683·2023-04-25 20:28
閱讀 1858·2021-11-22 09:34
閱讀 3693·2021-09-26 10:20
閱讀 1846·2021-09-22 16:05
閱讀 3090·2021-09-09 09:32
閱讀 2519·2021-08-31 09:40
閱讀 2103·2019-08-30 13:56
閱讀 3322·2019-08-29 17:01
