您好,歡迎來到易龍商務網!
發布時間:2021-10-25 05:34  
【廣告】








BlueSky高性能時序數據庫技術/問題
趨勢方面了解完之后,我們細致地看看現在的時序數據庫有哪些特點、如何分類、有哪些技術。首先,我們從存儲架構角度,看看時序數據庫的分類情況。類就是是基于關系數據庫的時序數據庫,比如timescale。第二類就是基于KV的時序數據庫,比如OpenTSDB。第三類就是專門面向時序數據場景的原生時序數據庫,比如InfluxDB,Io和Tengine等。
BlueSky高性能時序數據庫時序數據庫有什么不一樣?
如今在萬物互聯(IoT)興起的推動下,時間序列數據(衡量事物隨時間變化的數據)應用和場景激增,是增長快的數據類型之一,比如監控指標數據,傳感器數據,日志,財務分析等等;時間序列數據具有特定的特征,例如通常以時間順序形式出現,數據只能附加,并且查詢總是在一個時間間隔內進行。雖然關系數據庫可以存儲這些數據,但是它們在處理這些數據時效率低下,因為它們缺乏優化,例如按時間間隔存儲和檢索數據。在這個時序數據庫項目列表頁有超 50種方案,比如 Apache Kudu/Cassandra,ClickHouse, Druid, EasticSearch, Hbase, InfluxDB,Prometheus,TimescaleDB,Amazon Redshift/Timestream(預覽),Google BigQuery,Facebook Scuba 等等;
BlueSky高性能時序數據庫關注的技術點在哪里?
快速聚合能力。時序業務一個通用的需求是聚合統計報表查詢,比如哨兵系統中需要查看近一天某個接口出現異常的總次數,或者某個接口執行的大耗時時間。這樣的聚合實際上就是簡單的count以及max,問題是如何能快速的在那么大的數據量的基礎上將滿足條件的原始數據查詢出來并聚合,要知道統計的原始值可能因為時間比較久遠而不在內存中哈,因此這可能是一個非常耗時的操作。目前業界比較成熟的方案是使用預聚合,就是在數據寫進來的時候就完成基本的聚合操作。
未來技術點:異常實時檢測、未來預測等等。異常實時監測主要用來監測實時異常點,比如服務器監控中對延遲響應慢的請求都會實時監控報警,再比如運動手環對心跳異常監測報警等;未來預測是另一個非常重要的領域,能夠預測未來是一個很有用的事情,試想,如果在交通堵塞前3分鐘預測到這個路段要堵并向發送報警,就可以一定程度上緩解交通堵塞的問題。而根據時間序列來預測未來時間會發生的事情是一件看起來水到渠成的事情,這里面會涉及到機器學習的相關知識。