數據庫采集數據是實時的嗎(redis可以代替實時數據庫嗎？)

2023-01-17

3277

請闡述數據實時計算的基本處理流程？第一步：收集大數據的收集是指使用多個數據庫從客戶端(Web、App或傳感器等)接收數據。)，用戶可以通過這些數據庫進行簡單的查詢和處理。在采集大數據的過程中，其主要特

第一步：收集

大數據的收集是指使用多個數據庫從客戶端(Web、App或傳感器等)接收數據。)，用戶可以通過這些數據庫進行簡單的查詢和處理。在采集大數據的過程中，其主要特點和挑戰是高并發，因為可能會有成千上萬的用戶同時訪問和操作，因此需要在采集端部署大量的數據庫來支撐。

步驟2:導入/預處理

雖然采集終端本身有很多數據庫，但是要想有效的分析這些海量數據，就要把這些數據從前端導入到一個集中式的大型分布式數據庫或者分布式存儲集群中，在導入的基礎上可以做一些簡單的清理和預處理。

導入和預處理過程的特點和挑戰主要是導入數據量大，往往達到每秒百兆甚至千兆的水平。

第三步：統計/分析

統計分析主要是利用分布式數據庫或分布式計算集群，對存儲在其中的海量數據進行分析歸類，以滿足大多數常見的分析需求。

統計與分析的主要特點和挑戰是分析涉及的數據量大，會占用大量的系統資源，尤其是I/O。

第四步：挖掘。

一般來說，數據挖掘沒有預設的主題，主要是基于各種算法對現有數據進行計算，從而達到預測的效果，滿足一些高層數據分析的需要。

這個過程的特點和挑戰是，用于挖掘的算法非常復雜，涉及的數據量和計算量非常大。常用的數據挖掘算法主要是單線程的。

實時數據采集是啥意思？我理解的就是時間和數據的對應，如表格一樣，一個時間對應一個數據這種的？

實時的意思是：你換，我就拿。

什么都沒有改變。我懶得動。一個時間對應一個數據，沒錯。

不包括對數據的檢查。

大數據采集方法包括：網絡爬蟲、開放數據庫、使用軟件接口、軟件機器人采集等。

1.網絡爬蟲(Web crawler):模擬客戶端的網絡請求并接收請求響應，按照一定的規則自動抓取萬維網上的信息的程序或腳本。

2.開放式數據庫：開放式數據庫方式可以直接從目標數據庫中獲取所需數據，準確率高，實時性有保證，是一種比較直接方便的方式。

3.使用軟件接口：一種常見的數據對接方式，通過軟件廠商開放數據接口，可以實現不同軟件數據的互聯。

4.軟件機器人收集：它可以從客戶端和網站收集軟件數據。

這取決于你如何使用這些數據。如果你收集了，只是緩存，然后接口從redis拉實時數據來顯示，那么用redis問題不大。redis每秒寫50萬個樣本應該沒問題。

但是實時數據庫不僅僅是數據緩存。如果需要采樣數據進行二次計算(比如將管道中的熱水流量轉化為熱能流量)并按時間順序保存為歷史數據(必要時可以從實時數據庫中查詢某個測點最近一周、一個月甚至一年的歷史數據)，那么就必須使用實時數據庫。

但是實時數據庫太貴了，近幾年興起的tsdb也是你可以考慮的一個選擇。用redis存儲實時數據，用tsdb存儲歷史數據，性價比相當高。