由于云和物聯(lián)網技術,很多曾經的部署配置問題都不再是一個問題。
數(shù)據(jù)工程:一大難題
另外一個仍未消失的難題是:如何處理這些傳感器收集到的數(shù)據(jù)。這個問題不僅僅是由于數(shù)據(jù)的數(shù)量,而是在于數(shù)據(jù)分析是一門多學科交叉的科學。
這里,我們給出了一個數(shù)據(jù)流動的初始想法。大部分情況下,物聯(lián)網數(shù)據(jù)是從傳感器流向一個巨大的數(shù)據(jù)湖。接著,數(shù)據(jù)湖內會進行一些處理及蒸餾過程,高價值的數(shù)據(jù)會被移動到企業(yè)數(shù)據(jù)庫內。
下一個步驟則是數(shù)據(jù)分離及結合步驟,這樣,可以實現(xiàn)自動化動作和分析模型。另外,每個不同物聯(lián)網應用可能需要使用不同類型的數(shù)據(jù)分析引擎。
和單向數(shù)據(jù)流的數(shù)據(jù)倉庫不同的是,應用程序,尤其是分析引擎也有可能產生數(shù)據(jù)流動并流回到企業(yè)數(shù)據(jù)倉庫或者數(shù)據(jù)湖中。
另外,物聯(lián)網的數(shù)據(jù)架構也有不同的新特性:
1):物聯(lián)網數(shù)據(jù)實時處理的需求
2):數(shù)據(jù)湖存檔或刪改的需求
3):跨公司分享數(shù)據(jù)的需求
4):多數(shù)量、種類來源數(shù)據(jù)處理的需求
5):遍布世界的數(shù)據(jù)處理需求
6):大量移動數(shù)據(jù)的需求