隨著社會的進步和信息通信技術的發(fā)展,信息系統在各行業(yè)、各領域快速拓展。這些系統采集、處理、積累的數據越來越多,數據量增速越來越快,以至用“海量、爆炸性增長”等詞匯已無法形容數據的增長速度。
2011年5月,全球知名咨詢公司麥肯錫全球研究院發(fā)布了一份題為《大數據:創(chuàng)新、競爭和生產力的下一個新領域》的報告。報告中指出,數據已經滲透到每一個行業(yè)和業(yè)務職能領域,逐漸成為重要的生產因素;而人們對于大數據的運用預示著新一波生產率增長和消費者盈余浪潮的到來。2012年3月29 日,美國政府在白宮網站上發(fā)布了《大數據研究和發(fā)展倡議》,表示將投資2億美元啟動“大數據研究和發(fā)展計劃”,增強從大數據中分析萃取信息的能力。
什么是大數據?
“大數據”到底有多大?根據研究機構統計,僅在2011年,全球數據增量就達到了1.8ZB(即1.8萬億GB),相當于全世界每個人產生200GB以上的數據。這種增長趨勢仍在加速,據保守預計,接下來幾年中,數據將始終保持每年50%的增長速度。
縱觀人類歷史,每一次劃時代的變革都是以新工具的出現和應用為標志的。蒸汽機把人們從農業(yè)時代帶入了工業(yè)時代,計算機和互聯網把人們從工業(yè)時代帶入了信息時代,而如今大數據時代已經到來,它源自信息時代,又是信息時代全方位的深化應用與延伸。大數據時代的生產原材料是數據,生產工具則是大數據技術,是對信息時代所產生的海量數據的挖掘和分析,從而快速地獲取有價值信息的技術和應用。
概括來講,大數據有三個特征,可總結歸納為“3V”,即量 (Volume)、類(Variety)、時(Velocity)。量,數據容量大,現在數據單位已經躍升至ZB級別。類,數據種類多,主要來自業(yè)務系統,例如社交網絡、電子商務和物聯網應用。時,處理速度快,時效性要求高,從傳統的事務性數據到實時或準實時數據。
數據挖掘,又稱為知識發(fā)現(Knowledge Discovery),是通過分析每個數據,從大量數據中尋找其規(guī)律的技術。知識發(fā)現過程通常由數據準備、規(guī)律尋找和規(guī)律表示3個階段組成。數據準備是從數據中心存儲的數據中選取所需數據并整合成用于數據挖掘的數據集;規(guī)律尋找是用某種方法將數據集所含規(guī)律找出來;規(guī)律表示則是盡可能以用戶可理解的方式 (如可視化)將找出的規(guī)律表示出來。
“數據海量、信息缺乏”是相當多企業(yè)在數據大集中之后面臨的尷尬問題。目前,大多數事物型數據庫僅實現了數據錄入、查詢和統計等較低層次的功能,無法發(fā)現數據中存在的有用信息,更無法進一步通過數據分析發(fā)現更高的價值。如果能夠對這些數據進行分析,探尋其數據模式及特征,進而發(fā)現某個客戶、群體或組織的興趣和行為規(guī)律,專業(yè)人員就可以預測到未來可能發(fā)生的變化趨勢。這樣的數據挖掘過程,將極大拓展企業(yè)核心競爭力。例如,在網上購物時遇到的提示 “瀏覽了該商品的人還瀏覽了如下商品”,就是在對大量的購買者“行為軌跡”數據進行記錄和挖掘分析的基礎上,捕捉總結購買者共性習慣行為,并針對性地利用每一次購買機會而推出的銷售策略。
數據挖掘在供電企業(yè)的應用前景
在電力行業(yè),堅強智能電網的迅速發(fā)展使信息通信技術正以前所未有的廣度、深度與電網生產、企業(yè)管理快速融合,信息通信系統已經成為智能電網的 “中樞神經”,支撐新一代電網生產和管理發(fā)展。目前,國家電網公司已初步建成了國內領先、國際一流的信息集成平臺。隨著三地集中式數據中心的陸續(xù)投運,一級部署業(yè)務應用范圍的拓展,結構化和非結構化數據中心的上線運行,電網業(yè)務數據從總量和種類上都已初具規(guī)模。隨著后續(xù)智能電表的逐步普及,電網業(yè)務數據將從時效性層面進一步豐富和拓展。大數據的 “量類時”特性,已在海量、實時的電網業(yè)務數據中進一步凸顯,電力大數據分析迫在眉睫。當前,電網業(yè)務數據大致分為三類:一是電力企業(yè)生產數據,如發(fā)電量、電壓穩(wěn)定性等方面的數據;二是電力企業(yè)運營數據,如交易電價、售電量、用電客戶等方面的數據;三是電力企業(yè)管理數據,如ERP、一體化平臺、協同辦公等方面的數據。如能充分利用這些基于電網實際的數據,對其進行深入分析,便可以提供大量的高附加值服務。這些增值服務將有利于電網安全檢測與控制(包括大災難預警與處理、供電與電力調度決策支持和更準確的用電量預測),客戶用電行為分析與客戶細分,電力企業(yè)精細化運營管理等等,實現更科學的需求側管理。
例如,在電力營銷環(huán)節(jié),針對“大營銷”體系建設,以客戶和市場為導向,省級集中的95598客戶服務、計量檢定配送業(yè)務屬地化管理的營銷管理體系和24小時面向客戶的營銷服務系統,可通過數據分析改善服務模式,提高營銷能力和服務質量;以分析型數據為基礎,優(yōu)化現有營銷組織模式,科學配置計量、收費和服務資源,構建營銷稽查數據監(jiān)控分析模型;建立各種針對營銷的系統性算法模型庫,發(fā)現數據中存在的隱藏關系,為各級決策者提供多維的、直觀的、全面的、深入的分析預測性數據,進而主動把握市場動態(tài),采取適當的營銷策略,獲得更大的企業(yè)效益,更好地服務于社會和經濟發(fā)展。此外,還可以考慮在電力生產環(huán)節(jié),利用數據挖掘技術,在線計算輸送功率極限,并考慮電壓等因素對功率極限的影響,從而合理設置系統輸出功率,有效平衡系統的安全性和經濟性。
公司具備非常好的從數據運維角度實現更大程度信息、知識發(fā)現的條件和基礎,完全可以立足數據運維服務,創(chuàng)造數據增值價值,提供并衍生多種服務。以數據中心為紐帶,新型數據運維的成果將有可能作為一種新的消費形態(tài)與交付方式,給客戶帶來全新的使用體驗,打破傳統業(yè)務系統間各自為陣的局面,進一步推動電網生產和企業(yè)管理,從數據運維角度對企業(yè)生產經營、管理以及堅強智能電網建設提供更有力、更長遠、更深入的支撐。