世界著名未來學(xué)家托夫勒曾說改變這個世界的力量有三種暴力、知識、金錢,而如今我們的世界正在被第四種力量改變,那就是大數(shù)據(jù)!大數(shù)據(jù)不管應(yīng)用在哪個行業(yè)它的核心都是通過技術(shù)來獲知事情發(fā)展的真相,最終利用這個“真相”來更加合理的配置資源。
也許你不知道什么是大數(shù)據(jù),但是你一定發(fā)現(xiàn)了當(dāng)你打開常用的瀏覽器之后網(wǎng)頁上的推薦內(nèi)容很多都是你曾經(jīng)瀏覽過的,或者是你比較感興趣的,這就是大數(shù)據(jù)。前幾天某報紙有一篇文章說我們網(wǎng)購的假貨跟大數(shù)據(jù)有關(guān),所有的茅頭都指向了大數(shù)據(jù),覺得是大數(shù)據(jù)“出賣”了自己,據(jù)說我們的消費記錄,購買記錄,單價記錄,將作為發(fā)貨參考數(shù)據(jù)被系統(tǒng)識別,如果你一直都買低價位或者高仿的東西,發(fā)貨系統(tǒng)就會給你發(fā)假貨或者高仿。然而,真的是大數(shù)據(jù)的錯么?大數(shù)據(jù)莫名其妙就成了“背鍋俠”,或許你還沒有弄懂大數(shù)據(jù)的核心是什么。
具體來說,要實現(xiàn)大數(shù)據(jù)的核心價值,還需要前兩個重要的步驟,第一步是通過“眾包”的形式收集海量數(shù)據(jù),第二步是通過大數(shù)據(jù)的技術(shù)途徑進(jìn)行“全量數(shù)據(jù)挖掘”,最后利用分析結(jié)果進(jìn)行“資源優(yōu)化配置”。說白了,大數(shù)據(jù)最終的落地就是資源優(yōu)化配置。所以諸位剁手黨們此刻還飛奔在路上的假貨和大數(shù)據(jù)無關(guān)!大數(shù)據(jù)只是客觀的還原“真相”,幫用戶準(zhǔn)確進(jìn)行數(shù)據(jù)分析和消費定位而已,你買的假貨還真賴不到大數(shù)據(jù)頭上。
在當(dāng)下這個信息高速發(fā)展的時代,大數(shù)據(jù)已經(jīng)成為一個難以取代術(shù)語了。1980年,阿爾文托夫勒在《第三次浪潮》中預(yù)言了信息時代的到來會帶來數(shù)據(jù)爆發(fā),約翰梅西在1998年的美國高等計算機(jī)系統(tǒng)協(xié)會大會上首次提出“大數(shù)據(jù)(bigdata)”一詞。什么是大數(shù)據(jù)?這一概念目前尚未形成統(tǒng)一的定義。幾種代表性的觀點如下:麥肯錫認(rèn)為“大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”;維基百科認(rèn)為“大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集”;全球最具權(quán)威的IT研究與顧問咨詢公司——高德納公司認(rèn)為“大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)”。
大數(shù)據(jù)時代已經(jīng)來臨,它將在眾多領(lǐng)域掀起變革的巨浪,這是勿庸置疑的事實,在以云計算為代表的技術(shù)創(chuàng)新大幕的襯托下,這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了,通過各行各業(yè)的不斷創(chuàng)新,大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值,而對于電網(wǎng)企業(yè)來說,大數(shù)據(jù)的應(yīng)用同樣會促進(jìn)企業(yè)的跨越發(fā)展。在這些跨越式的發(fā)展中,我們能看到的大數(shù)據(jù)所帶來的好處,當(dāng)然也不乏缺點,讓我們一起走進(jìn)大數(shù)據(jù),看看大數(shù)據(jù)時代,帶給我們的是與不是有哪些?
大數(shù)據(jù)本質(zhì):是事物的時域、空域記錄,并非事物的描述數(shù)據(jù)
對于大數(shù)據(jù)的特點,IT界通常用Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)這4個V來概括。Volume,指數(shù)據(jù)體量巨大,從TB級別躍升到PB乃至EB級別;Variety,指數(shù)據(jù)類型繁多。除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù),大量非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)如網(wǎng)絡(luò)日志、音頻、視頻、圖片等;Value,指價值密度低,但大數(shù)據(jù)分析的價值高。價值密度的高低與數(shù)據(jù)總量的大小成反比,以視頻為例,一部一小時的視頻,在連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅只有一兩秒;Velocity,指變化速度快。大數(shù)據(jù)不僅量大,而且變化快,大數(shù)據(jù)的應(yīng)用依賴于對數(shù)據(jù)的快速處理。但在筆者看來,對大數(shù)據(jù)作4V特點的概括是現(xiàn)象而非本質(zhì)總結(jié)。
其實人類文明就是大數(shù)據(jù)的記錄與應(yīng)用積累,當(dāng)今社會進(jìn)入了信息時代,信息化的本質(zhì)是用IT技術(shù)和方法描述世界,描述事物的內(nèi)在本質(zhì)、過程規(guī)律和業(yè)務(wù)規(guī)則,信息化的應(yīng)用過程就是在描述好事物的軟件系統(tǒng)中實現(xiàn)人工和/或機(jī)器記錄,大數(shù)據(jù)的本質(zhì)是事物的時域、空域記錄,并非事物的描述數(shù)據(jù),大數(shù)據(jù)成為熱門是因為信息化、互聯(lián)網(wǎng)、終端的普及和應(yīng)用讓我們進(jìn)入了一個機(jī)器自動記錄的時代,爆炸性增長的記錄數(shù)據(jù)使傳統(tǒng)的人工、單機(jī)/單節(jié)點的機(jī)器處理能力無法完成記錄的分析、挖掘,由此催生了云計算和大數(shù)據(jù)概念并推動人工智能的工程應(yīng)用,機(jī)器學(xué)習(xí)等人工智能技術(shù)就是機(jī)器處理大數(shù)據(jù)及大數(shù)據(jù)應(yīng)用高級模式。
大數(shù)據(jù)應(yīng)用本質(zhì):是推導(dǎo)規(guī)律、預(yù)知未來,并非簡單的統(tǒng)計分析
在信息化時代以前,人類就有典型的大數(shù)據(jù)應(yīng)用,如視覺美學(xué)總結(jié)的黃金分割(0.618),社會學(xué)中的在特定時空范圍內(nèi)存在的“二八”理論。大數(shù)據(jù)應(yīng)用的本質(zhì)是推導(dǎo)規(guī)律、預(yù)知未來,并非簡單的統(tǒng)計分析。在信息化時代,大數(shù)據(jù)極大依賴信息化及其應(yīng)用,開展大數(shù)據(jù)分析也必須應(yīng)用信息化方法與手段,符合信息化業(yè)務(wù)驅(qū)動、目標(biāo)導(dǎo)向等原則,沒有目標(biāo)的大數(shù)據(jù)平臺建設(shè)或掛大數(shù)據(jù)“羊頭”不利于信息化建設(shè)和大數(shù)據(jù)應(yīng)用。
而互聯(lián)網(wǎng)大數(shù)據(jù)與企業(yè)大數(shù)據(jù)是有區(qū)別的,互聯(lián)網(wǎng)本質(zhì)是跨區(qū)域的信息化網(wǎng)絡(luò)基礎(chǔ)設(shè)施,其大量的內(nèi)容服務(wù)和居于互聯(lián)網(wǎng)社交軟件并不存在描述事物的過程即沒有對象模型,人們應(yīng)用互聯(lián)網(wǎng)留下了應(yīng)用記錄(大量的非結(jié)構(gòu)化數(shù)據(jù)),分析這些大數(shù)據(jù)記錄的前提是重新構(gòu)建記錄的對象,對記錄標(biāo)識特征。企業(yè)信息化一般經(jīng)過業(yè)務(wù)標(biāo)準(zhǔn)化和業(yè)務(wù)流程梳理過程,所以企業(yè)的大數(shù)據(jù)是存在對象描述,但企業(yè)應(yīng)用的困難是我們建設(shè)的系統(tǒng)在對象描述上不統(tǒng)一、對象上的記錄不完整。所以互聯(lián)網(wǎng)大數(shù)據(jù)與企業(yè)大數(shù)據(jù)應(yīng)用盡管原理與方法一致,但分析工作的重點是有區(qū)別的?;ヂ?lián)網(wǎng)公司在開展大數(shù)據(jù)分析的工具、技術(shù)方法不完全適用于企業(yè),更不能把互聯(lián)網(wǎng)大數(shù)據(jù)的平臺建設(shè)當(dāng)做企業(yè)大數(shù)據(jù)應(yīng)用工作的全部。
區(qū)別好對象模型數(shù)據(jù)與記錄數(shù)據(jù)是大數(shù)據(jù)分析的基礎(chǔ),盡管描述事物對象的數(shù)據(jù)也可以達(dá)到PB級,如人類的基因圖譜、地球大氣層流動模型、電網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)模型等,這些數(shù)據(jù)不是大數(shù)據(jù),在這些對象模型上構(gòu)建軟件并記錄的業(yè)務(wù)變化是大數(shù)據(jù)。所以在大數(shù)據(jù)應(yīng)用方面存在兩類數(shù)據(jù)的預(yù)處理,一類是模型數(shù)據(jù)預(yù)處理,另一類是記錄數(shù)據(jù)預(yù)處理。模型層面的預(yù)處理本質(zhì)是信息化建設(shè)方案的科學(xué)性、合理性。記錄的完整性很大程度上也是取決于信息化方案,同時也取決于信息系統(tǒng)的應(yīng)用過程。一旦軟件上線,再作數(shù)據(jù)治理來解決模型之間的不一致性或?qū)τ涗浀亩巍澳P突奔庸な且环N方法論上的誤導(dǎo),正確的方法應(yīng)該是依據(jù)企業(yè)架構(gòu)和行業(yè)解決方案完善信息化架構(gòu),實現(xiàn)企業(yè)信息化架構(gòu)規(guī)范和引導(dǎo)下的信息系統(tǒng)建設(shè)和應(yīng)用,在企業(yè)層面統(tǒng)籌企業(yè)模型、統(tǒng)籌系統(tǒng)結(jié)構(gòu)和功能界面、統(tǒng)一業(yè)務(wù)系統(tǒng)應(yīng)用規(guī)范。企業(yè)的數(shù)據(jù)治理必須在建設(shè)方案中完成,系統(tǒng)建成系統(tǒng)后的數(shù)據(jù)治理是無效的,當(dāng)然在系統(tǒng)運(yùn)行過程中數(shù)據(jù)庫的技術(shù)數(shù)據(jù)治理是必須的。
大數(shù)據(jù)應(yīng)用在電網(wǎng)領(lǐng)域大有可為
在電網(wǎng)企業(yè)中,電量數(shù)據(jù)是一組典型的大數(shù)據(jù)??蛻艉涂蛻舻碾姳砼_賬是電量數(shù)據(jù)的宿主對象,采集系統(tǒng)中對客戶和電表臺賬進(jìn)行建模,各用戶電表的時序記錄就是電量大數(shù)據(jù)。下面結(jié)合國網(wǎng)江蘇電力開展的負(fù)荷預(yù)測大數(shù)據(jù)應(yīng)用簡述大數(shù)據(jù)應(yīng)用方法。
首先是數(shù)據(jù)預(yù)處理。對象模型的預(yù)處理,依托營配調(diào)一體化,建立客戶和電表臺賬與電網(wǎng)供電邏輯關(guān)系,構(gòu)建電網(wǎng)各電壓層級直至各臺區(qū)到用戶的關(guān)聯(lián)模型;記錄數(shù)據(jù)的預(yù)處理,對電量記錄電度值進(jìn)行年度節(jié)假日除權(quán)回原,去除電量的節(jié)假日因素,去除記錄奇點和內(nèi)插補(bǔ)全個別記錄缺點等。
其次是分行業(yè)回歸建立日電量與氣溫、濕度等因素用電模型,依據(jù)實時運(yùn)行方式累計各臺區(qū)日電量、日負(fù)荷,完成各區(qū)域、各電壓等級的電量和負(fù)荷預(yù)測模型的構(gòu)建,并構(gòu)建模型機(jī)器學(xué)習(xí),保持模型的時效性。
最后,由大數(shù)據(jù)平臺給預(yù)測模型導(dǎo)入實時氣溫與前一時段的電量和負(fù)荷,實現(xiàn)短期、超短期的全網(wǎng)負(fù)荷預(yù)測。同樣原理,關(guān)聯(lián)宏觀GDP與電量指數(shù),結(jié)合業(yè)擴(kuò)包裝量變化,實現(xiàn)中長期負(fù)荷預(yù)測。
2015年,江蘇電網(wǎng)以全樣本的用戶每日實時采集用電數(shù)據(jù),結(jié)合十多年用電、業(yè)擴(kuò)、氣象等歷史數(shù)據(jù),建立起涵蓋全省各地區(qū)、分行業(yè)以及25萬專變用戶和40萬臺公用變壓器的包括溫度、濕度、節(jié)假日、周末等要素的多維度用電影響模型,模型包含的數(shù)據(jù)關(guān)聯(lián)關(guān)系超過110億項,開展負(fù)荷中長期、短期、超短期預(yù)測工作,有效指導(dǎo)了生產(chǎn)工作。
此外,電量大數(shù)據(jù)的應(yīng)用在行業(yè)內(nèi)外還有大量的可應(yīng)用價值,如從用電設(shè)備節(jié)能潛力分析全社會節(jié)能潛力、大用戶用電特征分析行業(yè)產(chǎn)能利用情況、居民用戶家庭活動特征等,大數(shù)據(jù)應(yīng)用在電網(wǎng)領(lǐng)域大有可為。
為了適應(yīng)數(shù)據(jù)中心業(yè)務(wù)的發(fā)展,數(shù)據(jù)中心網(wǎng)絡(luò)也在不斷更新與變化,這給日后的運(yùn)維帶來了極大難度。隨著數(shù)據(jù)中心建設(shè)的規(guī)模越來越大,新技術(shù)越來越多,承載數(shù)據(jù)中心業(yè)務(wù)的網(wǎng)絡(luò)變得異常復(fù)雜。為了適應(yīng)數(shù)據(jù)中心業(yè)務(wù)的發(fā)展,數(shù)據(jù)中心網(wǎng)絡(luò)也在不斷更新與變化,這給日后的運(yùn)維帶來了極大難度。談到數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維,其實是老生常談的問題,也是數(shù)據(jù)中心里問題最為突出的部分,這主要源于網(wǎng)絡(luò)技術(shù)的封閉性和排它型,當(dāng)然網(wǎng)絡(luò)協(xié)議和設(shè)備設(shè)計的復(fù)雜性也有一定關(guān)系,這導(dǎo)致掌握網(wǎng)絡(luò)運(yùn)維要領(lǐng)要比掌握其它技術(shù)難度要大得多,所以在網(wǎng)絡(luò)運(yùn)維過程中才出現(xiàn)了各種各樣的問題,而且網(wǎng)絡(luò)設(shè)備一旦出現(xiàn)問題,尤其是核心網(wǎng)絡(luò)問題,影響的將是整個數(shù)據(jù)中心的業(yè)務(wù),有時又沒有網(wǎng)絡(luò)備份可用,在這樣危機(jī)的情況下更考驗運(yùn)維人員的綜合處理問題能力,各種因素影響下導(dǎo)致了網(wǎng)絡(luò)運(yùn)維上出現(xiàn)了多種難題,本文就來說一說這些難題,看大家在數(shù)據(jù)中心運(yùn)維工作中是否有同感,是否有更好的應(yīng)對之策。
難題一:太多手工操作期盼減少
數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維人員最怕的就是做網(wǎng)絡(luò)變更,因為涉及太多的命令操作,而弄不好就容易出錯。如果網(wǎng)絡(luò)運(yùn)維可以有自動部署的方式,那可以大大減少運(yùn)維人員的工作時間,也不容易出錯,作為數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維人員沒有必要對這些網(wǎng)絡(luò)底層命令有過多了解,只要通過網(wǎng)絡(luò)變更滿足業(yè)務(wù)需求即可。實際上,這類難題在運(yùn)維工作中是最為突出的,很多網(wǎng)絡(luò)設(shè)備命令晦澀,讓人難以理解,運(yùn)維的人根本沒有時間和能力去走讀每篇RFC文檔,需要的是簡單明了的解決方案,SDN的出現(xiàn)或許可以減輕運(yùn)維人員對手工操作的依賴,但未來能夠發(fā)展到何種程度,還是未知數(shù)。
難題二:網(wǎng)絡(luò)變更很困難跟不上需求
數(shù)據(jù)中心業(yè)務(wù)部門的需求是多種多樣的,尤其是為了業(yè)績,很多不合理的需求也接納,到了實施的時候才發(fā)現(xiàn)困難重重。很多業(yè)務(wù)部門對數(shù)據(jù)中心網(wǎng)絡(luò)并沒有清晰的了解,也不知道現(xiàn)有的網(wǎng)絡(luò)能夠提供什么,這就導(dǎo)致兩面的脫節(jié),最終導(dǎo)致很多需求根本無法通過網(wǎng)絡(luò)變更來實現(xiàn),或者是網(wǎng)絡(luò)變更會影響現(xiàn)有業(yè)務(wù),付出很大的代價。
難題三:網(wǎng)絡(luò)操作需跟系統(tǒng)集成商協(xié)作問題
網(wǎng)絡(luò)只是數(shù)據(jù)中心最為重要的一部分,任何業(yè)務(wù)的運(yùn)行都離不開網(wǎng)絡(luò)部分,所以網(wǎng)絡(luò)的任何操作都需要與其它系統(tǒng)模塊溝通好,避免造成整個系統(tǒng)運(yùn)行受到影響。這里就涉及到和系統(tǒng)集成商打交道。
難題四:忙于維護(hù)難快速部署新業(yè)務(wù)
如果一個數(shù)據(jù)中心網(wǎng)絡(luò)本身設(shè)計就有先天缺陷,那頻繁出問題是必然的。這樣的數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維人員也是每天都忙于處理各種各樣的網(wǎng)絡(luò)問題,尤其是已經(jīng)影響到業(yè)務(wù)運(yùn)行的問題,這樣根本沒有精力部署新業(yè)務(wù)。這樣的惡性循環(huán)導(dǎo)致整個數(shù)據(jù)中心的業(yè)務(wù)都無法推進(jìn),最終流失大量客戶。
難題五:部署網(wǎng)絡(luò)麻煩
數(shù)據(jù)中心里的設(shè)備要實現(xiàn)互聯(lián)互通,都要有自己的IP地址或MAC地址,用這些來代表自己在網(wǎng)絡(luò)里的身份。運(yùn)維人員要對這些身份在網(wǎng)絡(luò)中進(jìn)行適配,比如下發(fā)動態(tài)路由學(xué)習(xí)或者靜態(tài)路由,需要配置網(wǎng)關(guān)、DHCP等,這些配置甚至要在全網(wǎng)的所有網(wǎng)絡(luò)設(shè)備上部署。有的數(shù)據(jù)中心從核心到接入,多達(dá)數(shù)百臺網(wǎng)絡(luò)設(shè)備,一臺一臺配置顯然是非常麻煩的,如何減輕這方面的工作量,對于提升運(yùn)維工作效率特別有意義。
難題六:簡單工具手動管理IP地址
網(wǎng)絡(luò)運(yùn)維人員平時要對這些設(shè)備的IP地址進(jìn)行管理,以便在使用時或者故障時能夠找到自己想要的那臺,這個數(shù)量是海量的。一個大型數(shù)據(jù)中心服務(wù)器上萬臺是很平常的,這樣整理這些設(shè)備的IP地址就需要很長的時間。運(yùn)維人員只能通過簡單的Excel表格來管理,用的時候進(jìn)行查找,有更新時進(jìn)行記錄,這個數(shù)據(jù)必須要實時更新才能準(zhǔn)確,這需要運(yùn)維人員投入大量的精力來維護(hù)這個表單,工作繁瑣。
難題七:網(wǎng)絡(luò)設(shè)備類型多,全掌握難度大
最令運(yùn)維人員頭痛的是網(wǎng)絡(luò)設(shè)備類型繁多,不同廠家的設(shè)備命令風(fēng)格和含義均不同,就算是一個廠商的不同型號設(shè)備也會不同。這給網(wǎng)絡(luò)運(yùn)維帶來了極大難度,運(yùn)維人員不得不掌握數(shù)據(jù)中心里所有設(shè)備的基本操作命令,要花大量的時間去熟悉這些設(shè)備,一般的網(wǎng)絡(luò)設(shè)備命令都有數(shù)千條,要全掌握基本不可能,再加上是不同型號的設(shè)備,運(yùn)維人員會瘋掉。
難題八:網(wǎng)管團(tuán)隊技術(shù)水平不高
目前數(shù)據(jù)中心的網(wǎng)管主要是對運(yùn)行的網(wǎng)絡(luò)設(shè)備進(jìn)行監(jiān)控,但實際上主要就是將設(shè)備上的日志告警提取出來,然后給出一些告警提示,還有就是通過網(wǎng)管可以獲取一些設(shè)備信息。實際上,網(wǎng)管對運(yùn)維工作支持不是很大。真正的智能網(wǎng)管應(yīng)該代替運(yùn)維人員的部分工作,比如下發(fā)配置變更、業(yè)務(wù)故障自動切換網(wǎng)絡(luò)、網(wǎng)絡(luò)自檢等等,通過網(wǎng)管實現(xiàn)對網(wǎng)絡(luò)真正的智能化管理,減少運(yùn)維人員的工作量,要實現(xiàn)這些還需要網(wǎng)管技術(shù)進(jìn)一步提升。
難題九:要掌握的工具太多
以太網(wǎng)RFC協(xié)議有8000多篇,根據(jù)網(wǎng)絡(luò)的五大層有多種多樣的協(xié)議定義。正是網(wǎng)絡(luò)協(xié)議的多樣性,所以要設(shè)計很多的輔助工具去掌握它,在進(jìn)行網(wǎng)絡(luò)分析時也要借助很多的工具。比如XPING、Tracert、抓包工具、IP掩碼換算等等,這些工具很多,很多還是網(wǎng)絡(luò)上開源的小工具,有各種各樣的BUG,使用起來也不方便,但是在網(wǎng)絡(luò)運(yùn)維時又不得不用,有時實在用不了就自己開發(fā)個小工具,正是因為這樣,所以網(wǎng)絡(luò)上才出現(xiàn)了那么多的網(wǎng)絡(luò)分析小工具。
難題十:運(yùn)維工作苦、收入低
網(wǎng)絡(luò)運(yùn)維是功能,性價比不高,作為數(shù)據(jù)中心里重要的一部分,網(wǎng)絡(luò)的重要性并沒有體現(xiàn)到網(wǎng)絡(luò)運(yùn)維的收入上,這就導(dǎo)致沒有人愿意在運(yùn)維工作上深入鉆研,做運(yùn)維的人員大多是工作1~3年的初級技術(shù)人員,缺少一些10年以上資深的網(wǎng)絡(luò)專家,這導(dǎo)致數(shù)據(jù)中心的運(yùn)維水平無法提升。
顯而易見,數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維面臨不少難題,是數(shù)據(jù)中心里的短板。哪個數(shù)據(jù)中心能解決好網(wǎng)絡(luò)運(yùn)維的問題,也就能在這個圈內(nèi)混得好。