云存儲(chǔ)，讓大數(shù)據(jù)變“小”

一、 概述

　　近年來(lái)視頻監(jiān)控行業(yè)的發(fā)展愈發(fā)蓬勃，監(jiān)控點(diǎn)位裝機(jī)數(shù)量呈爆發(fā)式增長(zhǎng)。2014年全球攝像頭出貨量達(dá)到5646萬(wàn)臺(tái)，每天產(chǎn)生的視頻監(jiān)控?cái)?shù)據(jù)量達(dá)160PB，同時(shí)隨著監(jiān)控IP化特征的持續(xù)加力等因素的影響，市場(chǎng)對(duì)視頻監(jiān)控存儲(chǔ)產(chǎn)品的應(yīng)用和發(fā)展提出了更高要求。其主要體現(xiàn)在對(duì)龐大存儲(chǔ)系統(tǒng)的資源的合理利用、性能的持續(xù)增長(zhǎng)、以及管理和服務(wù)獲取的方式等多個(gè)方面。

　　二、視頻監(jiān)控存儲(chǔ)現(xiàn)狀

　　在當(dāng)前視頻監(jiān)控存儲(chǔ)產(chǎn)品中傳統(tǒng)的DVR/NVR、SAN、NAS等存儲(chǔ)方式雖仍然占有大量份額，但多適用于滿足小型視頻監(jiān)控的需求。對(duì)于龐大存儲(chǔ)系統(tǒng)的整合、資源利用率的提升、存儲(chǔ)服務(wù)獲取和管理的便利性等方面，云存儲(chǔ)的產(chǎn)品化應(yīng)用無(wú)疑是行業(yè)中的亮點(diǎn)。在云存儲(chǔ)的概念提出初期，其特點(diǎn)和功能長(zhǎng)期處于非常模糊的狀態(tài)，業(yè)界對(duì)云存儲(chǔ)的理解也常常是云山霧罩，究其原因?qū)嶋H是云存儲(chǔ)還沒(méi)有完成產(chǎn)品化。而從2013年起在安防行業(yè)就陸續(xù)有云存儲(chǔ)系統(tǒng)的產(chǎn)品出現(xiàn)，并迅速在行業(yè)中取得突破，從廠區(qū)、樓宇到金融銀行、再?gòu)慕煌ㄏ到y(tǒng)到大型平安城市的視頻監(jiān)控系統(tǒng)都陸陸續(xù)續(xù)出現(xiàn)云存儲(chǔ)部署的身影。隨著視頻監(jiān)控行業(yè)云存儲(chǔ)項(xiàng)目的遍地開(kāi)花，盡管實(shí)現(xiàn)的技術(shù)路線不盡相同，但是對(duì)云存儲(chǔ)的特質(zhì)和能力卻有了較為普遍的認(rèn)識(shí)。

　　三、大數(shù)據(jù)的云存儲(chǔ)服務(wù)特征

　　首先，從目前多種云存儲(chǔ)的方案中可以明顯體會(huì)到，云存儲(chǔ)本身并非某一特定的技術(shù)路線，而是一種具有典型特質(zhì)的存儲(chǔ)服務(wù)方式，即可以明確地指出云存儲(chǔ)是一種服務(wù)，而非某種單一的技術(shù)。云存儲(chǔ)的服務(wù)就屏蔽了大量的技術(shù)細(xì)節(jié)、功能特點(diǎn)等繁瑣的實(shí)現(xiàn)原理，做到無(wú)論其構(gòu)成如何復(fù)雜、系統(tǒng)如何龐大，其服務(wù)方式始終是具有共性和可描述的。

　　那么云存儲(chǔ)的服務(wù)可以描述為是統(tǒng)一、靈活、安全的存儲(chǔ)服務(wù)。統(tǒng)一體現(xiàn)在對(duì)云存儲(chǔ)內(nèi)部的多種存儲(chǔ)技術(shù)、多種存儲(chǔ)設(shè)備形態(tài)的屏蔽。通過(guò)軟件的統(tǒng)一整合向用戶提供唯一的服務(wù)獲取出口，具體可以體現(xiàn)為唯一訪問(wèn)IP、唯一的管理界面、唯一的操作方式等等。

　　靈活則體現(xiàn)在從云存儲(chǔ)獲取服務(wù)時(shí)的自由度上。早期曾有業(yè)界人士將使用云存儲(chǔ)服務(wù)比作用水用電一樣，這種思想和方式即體現(xiàn)在對(duì)存儲(chǔ)容量獲取的靈活性上。用戶使用云存儲(chǔ)服務(wù)，將自己的數(shù)據(jù)寫入云存儲(chǔ)，可做到需要多少容量就獲取多少容量，不受限于底層存儲(chǔ)設(shè)備的規(guī)格限制。這個(gè)就需要云存儲(chǔ)系統(tǒng)在容量分配時(shí)能夠做到足夠的精準(zhǔn)，同時(shí)對(duì)調(diào)整的要求也要足夠靈活。

　　安全體現(xiàn)的是云存儲(chǔ)提供可靠保障的能力，對(duì)不同的數(shù)據(jù)可以提供不同的安全級(jí)別保障，差異化服務(wù)。視頻監(jiān)控?cái)?shù)據(jù)體量龐大，因此常有不同的存儲(chǔ)周期要求，不同的存儲(chǔ)周期對(duì)于數(shù)據(jù)的完整性要求也不盡相同。因此云存儲(chǔ)系統(tǒng)提供存儲(chǔ)安全保障的能力應(yīng)該匹配實(shí)際項(xiàng)目的需求，在項(xiàng)目成本控制和安全級(jí)別要求上達(dá)到平衡和共識(shí)。

　　四、大數(shù)據(jù)的云存儲(chǔ)服務(wù)難點(diǎn)與挑戰(zhàn)

　　1、統(tǒng)一服務(wù)

　　上述云存儲(chǔ)的服務(wù)能力雖然容易達(dá)成一致，但是在技術(shù)路線選取、具體能力級(jí)別的實(shí)現(xiàn)上卻普遍出現(xiàn)較大差異。首先就統(tǒng)一的服務(wù)獲取出口這一功能就需要云存儲(chǔ)系統(tǒng)具有強(qiáng)大的橫向擴(kuò)展能力，需要在系統(tǒng)容量擴(kuò)展上不存在上限，同時(shí)性能也要與容量保持同等線性增長(zhǎng)才能滿足在擴(kuò)容的同時(shí)服務(wù)質(zhì)量不至于下降。當(dāng)前實(shí)現(xiàn)云存儲(chǔ)的架構(gòu)一般多為分布式存儲(chǔ)架構(gòu)，雖然云存儲(chǔ)系統(tǒng)是物理位置相對(duì)集中的中心存儲(chǔ)方案，但是在系統(tǒng)內(nèi)部數(shù)據(jù)卻是被切片后存儲(chǔ)在不同的物理設(shè)備上的。在這種架構(gòu)上元數(shù)據(jù)服務(wù)器起到對(duì)數(shù)據(jù)分布式的統(tǒng)一調(diào)度、靈活分配、動(dòng)態(tài)調(diào)整的作用，其性能直接決定云存儲(chǔ)系統(tǒng)的規(guī)模。常規(guī)的元數(shù)據(jù)服務(wù)器主備工作模式采取的是一主一備兩臺(tái)元數(shù)據(jù)服務(wù)器，其中只有一臺(tái)服務(wù)器在工作，另一臺(tái)僅同步配置信息和元數(shù)據(jù)信息，并不響應(yīng)業(yè)務(wù)的分布式調(diào)度需求，因此性能并未有任何提升。在此種工作模式下，云存儲(chǔ)系統(tǒng)也往往存在容量和性能瓶頸，我們常規(guī)看到的可管理存儲(chǔ)設(shè)備最大數(shù)量從16臺(tái)到30臺(tái)不等，各廠商實(shí)現(xiàn)也不盡相同。這種規(guī)模級(jí)別直接制約了云存儲(chǔ)系統(tǒng)的統(tǒng)一服務(wù)能力。

　　而最新興起的元數(shù)據(jù)服務(wù)器集群組建方式則有效地解決了這一問(wèn)題。元數(shù)據(jù)服務(wù)器通過(guò)彼此間相互同步元數(shù)據(jù)信息，共同對(duì)整個(gè)系統(tǒng)提供分布式存儲(chǔ)策略調(diào)度和管理，有效地提升整個(gè)云存儲(chǔ)系統(tǒng)管理性能。通過(guò)元數(shù)據(jù)集群本身的線性增長(zhǎng)，可以促使存儲(chǔ)設(shè)備數(shù)量的不斷增加，真正實(shí)現(xiàn)容量的無(wú)阻礙橫向擴(kuò)展，在超大規(guī)模云存儲(chǔ)系統(tǒng)的統(tǒng)一服務(wù)提供上做出了有效的支撐。

　　2、靈活服務(wù)

　　在存儲(chǔ)容量靈活性要求下，需要云存儲(chǔ)系統(tǒng)能夠最大限度匹配視頻監(jiān)控的存儲(chǔ)需求。1路2Mbps的標(biāo)清攝像頭，一天產(chǎn)生的數(shù)量約為21GB。若一天中只有工作時(shí)間錄像或者事件觸發(fā)錄像則產(chǎn)生的數(shù)據(jù)量更低。在民用視頻監(jiān)控行業(yè)中對(duì)于按需付費(fèi)的思路則要求云存儲(chǔ)分配的存儲(chǔ)空間粒度至少是GB級(jí)別。這對(duì)于云存儲(chǔ)的空間分配策略、虛擬化容量整合能力提出了嚴(yán)峻的要求。傳統(tǒng)按照邏輯卷或者磁盤大小為單位的構(gòu)建方式將直接導(dǎo)致分配容量時(shí)粒度過(guò)大，不能滿足這種靈活的容量分配需求。因此在云存儲(chǔ)技術(shù)實(shí)現(xiàn)中對(duì)磁盤容量進(jìn)行更低粒度的切片，生成更低粒度的數(shù)據(jù)塊，以在容量的分配、調(diào)整上換取更大的靈活性成為一種可行的技術(shù)方向。以數(shù)據(jù)塊作為云存儲(chǔ)基礎(chǔ)的數(shù)據(jù)單元之后，可以實(shí)現(xiàn)數(shù)據(jù)的靈活分配、調(diào)整、以及對(duì)分布式存儲(chǔ)的支持和大數(shù)據(jù)并發(fā)吞吐性能的提升都帶來(lái)的意想不到的好處。但是隨之而來(lái)的問(wèn)題則是對(duì)大量數(shù)據(jù)塊如何進(jìn)行有效的管理，在這里業(yè)界主要有兩種不同的方向。

　　第一種方向的思路通過(guò)文件系統(tǒng)對(duì)數(shù)據(jù)塊資源進(jìn)行組織和利用，這種思路的優(yōu)勢(shì)是可以支持多種數(shù)據(jù)的存儲(chǔ)，不限定數(shù)據(jù)類型。但同時(shí)也忽略了視頻錄像數(shù)據(jù)是流式數(shù)據(jù)的這一本質(zhì)特點(diǎn)，在視頻錄像的存儲(chǔ)效率和應(yīng)用擴(kuò)展上做出了犧牲和讓步。要說(shuō)清這個(gè)問(wèn)題需要理解視頻流式數(shù)據(jù)與非流式的文件數(shù)據(jù)的差異。簡(jiǎn)單來(lái)講流式數(shù)據(jù)在視頻監(jiān)控領(lǐng)域是由攝像機(jī)產(chǎn)生，以開(kāi)始錄像為起點(diǎn)持續(xù)不斷的產(chǎn)生，在不做時(shí)間限定的前提下是沒(méi)有結(jié)束的，因此其數(shù)據(jù)量大小也會(huì)不斷增加沒(méi)有終點(diǎn)。而非流式的文件型數(shù)據(jù)則是有固定的文件大小、文件格式、文件名稱等文件屬性。如果以非流式的文件方式存儲(chǔ)流式的視頻數(shù)據(jù)則需要將視頻流人為截?cái)?、按照文件名、按照?shù)據(jù)量大小生成一個(gè)個(gè)單獨(dú)的視頻文件，這從本質(zhì)上就破壞的流式數(shù)據(jù)的特征。再加上對(duì)視頻流檢索查找時(shí)，在文件系統(tǒng)中就只能通過(guò)文件名、目錄結(jié)構(gòu)、文件屬性等進(jìn)行檢索查找，無(wú)法深入精確的定位到每一秒或者每一毫秒的視頻數(shù)據(jù)，在視頻數(shù)據(jù)的使用和大數(shù)據(jù)分析上人為增加了技術(shù)壁壘。

　　第二種方向的思路則跳開(kāi)了文件系統(tǒng)對(duì)流式視頻數(shù)據(jù)的制約，采用流式系統(tǒng)存儲(chǔ)流式數(shù)據(jù)的方式，若不限定視頻流的錄像時(shí)間則滿足視頻流不斷持續(xù)寫入數(shù)據(jù)塊，同時(shí)在視頻流寫入時(shí)加入精確的時(shí)間點(diǎn)定位以支持精準(zhǔn)檢索的需要。這樣的視頻寫入方式直面視頻錄像數(shù)據(jù)本質(zhì)，不但能夠滿足視頻流高效、連續(xù)的存儲(chǔ)需要，同時(shí)又能精準(zhǔn)定位到視頻數(shù)據(jù)的每一個(gè)時(shí)間點(diǎn)，在視頻數(shù)據(jù)應(yīng)用上極大的滿足了其本質(zhì)需求。因此此種方式不但回放和下載時(shí)更精準(zhǔn)，同時(shí)更為可貴的是不會(huì)產(chǎn)生文件碎片，從而大幅提高云存儲(chǔ)系統(tǒng)的吞吐性能和資源利用率。

　　就目前行業(yè)內(nèi)對(duì)于云存儲(chǔ)的具體處理方式上，以上兩種方式都已經(jīng)實(shí)現(xiàn)。以?？低暈榇淼陌卜佬袠I(yè)的視頻監(jiān)控廠商則更為關(guān)注于視頻流式數(shù)據(jù)的本質(zhì)，因此應(yīng)用第二種方式的較多。

　　3、安全服務(wù)

　　在數(shù)據(jù)安全的可靠性保障上，目前主流應(yīng)用的技術(shù)也較為豐富。從RAID5、6技術(shù)到基于糾刪碼的網(wǎng)絡(luò)RAID技術(shù)、到多副本保障技術(shù)、到異地?cái)?shù)據(jù)中心的備份恢復(fù)技術(shù)等多種。需要理清的是采取更高級(jí)別的安全可靠性保障的同時(shí)對(duì)具體的物理設(shè)備數(shù)量、功能要求也越為嚴(yán)格。就視頻錄像數(shù)量的容量上看，其體量是非常龐大的，而且在大量視頻錄像產(chǎn)生的基礎(chǔ)上，多數(shù)視頻錄像是會(huì)隨時(shí)間不斷被循環(huán)覆蓋掉。在這樣情況下為滿足過(guò)高的可靠性保障而投入大量成本和資金就變成一種不經(jīng)濟(jì)的做法。因此對(duì)數(shù)據(jù)安全性需求進(jìn)行區(qū)分，支持分級(jí)別安全可靠性保障就是一種結(jié)合安全和成本的綜合考慮方式。這種方式就對(duì)云存儲(chǔ)提出了要支持分級(jí)安全存儲(chǔ)的功能要求。就目前行業(yè)云存儲(chǔ)的實(shí)現(xiàn)來(lái)看，也僅僅是少量廠商能夠支持如此豐富的安全和可靠性的要求，多數(shù)廠商在安全可靠性上還停留在某種單一方案上。當(dāng)然，隨著技術(shù)的不斷發(fā)展，越來(lái)越豐富的安全可靠性機(jī)制也會(huì)逐漸被大家所認(rèn)識(shí)和接受。

　　?？低曉拼鎯?chǔ)系統(tǒng)秉承于技術(shù)服務(wù)安防的理念，將云存儲(chǔ)核心技術(shù)框架與視頻監(jiān)控行業(yè)特性結(jié)合。通過(guò)統(tǒng)一的服務(wù)窗口、靈活的容量分配方式和基于業(yè)務(wù)的分級(jí)可靠性保障為云存儲(chǔ)在視頻監(jiān)控系統(tǒng)中的應(yīng)用提供有效的方案支撐。

　　五、大數(shù)據(jù)的云存儲(chǔ)價(jià)值

　　在風(fēng)起云涌的大數(shù)據(jù)云時(shí)代，機(jī)遇始終是與挑戰(zhàn)并存的。大數(shù)據(jù)的核心訴求是對(duì)數(shù)據(jù)內(nèi)容的分析和價(jià)值的挖掘。在多種數(shù)據(jù)類型中，結(jié)構(gòu)化數(shù)據(jù)是最便于提取到信息價(jià)值的，而以視頻數(shù)據(jù)為代表的非結(jié)構(gòu)化數(shù)據(jù)的提取難度則是非常大的。因此作為存儲(chǔ)系統(tǒng)，其是否能夠?qū)τ诖髷?shù)據(jù)應(yīng)用做出良好的支撐就顯得尤為重要。而作為整個(gè)大數(shù)據(jù)體系中，存儲(chǔ)系統(tǒng)又是最底層的，其保留的是大量未經(jīng)分析的基礎(chǔ)數(shù)據(jù)，大數(shù)據(jù)的挖掘則是需要通過(guò)云計(jì)算系統(tǒng)的超強(qiáng)計(jì)算能力對(duì)龐大的基礎(chǔ)數(shù)據(jù)進(jìn)行計(jì)算分析，得出可結(jié)構(gòu)化的價(jià)值信息，以提供給各個(gè)應(yīng)用需求進(jìn)行整理和挖掘。視頻數(shù)據(jù)的結(jié)構(gòu)化除了完全依賴云計(jì)算系統(tǒng)外，云存儲(chǔ)系統(tǒng)如果具備基本的處理能力，與云計(jì)算系統(tǒng)進(jìn)行配合則可大幅提高整個(gè)過(guò)程的效率。這就要求云存儲(chǔ)不僅滿足高效存儲(chǔ)的功能，還能夠針對(duì)應(yīng)用做出適度的調(diào)整。目前沿著整個(gè)大數(shù)據(jù)視頻分析挖掘的方向來(lái)看，前端智能、后端分析的結(jié)合處理效果會(huì)比較明顯。前端攝像機(jī)在錄像時(shí)即可產(chǎn)生基礎(chǔ)的智能化結(jié)構(gòu)信息，云存儲(chǔ)負(fù)責(zé)視頻錄像數(shù)據(jù)和智能結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，同時(shí)也可以對(duì)視頻畫面做基礎(chǔ)的剝離和提取，云計(jì)算直接從云存儲(chǔ)中獲取剝離的畫面數(shù)據(jù)和智能結(jié)構(gòu)化數(shù)據(jù)用于進(jìn)一步的分析計(jì)算，全面生成有價(jià)值的結(jié)構(gòu)化數(shù)據(jù)，各個(gè)大數(shù)據(jù)分析應(yīng)用從結(jié)構(gòu)化數(shù)據(jù)中提取數(shù)據(jù)原型進(jìn)行規(guī)則比對(duì)、篩選最后得出大數(shù)據(jù)應(yīng)用的結(jié)果并進(jìn)行呈現(xiàn)，這些過(guò)程一環(huán)接一環(huán)配合推進(jìn)才能高效實(shí)現(xiàn)視頻大數(shù)據(jù)的價(jià)值挖掘。海康威視云存儲(chǔ)系統(tǒng)作為大數(shù)據(jù)整體解決方案的重要組成部分，在提供統(tǒng)一、靈活、安全數(shù)據(jù)存儲(chǔ)服務(wù)的同時(shí)，充分理解大數(shù)據(jù)價(jià)值挖掘所面臨的挑戰(zhàn)，將數(shù)據(jù)存儲(chǔ)與基礎(chǔ)分析完美融合，向大數(shù)據(jù)平臺(tái)提供有效的數(shù)據(jù)來(lái)源，全面服務(wù)視頻大數(shù)據(jù)的工作開(kāi)展，做出了積極、有效的嘗試和努力。

　　?？低曉拼鎯?chǔ)系統(tǒng)作為大數(shù)據(jù)整體解決方案的重要組成部分，在提供統(tǒng)一、靈活、安全數(shù)據(jù)存儲(chǔ)服務(wù)的同時(shí)，充分理解大數(shù)據(jù)價(jià)值挖掘所面臨的挑戰(zhàn)，將數(shù)據(jù)存儲(chǔ)與基礎(chǔ)分析完美融合，向大數(shù)據(jù)平臺(tái)提供有效的數(shù)據(jù)來(lái)源，全面服務(wù)視頻大數(shù)據(jù)的工作開(kāi)展，做出了積極、有效的嘗試和努力。

　　六、結(jié)語(yǔ)

　　無(wú)論現(xiàn)在或者是將來(lái)，云存儲(chǔ)技術(shù)在視頻監(jiān)控行業(yè)的應(yīng)用將是視頻大數(shù)據(jù)系統(tǒng)中不可缺失的一環(huán)。云存儲(chǔ)在未來(lái)發(fā)展的方向應(yīng)不僅僅局限于本身存儲(chǔ)業(yè)務(wù)的各種功能實(shí)現(xiàn)，更要從全面、宏觀的角度找準(zhǔn)自身在大數(shù)據(jù)浪潮中的定位，為視頻監(jiān)控行業(yè)中存儲(chǔ)系統(tǒng)應(yīng)用化的深度發(fā)展做好準(zhǔn)備和經(jīng)驗(yàn)積累。讓躺在存儲(chǔ)系統(tǒng)中寶貴的海量視頻數(shù)據(jù)資源迸發(fā)出耀眼的光芒。