破繭而出的存儲(chǔ)技術(shù)撬動(dòng)大數(shù)據(jù)時(shí)代
時(shí)間:2015-08-06 16:05:03 來(lái)源:安防行業(yè)協(xié)會(huì) 作者:未知
歷經(jīng)三十多年的中國(guó)安防,產(chǎn)業(yè)進(jìn)程在技術(shù)演進(jìn)中延續(xù),從而演變出時(shí)代的印記。很顯然,當(dāng)下的中國(guó)安防,邁入大數(shù)據(jù)時(shí)代。于是,與此相關(guān)的話題,不絕于耳。
大數(shù)據(jù)時(shí)代存儲(chǔ)面臨的束縛
視頻監(jiān)控正是一個(gè)典型的數(shù)據(jù)依賴型業(yè)務(wù),依靠數(shù)據(jù)說(shuō)話??梢哉f(shuō),大數(shù)據(jù)與視頻監(jiān)控業(yè)務(wù)有著天然的結(jié)合。大數(shù)據(jù)中的大容量通常可達(dá)到PB級(jí)的數(shù)據(jù)規(guī)模,那么對(duì)于海量數(shù)據(jù)存儲(chǔ)系統(tǒng)擴(kuò)展能力的要求也會(huì)很高。如果國(guó)內(nèi)平安城市建設(shè)攝像頭以億為單位計(jì)算,這樣視頻監(jiān)控將是數(shù)據(jù)的大生成器。同時(shí),從攝像前端的海量數(shù)據(jù)和到有效數(shù)據(jù)之間的也存在矛盾,攝像頭不停歇的工作,如實(shí)記錄鏡頭覆蓋范圍發(fā)生的一切,但對(duì)于客戶來(lái)講大部分信息是無(wú)效,有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi),大量的數(shù)據(jù)存儲(chǔ)給數(shù)據(jù)庫(kù)帶來(lái)不小的壓力,而無(wú)效的數(shù)據(jù)更是對(duì)于資源的浪費(fèi)。這樣來(lái)看,大數(shù)據(jù)時(shí)代存儲(chǔ)成為至關(guān)重要需要解決的問(wèn)題。舉例說(shuō)明,2014年年初,南京警方為了抓捕一名在逃嫌犯,調(diào)動(dòng)了兩千警力,因?yàn)樗械臄z像頭沒(méi)有聯(lián)網(wǎng),只能繞道各個(gè)小區(qū)、派出所、樓宇去拷數(shù)據(jù),當(dāng)時(shí)整個(gè)南京市所能買到的存儲(chǔ)設(shè)備幾乎都被警方買空。這個(gè)案例說(shuō)明:第一數(shù)據(jù)需要聯(lián)網(wǎng),第二大數(shù)據(jù)一定要存儲(chǔ)好,第三大數(shù)據(jù)必須經(jīng)過(guò)分析和挖掘才有價(jià)值。
大數(shù)據(jù)一定要存儲(chǔ)好,很簡(jiǎn)單的說(shuō)明了存儲(chǔ)對(duì)于安防大數(shù)據(jù)時(shí)代的重要性。一般來(lái)說(shuō),大數(shù)據(jù)時(shí)代監(jiān)控存儲(chǔ)要面臨幾個(gè)方面的束縛。
龐大信息量如何存儲(chǔ)。監(jiān)控?cái)?shù)據(jù)按7x24小時(shí)寫入,存放時(shí)間從7天、15天、30天甚至更久,數(shù)據(jù)量隨時(shí)間增加呈線性增長(zhǎng),面對(duì)海量存儲(chǔ)的需求,傳統(tǒng)的存儲(chǔ)行業(yè)與監(jiān)控行業(yè)實(shí)在難以處理。
監(jiān)控?cái)?shù)據(jù)存儲(chǔ)的可擴(kuò)展性,包括如何滿足數(shù)據(jù)采集更高分辨率或更多采集點(diǎn)的需要,如何滿足更長(zhǎng)數(shù)據(jù)采集時(shí)間的需要。
性能的要求。視頻監(jiān)控主要是視頻碼流的寫入,表征性能的是存儲(chǔ)能支持多少路碼流。在多路并發(fā)寫的情況下,對(duì)帶寬、數(shù)據(jù)能力、緩存等都有較大影響,對(duì)存儲(chǔ)的壓力很大,這時(shí)候存儲(chǔ)需要有專門針對(duì)視頻性能的優(yōu)化處理。
價(jià)格的敏感。安防監(jiān)控行業(yè)的海量存儲(chǔ),由于總?cè)萘看?,造成總的價(jià)格成本上升。反而言之,對(duì)單位容量成本(每TB價(jià)格)的要求很高。
空間壓力與管理難度。當(dāng)大量高清視頻開始越來(lái)越多的涌現(xiàn)之時(shí),對(duì)于后端的存儲(chǔ)要求也出現(xiàn)了一個(gè)極速上升的局面,在這樣的情況下,數(shù)據(jù)量實(shí)現(xiàn)二到三倍的增長(zhǎng)注定會(huì)使傳統(tǒng)的PC硬盤管理,或者本地DVR、NVR模式帶來(lái)意料之外的壓力。
存儲(chǔ)數(shù)據(jù)的集中管理有待加強(qiáng)。當(dāng)我們從大數(shù)據(jù)時(shí)代監(jiān)控整個(gè)系統(tǒng)的整體構(gòu)建來(lái)分析時(shí),會(huì)暴露出存儲(chǔ)設(shè)備難以兼容等因素出現(xiàn)。由于大型的監(jiān)控系統(tǒng)往往是分期建設(shè),建設(shè)過(guò)程中采用的設(shè)備并不一致,因此實(shí)際項(xiàng)目中多種品牌、型號(hào)的設(shè)備給監(jiān)控的存儲(chǔ)集中管理帶來(lái)很大難度。同時(shí),傳統(tǒng)的DVR或者DVS設(shè)備,由于網(wǎng)傳能力有限,很難形成統(tǒng)一存儲(chǔ)、統(tǒng)一監(jiān)控的中心體系架構(gòu),使企業(yè)的治安監(jiān)控出現(xiàn)存儲(chǔ)數(shù)據(jù)查找麻煩,調(diào)度不及時(shí),錄像存儲(chǔ)分散等多種問(wèn)題產(chǎn)生。
在束縛前,如何破局?
智慧倉(cāng)存儲(chǔ)產(chǎn)品迎難而上,迎戰(zhàn)大數(shù)據(jù)時(shí)代
直面困難,迎難而上,迎戰(zhàn)大數(shù)據(jù)時(shí)代,方顯優(yōu)秀民族企業(yè)本色。基于大數(shù)據(jù)時(shí)代存儲(chǔ)難點(diǎn),甲方需求的存儲(chǔ)產(chǎn)品不再是傳統(tǒng)分散的、單一的底層設(shè)備。除了要具備高性能、高安全、高可靠等特征之外,還要有虛擬化、并行分布、自動(dòng)分層、彈性擴(kuò)展、異構(gòu)資源整合、全局緩存加速等多方面的特點(diǎn),才能滿足具備大數(shù)據(jù)特征的業(yè)務(wù)應(yīng)用需求。
作為中國(guó)安防民族企業(yè)優(yōu)秀代表的北京智慧倉(cāng)存儲(chǔ)技術(shù)有限公司,專注于存儲(chǔ)技術(shù)研發(fā),2001年成立,是國(guó)內(nèi)率先研發(fā)出磁盤陣列核心技術(shù)的廠家,具有自主知識(shí)產(chǎn)權(quán)。公司致力于在大數(shù)據(jù)的時(shí)代背景下,為客戶提供高性價(jià)比、高價(jià)值的存儲(chǔ)產(chǎn)品和解決方案。針對(duì)多路數(shù)高清監(jiān)控集中存儲(chǔ)用戶,智慧倉(cāng)推出了高性能光纖存儲(chǔ)解決方案,與目前市場(chǎng)上的IP SAN方案相比,能夠大幅減少存儲(chǔ)設(shè)備臺(tái)數(shù),從而大幅降低建設(shè)成本,是目前市場(chǎng)上大數(shù)據(jù)時(shí)代存儲(chǔ)應(yīng)用的最佳選擇。
具體來(lái)看,他們高性能光纖存儲(chǔ)解決方案具有三大優(yōu)勢(shì),這是該企業(yè)最為核心的競(jìng)爭(zhēng)力體現(xiàn)。
1、 性能優(yōu)勢(shì):
高錄像帶寬:智慧倉(cāng)2G光纖磁盤陣列單通道數(shù)據(jù)寫入帶寬高達(dá)190MB/s,是采用千兆網(wǎng)的IPSAN/NAS存儲(chǔ)設(shè)備寫入帶寬高4倍以上。
高并發(fā)瀏覽能力:智慧倉(cāng)2G光纖磁盤陣列并發(fā)讀寫能力,即錄像加同時(shí)回放和瀏覽的總帶寬約2.4Gbps。特別在監(jiān)控圖像檢索查詢中,IPSAN/NAS明顯低于服務(wù)器本地硬盤的速度,而光纖存儲(chǔ)不存在并發(fā)檢索速度慢的問(wèn)題。
高IO處理能力:智慧倉(cāng)2G光纖磁盤陣列單通道IO處理能力達(dá)30,000 IOPS。而采用千兆網(wǎng)接口的IPSAN/NAS技術(shù),寫入IO處理能力只有約3,000 IOPS。
低CPU占用率:由于數(shù)據(jù)打包、解包處理任務(wù)由光纖卡上CPU完成,降低了服務(wù)器CPU占用率。而IPSAN/NAS磁盤陣列往往使用服務(wù)器CPU處理數(shù)據(jù)打包、解包,將導(dǎo)致服務(wù)器CPU資源被占用。而存儲(chǔ)服務(wù)器又恰恰需要更多的CPU資源。
2、穩(wěn)定性優(yōu)勢(shì):
傳輸可靠性:采用光纖連接,不受環(huán)境電磁干擾,數(shù)據(jù)傳輸可靠性高;錯(cuò)碼率大大降低,圖象質(zhì)量能保證。因此,以往只有金融、電信等最高可靠性要求的環(huán)境使用。
協(xié)議處理穩(wěn)定可靠:采用光纖卡硬件處理協(xié)議,穩(wěn)定性最高。而IPSAN/NAS采用軟件進(jìn)行協(xié)議處理,穩(wěn)定性受服務(wù)器環(huán)境影響較大,容易出現(xiàn)斷網(wǎng)、斷流和掉盤符現(xiàn)象。
獨(dú)立網(wǎng)絡(luò),不占用視頻傳輸網(wǎng)絡(luò)帶寬,保證視頻傳輸更加穩(wěn)定。
3、成本優(yōu)勢(shì):
由于光纖盤陣比IP SAN/NAS錄像帶寬高4倍以上,以保證錄像質(zhì)量為標(biāo)準(zhǔn),采用光纖磁盤陣列可大幅降低存儲(chǔ)設(shè)備的使用臺(tái)數(shù)。以100路高清為例,如果采用IPSAN/NAS存儲(chǔ),單臺(tái)設(shè)備寫入帶寬約200Mbps。如要滿足100路高清共800Mbps的寫入帶寬,則需要4臺(tái)存儲(chǔ)服務(wù)器和4臺(tái)IPSAN/NAS磁盤陣列。而智慧倉(cāng)光纖磁盤陣列單臺(tái)寫入帶寬遠(yuǎn)高于1Gbps,因此只需要1臺(tái)存儲(chǔ)服務(wù)器和1臺(tái)磁盤陣列就能滿足100路高清(800Mbps)的錄像帶寬要求。因此,采用智慧倉(cāng)光纖磁盤陣列,用戶在存儲(chǔ)設(shè)備上的投資可節(jié)約多達(dá)4倍。即使用戶需要保存時(shí)間較長(zhǎng),兩種存儲(chǔ)方式需要相同的容量,比如IPSAN采用4臺(tái)24盤位磁盤陣列,而光纖采用1臺(tái)96盤位磁盤陣列,智慧倉(cāng)也能保證光纖盤陣的總體投資比IPSAN盤陣低50%左右。
可以看出,大數(shù)據(jù)時(shí)代超龐大的信息量已經(jīng)困擾視頻監(jiān)控行業(yè),因此在未來(lái)幾年內(nèi),大數(shù)據(jù)時(shí)代完善的存儲(chǔ)解決方案對(duì)視頻監(jiān)控市場(chǎng)格局將起到巨大沖擊,或許會(huì)是新一輪洗牌的革命性技術(shù)。
結(jié)束語(yǔ)
在破繭而出后,存儲(chǔ)技術(shù)正在撬動(dòng)安防大數(shù)據(jù)時(shí)代,其潛能將被完全激發(fā),并將中國(guó)安防產(chǎn)業(yè)推至一個(gè)全新高度和更高發(fā)展階段。而智慧倉(cāng),相對(duì)于秀派企業(yè),這個(gè)低調(diào)的技術(shù)實(shí)力派,必將在這個(gè)時(shí)期以領(lǐng)先者的姿態(tài),領(lǐng)跑時(shí)代!