安防大數(shù)據(jù)采集 視頻監(jiān)控在挑戰(zhàn)中前行
時間:2015-11-06 09:35:46 來源:深圳市智慧安防行業(yè)協(xié)會 作者:中國測控網(wǎng)
數(shù)據(jù)采集,又稱數(shù)據(jù)獲取,通常有兩種解釋:一種是從數(shù)據(jù)源收集、識別和選取數(shù)據(jù)的過程。另一種是數(shù)字化、電子掃描系統(tǒng)的記錄過程以及內(nèi)容和屬性的編碼過程。數(shù)據(jù)采集技術廣泛引用在各個領域,比如攝像頭,麥克風,都是數(shù)據(jù)采集工具。
“大數(shù)據(jù)”是指一組數(shù)據(jù)集非常龐大且復雜,以致于很難利用現(xiàn)有的數(shù)據(jù)庫管理工具進行處理。它有助于統(tǒng)一大型數(shù)據(jù)集,并能夠從分析中得出其它信息,而不是來自具有相同數(shù)據(jù)總量的單獨的較小數(shù)據(jù)集。大數(shù)據(jù)時代的來臨,帶來了很多現(xiàn)實中的難題,為了解決這些難題需要新的技術變革,需要新一代的數(shù)據(jù)庫技術,業(yè)界稱之為大數(shù)據(jù)技術。IDC這樣定義大數(shù)據(jù)技術:大數(shù)據(jù)技術將被設計用于在成本可承受(economically)的條件下,通過非常快速(velocity)的采集、發(fā)現(xiàn)和分析,從大量化(volumes)、多類別(variety)的數(shù)據(jù)中提取價值(value),將是IT領域新一代的技術與架構的變革。
由此看來,大數(shù)據(jù)產(chǎn)生的第一步就是大數(shù)據(jù)采集。那么對于安防行業(yè)來說,大數(shù)據(jù)產(chǎn)生的一個最重要的途徑就是視頻監(jiān)控,監(jiān)控攝像機也就成為最重要的大數(shù)據(jù)采集工具。
視頻監(jiān)控數(shù)據(jù)有兩個方面的內(nèi)涵--海量和非結構化。視頻監(jiān)控數(shù)據(jù)量規(guī)模龐大,并且隨著高清化、超高清化的趨勢加強,視頻監(jiān)控數(shù)據(jù)規(guī)模將以更快的指數(shù)級別增長;與通常講的結構化數(shù)據(jù)不同,視頻監(jiān)控業(yè)務產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結構化的數(shù)據(jù)為主,這給傳統(tǒng)的數(shù)據(jù)管理和使用機制帶來了極大的挑戰(zhàn)。
“除了上帝,任何人都必須用數(shù)據(jù)來說話”,美國著名管理學家、統(tǒng)計學家愛德華·戴明將數(shù)據(jù)提升和上帝平行的高度。視頻監(jiān)控業(yè)務正是一個典型的數(shù)據(jù)依賴型業(yè)務,依靠數(shù)據(jù)說話。可以說,大數(shù)據(jù)與視頻監(jiān)控業(yè)務有著天然的結合。綜合來看,大數(shù)據(jù)與視頻監(jiān)控業(yè)務的結合主要體現(xiàn)在“存”、“看”、“用”上。
“閃存”:如果類比水庫蓄水的方式,典型的網(wǎng)絡視頻監(jiān)控數(shù)據(jù)存儲模型是一個由小溪匯聚河流、再匯聚到水庫的蓄水方式。小溪數(shù)量增多、水量增大是水庫蓄水量的保證,然而傳統(tǒng)方式下蓄水量增大將提高水庫建造成本和蓄水安全的要求。而采用分布式蓄水模式,在河流中游建立多個中間蓄水池,不僅可以減少主水庫蓄水壓力和成本,化整為零也提高了就近用水效率。在大數(shù)據(jù)技術支撐下,網(wǎng)絡視頻監(jiān)控數(shù)據(jù)存儲模型可轉向分布式的數(shù)據(jù)存儲體系,提供高效、安全、廉價的存儲方式。
“易看”:在視頻監(jiān)控業(yè)務中,錯看漏看、來不及看等是常見的困擾點。大數(shù)據(jù)監(jiān)控圖像的回溯給許多安防監(jiān)控管理人員帶來了生理與心理的雙重挑戰(zhàn)。在大量人力投入的公安案件追溯中,都常常耳聞“看到吐”、“看到暈”等無奈和感嘆。可想而知一般零售行業(yè)、金融行業(yè)等,對于視頻監(jiān)控圖像的回溯就更為困難。在視頻監(jiān)控大數(shù)據(jù)趨勢已經(jīng)來臨之際,依靠人眼去檢索、查看所有視頻圖像數(shù)據(jù)已經(jīng)不太現(xiàn)實。通過大數(shù)據(jù)技術實現(xiàn)視頻圖像模糊查詢、快速檢索、精準定位,讓看變得簡單迫在眉睫。
“善用”:視頻監(jiān)控業(yè)務中,看只是信息采集的方式之一,用才是業(yè)務應用的根本。視頻監(jiān)控業(yè)務的效率問題已經(jīng)成為阻礙產(chǎn)業(yè)發(fā)展的關鍵瓶頸。隨著視頻監(jiān)控攝像機覆蓋廣度、密度增大,視頻圖像數(shù)據(jù)量呈指數(shù)級上升,而視頻監(jiān)控數(shù)據(jù)的使用效率卻在下降。
大數(shù)據(jù)背景下,視頻監(jiān)控遭遇幾大困境
飛速增長的視頻監(jiān)控數(shù)據(jù),使得傳統(tǒng)視頻監(jiān)控體系架構、數(shù)據(jù)的管理方式、數(shù)據(jù)分析應用等面臨新的困境。
數(shù)據(jù)量的急劇擴大和IT投資之間的矛盾
按照IT產(chǎn)業(yè)的法則:在滿足客戶需求的前提之下,往往技術成本越低,其生命力往往越強。由于數(shù)據(jù)量的急速擴大,以及隨之而來的大規(guī)模計算的需求越來越多,一味采用高配硬件,使得硬件投資成為客戶不可承受之重,客戶越來越希望在滿足需求的前提下,用中低端的硬件來替換高配硬件。
海量數(shù)據(jù)和有效數(shù)據(jù)之間的矛盾
攝像頭7X24小時工作,如實記錄鏡頭覆蓋范圍發(fā)生的一切,僅僅記錄信息是不夠的,因為對于客戶來講可能大部分信息是無效,有效信息可能只分布在一個較短的時間段內(nèi),按照數(shù)學統(tǒng)計的說法,信息是呈現(xiàn)冪律分布的,也稱之為信息的密度,往往越高密度的信息對客戶價值越大。
資源利用和效率之間的矛盾,串行計算和并行計算的矛盾
視頻監(jiān)控業(yè)務網(wǎng)絡化、大聯(lián)網(wǎng)后,網(wǎng)絡內(nèi)的設備越來越多,利用閑置的計算資源,實現(xiàn)資源的最大化利用,關乎運算的效率。在視頻監(jiān)控領域,往往視頻分析的效率決定價值,更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加,哪怕對TB級別的數(shù)據(jù)進行對視頻內(nèi)容的數(shù)據(jù)分析和檢索,采用串行計算的模式都可能需要花費數(shù)小時的計算,已遠遠不能勝任時效性的需求。視頻的分析和檢索,不能依賴于傳統(tǒng)的手段,巨量數(shù)據(jù)的效率優(yōu)化,并行計算是視頻智能分析的唯一出路