隨著多媒體信息技術(shù)和網(wǎng)絡(luò)通信技術(shù)的迅猛發(fā)展,數(shù)字視頻技術(shù)的應(yīng)用領(lǐng)域不斷拓寬,IPTV、立體電影和自由視頻等多樣化新型視頻服務(wù)業(yè)務(wù)的不斷涌現(xiàn),視頻編碼已成為數(shù)字電視、網(wǎng)絡(luò)視頻和移動多媒體等信息產(chǎn)業(yè)的基礎(chǔ)核心技術(shù)之一,在安防、教育、廣電、傳媒等領(lǐng)域具有廣闊的應(yīng)用前景。
國際上制定視頻編碼標(biāo)準(zhǔn)的兩大組織分別是ITU-T與ISO/IEC,ITU-T制定的標(biāo)準(zhǔn)主要適用于電視電話、會議電視等,包括:H.261/3/4等;ISO/IEC主要制定關(guān)于活動圖像的編碼標(biāo)準(zhǔn),包括:MPEG-1/2/4,應(yīng)用于廣播電視、DVD、因特網(wǎng)上的流媒體等。目前,在安防行業(yè)中MPEG-4正逐漸淡出人們的視線,雖然H.264依然是目前視頻編解碼標(biāo)準(zhǔn)的主流,但是新一代編碼標(biāo)準(zhǔn)H.265憑借更高的壓縮效率正趨向逐步替代H.264,成為未來安防行業(yè)乃至整個音視頻行業(yè)編解碼技術(shù)的主力軍;另外,中國自主研發(fā)的安防音視頻編解碼標(biāo)準(zhǔn)SVAC,提高了整體監(jiān)控系統(tǒng)的安全性,但源于相關(guān)產(chǎn)業(yè)鏈的尚未成熟,目前還未有較大規(guī)模的應(yīng)用,未來的市場具體應(yīng)用情況會為我們作進(jìn)一步的檢驗(yàn)。
視頻編解碼原理及應(yīng)用分析
視頻為什么要編碼?目的是為了壓縮。由于未經(jīng)壓縮的視頻源常伴有海量數(shù)據(jù)的產(chǎn)生,以期通過擴(kuò)大存儲器容量、增加通信干線的傳輸速率來進(jìn)行每幀圖像的全部數(shù)據(jù)的存儲或傳輸是不現(xiàn)實(shí)的。多媒體聲音、視頻等信源數(shù)據(jù)之間有極強(qiáng)的相關(guān)性,存在大量的冗余信息,如:時(shí)間冗余、空間冗余、視覺冗余等,視頻編碼技術(shù)就是在保證視覺效果的前提下盡可能的提取有效信息,去除視頻作用不大的冗余信息來減少視頻數(shù)據(jù)率,通過壓縮的形式進(jìn)行聲音、視頻的數(shù)字傳輸和存儲,而如何實(shí)現(xiàn)高效的壓縮則是視頻編碼領(lǐng)域長期存在的挑戰(zhàn)性問題。
視頻編碼主要由以下幾個處理階段組成:預(yù)測-變換-量化-熵編碼,如:預(yù)測階段會有空間、時(shí)間冗余的檢測、幀類運(yùn)動的檢測、幀間檢測等;變換包括空間變換,DTP變換等;量化包括視覺冗余、圖像質(zhì)量提高、壓縮比等。不同的視頻編解碼標(biāo)準(zhǔn)從時(shí)間差、技術(shù)發(fā)展上可以得知,其實(shí)是在繼承預(yù)測變換混合視頻編碼框架的基礎(chǔ)上,對預(yù)測、變換、量化、熵編碼等技術(shù)細(xì)節(jié)上做出優(yōu)化與改進(jìn),其區(qū)別可能體現(xiàn)在圖像分辨力的定義、預(yù)測精度、包括搜索范圍、量化、補(bǔ)強(qiáng)等參數(shù)上的差異。
H.264
H.264/AVC標(biāo)準(zhǔn)是ITU-T和ISO/IEC聯(lián)合開發(fā)的新一代數(shù)字視頻編碼標(biāo)準(zhǔn),它既是ITU-T的H.264,又是ISO/IEC的MPEG-4的第10部分---AVC。與以往的國際編碼標(biāo)準(zhǔn)一樣,H.264采用傳統(tǒng)的基于塊的混合編碼框架,將輸入的圖像分成若干個大小為16x16的編碼塊,即宏塊;利用相鄰像素進(jìn)行幀內(nèi)預(yù)測或者前面參考圖像進(jìn)行幀間預(yù)測,分別去除空域冗余和時(shí)域冗余,將原始編碼塊與預(yù)測塊相減得到預(yù)測殘差;之后對預(yù)測殘差進(jìn)行頻域DCT變換得到變換系數(shù)并量化;最后利用熵編碼進(jìn)行二進(jìn)制編碼,最大限度地去除量化后數(shù)據(jù)間的符號統(tǒng)計(jì)冗余。H.264其核心部分是在視頻編碼層采用了多項(xiàng)先進(jìn)編碼技術(shù),如:多模式的空域幀內(nèi)預(yù)測、更小尺寸的幀間預(yù)測、可變動運(yùn)動估計(jì)、1/4像素精度運(yùn)動估計(jì)補(bǔ)償、整數(shù)DCT變換、基于內(nèi)容的熵編碼以及自適應(yīng)去塊效應(yīng)濾波等,并且利用率失真優(yōu)化進(jìn)行運(yùn)動估計(jì)矢量和預(yù)測模式選擇,提高視頻編碼的率失真性能。
與MPEG-4等以往的編解碼標(biāo)準(zhǔn)相比,H.264最具價(jià)值的部分無疑是更高的數(shù)據(jù)壓縮比、更友好的網(wǎng)絡(luò)適應(yīng)性。在不同分辨率、碼率下,H.264都能提供較高的視頻質(zhì)量;在同等的視頻質(zhì)量條件下,H.264的數(shù)據(jù)壓縮比相較于DVD系統(tǒng)中使用的MPEG-2高2-3倍,比MPEG-4高1.5-2倍,因此在網(wǎng)絡(luò)傳輸過程中所需的寬帶就更少;另外,采用“網(wǎng)絡(luò)友善”的結(jié)構(gòu)和語法,使其更有利于網(wǎng)絡(luò)傳輸;其靈活性的增強(qiáng)也為不同的開發(fā)商提供了互聯(lián)互通的通用平臺,這些對于有大量視頻傳輸及存儲需求的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)來說都是非常重要的,也是其成為目前視頻編解碼標(biāo)準(zhǔn)主流的奠基石。
H.265
隨著超高清技術(shù)、云存儲等技術(shù)的快速發(fā)展,盡管網(wǎng)絡(luò)帶寬和存儲能力得到迅速提升,但是也未能真正滿足海量視頻數(shù)據(jù)對傳輸和存儲產(chǎn)生新的要求。在ITU-T與ISO/IEC聯(lián)合協(xié)作小組再次通力合作下制定的新一代高效視頻編碼國際標(biāo)準(zhǔn)H.265/HEVC,提高了視頻壓縮效率、傳輸友好特性、網(wǎng)絡(luò)適應(yīng)性以及加強(qiáng)并行處理能力等,其突出的核心競爭力如下:
1、在圖像分塊以及運(yùn)動補(bǔ)償、變換塊方面,支持更大尺寸和更多種類。H.264中每個宏塊的固定大小都是16x16像素,而H.265的編碼單位采用更大的編碼單元,可以從8x8到64x64進(jìn)行選擇,其目的在于減少高清數(shù)字視頻的宏塊個數(shù),相當(dāng)于對圖像進(jìn)行了有重點(diǎn)的編碼,降低了整體碼率;
2、幀內(nèi)/幀間預(yù)測模式、運(yùn)動矢量預(yù)測模式和變換模式更加多樣。使用新的運(yùn)動矢量預(yù)測方式,區(qū)別于H.264基于空間域的運(yùn)動矢量預(yù)測方式,H.265擴(kuò)充更多方向的幀內(nèi)預(yù)測,同時(shí)將預(yù)測塊的集合由原來的空間域擴(kuò)展到時(shí)間域及空時(shí)混合域,通過率失真準(zhǔn)則計(jì)算后選擇最佳的預(yù)測塊,以獲得更高的壓縮比、更低的傳輸帶寬;
3、更高的分辨率定義可以支持高達(dá)4K和8K分辨率的視頻圖像,視頻幀率也從30fps向60fps、120fps甚至240fps的超高幀率提升;
4、增加環(huán)內(nèi)采樣自適應(yīng)偏移SAO,通過對重建圖像的分類,對每一類圖像像素值加減一個偏移,達(dá)到減少失真的目的,從而提高壓縮率,減少碼流。數(shù)據(jù)表明,采用SAO后,平均可以減少2%~6%的碼流,而編碼器和解碼器的性能消耗僅僅增加了約2%;
5、考慮到芯片趨向從單核向多核并行化方向發(fā)展,引入Tile、Entropyslice、WPP等并行運(yùn)算思路,更好地支持并行運(yùn)算,以提高編碼解碼效率。
有反復(fù)測試數(shù)據(jù)表明,在相同的圖象質(zhì)量下,相比于H.264,通過H.265編碼的視頻大小將減少大約39-44%;在碼率減少51-74%的情況下,H.265編碼視頻的質(zhì)量還能與H.264編碼視頻近似甚至更好。
盡管H.265涵蓋了H.264的所有應(yīng)用范圍,能夠較好的解決當(dāng)前視頻高清化、網(wǎng)絡(luò)化發(fā)展所帶來的帶寬、存儲、顯示的難題,但是它的推廣、普及并非能一蹴而就。浙江大華技術(shù)股份有限公司產(chǎn)品經(jīng)理?xiàng)铌柗治觯骸癏.265屬于新技術(shù),需要專門的芯片來支持,目前為止還需要更多的芯片廠家支持該協(xié)議;另外,還涉及到授權(quán)費(fèi)問題,如果商用化就必須繳納相應(yīng)的授權(quán)費(fèi)用,目前還未制定出未來將會如何收費(fèi)?!?
SVAC
目前主流推廣的視音頻編碼國際標(biāo)準(zhǔn)基本都針對廣播電視和大眾娛樂方面的應(yīng)用,在安防領(lǐng)域具有很大的不適應(yīng)性。我國公安部第一研究所和中星微公司牽頭制定了SVAC標(biāo)準(zhǔn),旨在解決當(dāng)前安防監(jiān)控領(lǐng)域存在的由于信源編碼標(biāo)準(zhǔn)不統(tǒng)一導(dǎo)致的難以互聯(lián)互通、核心技術(shù)匱乏和信息安全隱患等問題,創(chuàng)新性地提出了多項(xiàng)針對安防監(jiān)控領(lǐng)域應(yīng)用的視音頻編解碼特殊要求和實(shí)現(xiàn)手段,如:感興趣區(qū)域的變質(zhì)量編碼、可伸縮視頻編碼以及支持安防監(jiān)控專用信息、支持?jǐn)?shù)據(jù)安全保護(hù)等8大技術(shù)創(chuàng)新(如下)。
1、支持高精度視頻數(shù)據(jù),在高動態(tài)范圍場景提供更多圖像細(xì)節(jié),減少編解碼環(huán)節(jié)的圖像信息損失;
2、采用幀內(nèi)4x4預(yù)測與變換、上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)等技術(shù)提高編碼效率,在獲得更好圖像質(zhì)量的同時(shí)也能獲得更高的編碼效率;
3、支持感興趣區(qū)域(ROI)變質(zhì)量編碼,在網(wǎng)絡(luò)帶寬或存儲空間有限的情況下,對圖像中指定區(qū)域的編碼參數(shù)調(diào)整,保證該區(qū)域比圖像中其他區(qū)域有更好的解碼重建圖像質(zhì)量,提供更符合監(jiān)控需要的高質(zhì)量視頻編碼;
4、支持可伸縮視頻編碼(SVC),即多種分辨率視頻圖像同時(shí)編碼,根據(jù)傳輸帶寬和存儲空間動態(tài)切換編碼碼流,滿足不同傳輸網(wǎng)絡(luò)帶寬和數(shù)據(jù)存儲環(huán)境的需求;
5、支持代數(shù)碼書激勵線性預(yù)測(ACELP)和變換音頻編碼(TAC)切換的雙核音頻編碼,保證對語音和環(huán)境(背景)聲音均有較好的編碼效果;
6、支持聲音識別特征參數(shù)編碼,避免編碼失真對語音識別和聲紋識別的影響;
7、支持監(jiān)控專用信息,在編碼視(音)頻碼流中嵌入包括絕對時(shí)間、智能分析結(jié)果、報(bào)警信息在內(nèi)的監(jiān)控專用信息,信息格式符合國家標(biāo)準(zhǔn)GB/T25724-2010(SVAC)的規(guī)定,便于視音頻內(nèi)容的有效管理和綜合利用;
8、支持碼流加密和密鑰認(rèn)證,對編碼視(音)頻碼流進(jìn)行加密和認(rèn)證,保護(hù)編碼數(shù)據(jù)的安全性、完整性和非否認(rèn)性。
對于SVAC未來的競爭,杭州??低晹?shù)字技術(shù)股份有限公司高級算法經(jīng)理武曉陽為我們分析道:
在技術(shù)上,SVAC跟H.264和AVS屬于同一代標(biāo)準(zhǔn)。2013年,H.265標(biāo)準(zhǔn)已經(jīng)頒布,作為國際標(biāo)準(zhǔn),在業(yè)界呼聲很高,而且編碼性能也領(lǐng)先H.264,用一半的碼流達(dá)到與H.264相同的編碼質(zhì)量,而且充分考慮了面向多核處理的并行技術(shù)。
在功能上,SVAC具有的行業(yè)特色功能:ROI、SVC、監(jiān)控專用信息、加密認(rèn)證等,通過對H.264、H.265編碼策略的優(yōu)化以及設(shè)計(jì)有效封裝傳輸層方案也能夠滿足。其實(shí),監(jiān)控行業(yè)現(xiàn)有大量基于H.264的產(chǎn)品和方案,都是采用這樣的方式滿足視頻監(jiān)控的需要。
在產(chǎn)業(yè)鏈上面,支持H.264的編解碼平臺很多,產(chǎn)業(yè)鏈成熟,成本較低。就是剛出來的H.265,國內(nèi)外很多廠家也紛紛公布支持計(jì)劃,可以預(yù)見接下來一兩年會有很多平臺出現(xiàn)。對于SVAC,很多平臺廠家仍還在觀望,沒有推出可行的方案。
面對這些競爭壓力,SVAC要勝出,需要加快技術(shù)發(fā)展,推出更有競爭力的標(biāo)準(zhǔn);同時(shí)采取更加開放政策,比如充分公開標(biāo)準(zhǔn)細(xì)節(jié)、公開標(biāo)準(zhǔn)的參考代碼、提供一致性測試碼流、明細(xì)知識產(chǎn)權(quán)政策等,以吸引更多廠家進(jìn)來,合力打造SVAC發(fā)展的生態(tài)系統(tǒng)。
芯片迎來挑戰(zhàn)
編解碼的實(shí)現(xiàn)是依靠半導(dǎo)體芯片技術(shù),它具有硬變硬解的能力,通過芯片編碼、解碼,來提高產(chǎn)品的性價(jià)比。霍尼韋爾(中國)有限公司解決方案顧問王洪波解析道,SVAC目前遇到的難點(diǎn)其實(shí)并不是在技術(shù)層面,更多的是在市場。不同于H.264這類國際標(biāo)準(zhǔn),SVAC的產(chǎn)業(yè)鏈尚不成熟,由于采用的是中星微電子獨(dú)有的技術(shù),目前只有這家公司能夠提供支持SVAC的芯片,其他廠商仍在觀察SVAC在國內(nèi)的推廣力度,并沒有在芯片的設(shè)計(jì)上去深入的和中星微電子合作,而是在芯片的兼容性上盡量去匹配SVAC編解碼格式的需要。另外,被譽(yù)為下一代視頻壓縮標(biāo)準(zhǔn)主流規(guī)范的H.265,其革命性變化所帶來更好的壓縮比、圖像質(zhì)量、更低的帶寬及存儲空間等優(yōu)勢,是以算法的復(fù)雜度大增為代價(jià)的,算法越復(fù)雜,導(dǎo)致的直接需求是視頻編碼芯片、解碼芯片等硬件處理能力的更高要求,因此只有芯片處理能力的增強(qiáng),算法復(fù)雜性對應(yīng)用的影響因素越來越小,新一代更高效的編解碼技術(shù)才能在行業(yè)中真正的得以展現(xiàn)。
總結(jié)
經(jīng)過三十年多的發(fā)展演變,視頻編碼技術(shù)得到了深入的研究和發(fā)展,視頻編碼技術(shù)日新月異,視頻編碼國際標(biāo)準(zhǔn)也在不斷的推陳出新。H.265的推出為監(jiān)控行業(yè)帶來了諸多積極的影響,包括:加速高清普及,推進(jìn)超高清4K的發(fā)展;降低存儲和傳輸成本,影響安防行業(yè)整個解決方案;隨著碼率降低和傳輸帶寬增加,特別是無線帶寬增加,監(jiān)控應(yīng)用場景更多,擴(kuò)展到移動端,逐漸進(jìn)入民用消費(fèi)者等;而重在視頻監(jiān)控行業(yè)的垂直發(fā)展,力求專業(yè)的國內(nèi)強(qiáng)推的標(biāo)準(zhǔn)規(guī)范SVAC,提高了系統(tǒng)的安全性,擺脫國外相關(guān)標(biāo)準(zhǔn)目前存在的各種專利陷阱,也會在國內(nèi)視頻監(jiān)控領(lǐng)域得到廣泛的發(fā)展。究竟誰更能助力安防行業(yè)呢,讓我們一起翹盼吧!