君正?T30A：業(yè)內(nèi)首個(gè)專用音視頻融合計(jì)算芯片平臺(tái)

在AI大潮的強(qiáng)大驅(qū)使下，這兩年以語(yǔ)音識(shí)別為代表的智能音箱和以人臉識(shí)別為代表的智能攝像機(jī)獲得了蓬勃的發(fā)展，大批典型產(chǎn)品紛紛批量落地。在前端輕型AI計(jì)算日趨融合的背景下，北京君正推出了針對(duì)音視頻融合計(jì)算的芯片平臺(tái)——T30A。

計(jì)算是智能的基礎(chǔ)

計(jì)算是智能的基礎(chǔ)，也是AI的基礎(chǔ)。君正T30A瞄準(zhǔn)的是前端輕型AI算法的落地。T30A提供一個(gè)1.2GHz主頻的CPU與一個(gè)同頻率的128位向量加速引擎，并且對(duì)8位張量計(jì)算做了定點(diǎn)優(yōu)化。在這樣的核心參數(shù)下，T30A可以給視覺(jué)算法和音頻算法提供相對(duì)較高的計(jì)算能力。同時(shí)軟件層面打包開(kāi)放OpenCV/WebRTC優(yōu)化算子，開(kāi)放向量引擎的底層ABI。

得益于T30A恰當(dāng)?shù)挠?jì)算能力，使得一些前端輕型AI算法具有快速、高性價(jià)比的落地可能。例如車牌識(shí)別攝像機(jī)，在完成視頻的主體功能之外，T30A還可以單芯片支持低速車牌識(shí)別，目前若干廠商正在逐步落地，應(yīng)用于一般出入閘口以及停車場(chǎng)內(nèi)部。

與此同時(shí)，音視頻融合計(jì)算也是當(dāng)前一個(gè)主流趨勢(shì)。君正T30A是一顆專業(yè)解決音視頻融合計(jì)算的芯片平臺(tái)，具有幾個(gè)核心特點(diǎn)。首先在專業(yè)性上，君正T30具有專業(yè)的成像，視頻編碼，音頻計(jì)算等能力，其有超低碼流H.265/H.264編碼引擎，專業(yè)高品質(zhì)ISP，最高500萬(wàn)分辨率，支持任意大小像素的CMOS sensor；其次在融合性方面，君正T30A一顆芯片上就能夠落地智能音頻加智能視頻應(yīng)用的產(chǎn)品，它支持?jǐn)?shù)字麥克風(fēng)陣列，可支持雙麥/三麥/四麥組合，并內(nèi)置模擬麥克風(fēng)音頻codec，可通過(guò)I2S擴(kuò)展外部音頻codec；在前端輕型AI計(jì)算能力上，T30A依然表現(xiàn)強(qiáng)勢(shì)，面向前端嵌入式AI；最后在應(yīng)用上，君正T30A不同于其他AI概念芯片，T30A有成本、功耗、工程等眾多優(yōu)勢(shì)，產(chǎn)品非常容易落地。T30A的超低運(yùn)行功耗，最低至300mW，還支持屏幕顯示和快速開(kāi)機(jī)，冷啟動(dòng)可于一秒內(nèi)完成。

專業(yè)的視頻能力

T30A的基礎(chǔ)是一顆專業(yè)的視頻處理芯片。其內(nèi)置高品質(zhì)的ISP可以支持3A/3D-NR，支持WDR，微光夜視和全彩。T30A支持H.265/H.264編碼，H.265是目前效率最高的編碼方式之一，配合各種碼流控制方法，就可以給多種應(yīng)用場(chǎng)景提供最恰當(dāng)?shù)囊曨l輸出，從極高品質(zhì)，到運(yùn)動(dòng)攝錄，到網(wǎng)絡(luò)傳輸，再到多碼流同時(shí)輸出均可以支持。

T30A最高可以支持500萬(wàn)分辨率的sensor輸入，同樣最高500萬(wàn)分辨率的視頻處理。這樣極高清的分辨率，為各類應(yīng)用提供了廣泛的視頻接入選擇。從玩具級(jí)輕視頻的1M分辨率，到2K*2K的高清魚(yú)眼；從3u像素的專業(yè)安防，到1.4u的移動(dòng)攝錄，均可以支持。

創(chuàng)新的音頻能力

目前業(yè)內(nèi)的視頻處理器芯片，音頻功能普遍較弱。君正T30A創(chuàng)新性地對(duì)音頻能力做了定向增強(qiáng)。以視頻為中心，是君正T30A音視頻融合計(jì)算的基礎(chǔ)。專業(yè)的視頻處理能力，為單純的音頻智能插上了強(qiáng)大的翅膀。

T30A首先創(chuàng)新性地集成了數(shù)字麥克風(fēng)陣列接口，可以支持雙麥/三麥/四麥等多種陣列組合方式?；跀?shù)字麥克風(fēng)陣列，就可以使T30A獲得接近最近非?；鸨摹靶?ài)同學(xué)”、“天貓精靈”等音箱產(chǎn)品的語(yǔ)音能力。君正聯(lián)合了業(yè)內(nèi)多家知名的語(yǔ)音算法供應(yīng)商，把DOA，NR，AEC，Beamforming，De-Reverbration等整合到位，直接提供“搖頭機(jī)聲源定位”“命令詞控制”等功能。

T30A中包含音頻codec，并且可以通過(guò)I2S接口擴(kuò)展越級(jí)的音頻codec，來(lái)達(dá)到發(fā)燒級(jí)的音頻品質(zhì)。

從這些獨(dú)特的特性來(lái)看，君正T30A無(wú)疑是音頻潛力很強(qiáng)的專業(yè)視頻處理器?；谶@些能力，一系列需要視頻與音頻融合的產(chǎn)品呼之欲出。例如語(yǔ)音識(shí)別攝像機(jī)，在原來(lái)智能攝像機(jī)的基礎(chǔ)上增加語(yǔ)音命令，聲源跟蹤等功能。另外像目前若干品牌正在研發(fā)的教育機(jī)器人和兒童故事機(jī)，則是在原來(lái)純音頻的功能上增加遠(yuǎn)程視頻能力，使得產(chǎn)品躍升一個(gè)級(jí)別。

創(chuàng)新差異化撬動(dòng)智能視頻大市場(chǎng)

除了音頻之外，T30A在經(jīng)典攝像機(jī)的基礎(chǔ)上，還增加了另外一系列有趣的差異化創(chuàng)新。為廣闊的泛視頻市場(chǎng)提供一個(gè)通用型的視頻處理平臺(tái)。

T30A配套標(biāo)準(zhǔn)UVC/UAC協(xié)議集，配合H.265可以打造全新的高階USB攝像頭。由于USB的通用性，USB攝像頭不僅可以接入PC即插即用，也可以接入機(jī)頂盒，Android/iOS設(shè)備作為增強(qiáng)的視頻輸入設(shè)備。

另外，屏幕顯示，一秒以內(nèi)的快速啟動(dòng)，低至300mW的視頻運(yùn)行功耗，這些特點(diǎn)為創(chuàng)新產(chǎn)品，跨界產(chǎn)品提供了超越想象的可能。例如交互式攝像機(jī)，快速啟動(dòng)的攝錄產(chǎn)品，移動(dòng)攝錄，網(wǎng)絡(luò)視頻會(huì)議終端，都可以在T30A的平臺(tái)上開(kāi)花結(jié)果。

君正T30A是第一個(gè)音視頻融合計(jì)算芯片，為廣闊的泛視頻市場(chǎng)提供了一個(gè)全面型的通用型的視頻處理平臺(tái)。以音視頻融合為中心，以前端輕型AI計(jì)算為目標(biāo)，君正T30A可以覆蓋多種應(yīng)用產(chǎn)品。綜合看來(lái)，在車牌識(shí)別攝像機(jī)、語(yǔ)音識(shí)別攝像機(jī)、屏幕交互攝像機(jī)、教育機(jī)器人、兒童故事機(jī)、USB攝像頭、視頻會(huì)議終端等產(chǎn)品和領(lǐng)域上，君正T30A都將大有作為。