君正 T30A: 業內首個專用音視頻融合計算晶片平台

集微網消息, 在AI大潮的強大驅使下, 這兩年以語音識別為代表的智能音箱和以人臉識別為代表的智能攝像機獲得了蓬勃的發展, 大批典型產品紛紛批量落地. 在前端輕型AI計算日趨融合的背景下, 北京君正推出了針對音視頻融合計算的晶片平台——T30A.

計算是智能的基礎

計算是智能的基礎, 也是AI的基礎. 君正T30A瞄準的是前端輕型AI演算法的落地. T30A提供一個1.2GHz主頻的CPU與一個同頻率的128位向量加速引擎, 並且對8位張量計算做了定點優化. 在這樣的核心參數下, T30A可以給視覺演算法和音頻演算法提供相對較高的計算能力. 同時軟體層面打包開放OpenCV/WebRTC優化運算元, 開放向量引擎的底層ABI.

得益於T30A恰當的計算能力, 使得一些前端輕型AI演算法具有快速, 高性價比的落地可能. 例如車牌識別攝像機, 在完成視頻的主體功能之外, T30A還可以單晶片支援低速車牌識別, 目前若干廠商正在逐步落地, 應用於一般出入閘口以及停車場內部.

與此同時, 音視頻融合計算也是當前一個主流趨勢. 君正T30A是一顆專業解決音視頻融合計算的晶片平台, 具有幾個核心特點. 首先在專業性上, 君正T30具有專業的成像, 視頻編碼, 音頻計算等能力, 其有超低碼流H.265/H.264編碼引擎, 專業高品質ISP, 最高500萬解析度, 支援任意大小像素的CMOS sensor; 其次在融合性方面, 君正T30A一顆晶片上就能夠落地智能音頻加智能視頻應用的產品, 它支援數字麥克風陣列, 可支援雙麥/三麥/四麥組合, 並內置類比麥克風音頻codec, 可通過I2S擴展外部音頻codec; 在前端輕型AI計算能力上, T30A依然表現強勢, 面向前端嵌入式AI; 最後在應用上, 君正T30A不同於其他AI概念晶片, T30A有成本, 功耗, 工程等眾多優勢, 產品非常容易落地. T30A的超低運行功耗, 最低至300mW, 還支援屏幕顯示和快速開機, 冷啟動可於一秒內完成.

專業的視頻能力

T30A的基礎是一顆專業的視頻處理晶片. 其內置高品質的ISP可以支援3A/3D-NR, 支援WDR, 微光夜視和全彩. T30A支援H.265/H.264編碼, H.265是目前效率最高的編碼方式之一, 配合各種碼流控制方法, 就可以給多種應用場景提供最恰當的視頻輸出, 從極高品質, 到運動攝錄, 到網路傳輸, 再到多碼流同時輸出均可以支援.

T30A最高可以支援500萬解析度的sensor輸入, 同樣最高500萬解析度的視頻處理. 這樣極高清的解析度, 為各類應用提供了廣泛的視頻接入選擇. 從玩具級輕視頻的1M解析度, 到2K*2K的高清魚眼; 從3u像素的專業安防, 到1.4u的移動攝錄, 均可以支援.

創新的音頻能力

目前業內的視頻處理器晶片, 音頻功能普遍較弱. 君正T30A創新性地對音頻能力做了定向增強. 以視頻為中心, 是君正T30A音視頻融合計算的基礎. 專業的視頻處理能力, 為單純的音頻智能插上了強大的翅膀.

T30A首先創新性地整合了數字麥克風陣列介面, 可以支援雙麥/三麥/四麥等多種陣列組合方式. 基於數字麥克風陣列, 就可以使T30A獲得接近最近非常火爆的 '小愛同學' , '天貓精靈' 等音箱產品的語音能力. 君正聯合了業內多家知名的語音演算法供應商, 把DOA, NR, AEC, Beamforming, De-Reverbration等整合到位, 直接提供 '搖頭機聲源定位' '命令詞控制' 等功能.

T30A中包含音頻codec, 並且可以通過I2S介面擴展越級的音頻codec, 來達到發燒級的音頻品質.

從這些獨特的特性來看, 君正T30A無疑是音頻潛力很強的專業視頻處理器. 基於這些能力, 一系列需要視頻與音頻融合的產品呼之欲出. 例如語音識別攝像機, 在原來智能攝像機的基礎上增加語音命令, 聲源跟蹤等功能. 另外像目前若干品牌正在研發的教育機器人和兒童故事機, 則是在原來純音頻的功能上增加遠程視頻能力, 使得產品躍升一個級別.

創新差異化撬動智能視頻大市場

除了音頻之外, T30A在經典攝像機的基礎上, 還增加了另外一系列有趣的差異化創新. 為廣闊的泛視頻市場提供一個通用型的視頻處理平台.

T30A配套標準UVC/UAC協議集, 配合H.265可以打造全新的高階USB攝像頭. 由於USB的通用性, USB攝像頭不僅可以接入PC即插即用, 也可以接入機頂盒, Android/iOS設備作為增強的視頻輸入設備.

另外, 屏幕顯示, 一秒以內的快速啟動, 低至300mW的視頻運行功耗, 這些特點為創新產品, 跨界產品提供了超越想象的可能. 例如互動式攝像機, 快速啟動的攝錄產品, 移動攝錄, 網路視頻會議終端, 都可以在T30A的平台上開花結果.

君正T30A是第一個音視頻融合計算晶片, 為廣闊的泛視頻市場提供了一個全面型的通用型的視頻處理平台. 以音視頻融合為中心, 以前端輕型AI計算為目標, 君正T30A可以覆蓋多種應用產品. 綜合看來, 在車牌識別攝像機, 語音識別攝像機, 屏幕交互攝像機, 教育機器人, 兒童故事機, USB攝像頭, 視頻會議終端等產品和領域上, 君正T30A都將大有作為.

2016 GoodChinaBrand | ICP: 12011751 | China Exports