視頻處理算法的不斷改進(jìn)使得人們可以在越來越低碼率的情況下獲得更高的處理質(zhì)量。 這些好處也造就了更多的基于視頻處理的應(yīng)用需求， 包括基于流媒體的機(jī)頂盒，數(shù)字視頻錄像機(jī)（DVR），數(shù)字視頻廣播（DVB），網(wǎng)絡(luò)監(jiān)控?cái)z像頭以及可視電話（videophone）等等。 這些應(yīng)用共同之處在于它們都要求對(duì)視頻的處理，處理的方式包括對(duì)視頻數(shù)據(jù)的編碼和解碼，例如MJPEG, MPEG4,H.263以及目前相當(dāng)受關(guān)注的H.264；或者實(shí)現(xiàn)對(duì)不同壓縮制式之間的轉(zhuǎn)碼（Transcode）。這些應(yīng)用都要求主處理芯片有非常強(qiáng)的視頻處理功能。在對(duì)視頻質(zhì)量要求不斷提高的同時(shí)，還要求整個(gè)設(shè)計(jì)實(shí)現(xiàn)保持很低的成本和功耗水平。
基于Blackfin?的視頻應(yīng)用系統(tǒng)
對(duì)于設(shè)計(jì)工程師們來說選擇一款合適的處理器來滿足視頻應(yīng)用中日益提高的要求是一件挑戰(zhàn)性的任務(wù)。為滿足當(dāng)前視頻應(yīng)用的需求，處理器首先必須有足夠強(qiáng)大的視頻處理能力，尤其在實(shí)現(xiàn)基于MPEG4 及 H.264 這樣的復(fù)雜視頻處理算法的應(yīng)用時(shí)。在這些高性能視頻應(yīng)用中，通常數(shù)據(jù)運(yùn)算量極大。PAL和NTSC電視信號(hào)分別為25幀/秒和30幀/秒，編解碼器需要每秒處理162000個(gè)宏塊(Macro Block)。在H.264的編解碼處理中要對(duì)每個(gè)宏塊進(jìn)行整型變化和反整型變化,運(yùn)動(dòng)搜索，宏塊重構(gòu)1。沒有經(jīng)過深入優(yōu)化的H.264 CIF大小編碼大約需要50,000萬到1000，000萬指令周期。
此外，隨之而來的困難還包括如何將豐富的系統(tǒng)應(yīng)用層和復(fù)雜的音視處理模塊高度集成來實(shí)現(xiàn)低成本的解決方案。 傳統(tǒng)的方法是在系統(tǒng)中同時(shí)加入一個(gè)MCU和一個(gè)數(shù)字信號(hào)處理器。MCU用于實(shí)現(xiàn)系統(tǒng)控制及應(yīng)用層，包括象網(wǎng)絡(luò)TCP\IP協(xié)議等各種協(xié)議棧。而DSP用來完成一些大數(shù)據(jù)量的運(yùn)算，象H.264編解碼之類的視頻處理。在這種結(jié)構(gòu)下，工程師在系統(tǒng)實(shí)現(xiàn)時(shí)不得不面對(duì)兩種不同的處理器，這使得系統(tǒng)的設(shè)計(jì)和調(diào)試都顯得不太容易。 并且一個(gè)多個(gè)處理器并存的系統(tǒng)很難滿足低成本和低功耗的苛刻要求。
不過讓工程師們覺得興奮的是，過去因?yàn)閹捄吞幚砟芰Φ南拗?，只能在簡單音頻處理領(lǐng)域發(fā)揮作用的數(shù)字信號(hào)處理器，由于性能的不斷提高，也開始在復(fù)雜視頻應(yīng)用領(lǐng)域大顯身手。如今，工程師們可以在一個(gè)單一的結(jié)構(gòu)中，這里指的是一個(gè)單一的處理器，來實(shí)現(xiàn)包括系統(tǒng)應(yīng)用層和視頻編解碼處理。例如Analog Devices Inc 推出的Blackfin?系列媒體處理器。
Blackfin 處理器是一類專為滿足當(dāng)今嵌入式音頻、視頻和通信應(yīng)用的計(jì)算要求和功耗約束條件而設(shè)計(jì)的新型 16～32 位嵌入式處理器，如圖1。Blackfin 處理器基于由 ADI 和 Intel 公司聯(lián)合開發(fā)的微信號(hào)架構(gòu)（MSA），它將一個(gè) 32 位 RISC 型指令集和雙 16 位乘法累加（MAC）信號(hào)處理功能與通用型微控制器所具有的易用性組合在了一起。 這種處理特征的組合使得 Blackfin 處理器能夠在信號(hào)處理和控制處理應(yīng)用中均能發(fā)揮出色的作用 -- 在許多場合中免除了增設(shè)單獨(dú)的微控制器（MCU）的需要。該能力極大地簡化了硬件和軟件設(shè)計(jì)和實(shí)現(xiàn)難度。

圖1 ADSP-BF561系統(tǒng)結(jié)構(gòu)示意圖

目前，Blackfin 處理器在產(chǎn)品中可提供高達(dá) 756MHz 的性能，還提供了低至 0.8V 的業(yè)界的功耗性能。
下面我們以IP視頻可視電話為例來看看采用Blackfin來設(shè)計(jì)實(shí)現(xiàn)基于IP的復(fù)雜視頻應(yīng)用。
IP視頻電話產(chǎn)品應(yīng)該不算是一個(gè)新的產(chǎn)品概念了。目前市面上有的IP視頻電話多采用H.263和H.264編解碼格式。對(duì)于一般的用戶，大多要求CIF（352x288）的分辨率，實(shí)時(shí)幀率為25或30幀每秒。但隨著視頻處理技術(shù)的不斷發(fā)展，在確保高質(zhì)量實(shí)時(shí)視頻的同時(shí)，對(duì)網(wǎng)絡(luò)帶寬的需求可以大幅減少。H.264/AVC是ITU-T視頻編碼組和ISO/IEC運(yùn)動(dòng)圖像組聯(lián)合提出的一代的視頻編碼標(biāo)準(zhǔn)。在采用H.264格式時(shí)，在低碼率下，甚至64kbps 的碼率時(shí)也可以獲得高質(zhì)量的音視頻。 H.264格式的視頻電話可以比H.263格式的視頻電話節(jié)省近一半的帶寬。所以新的IP視頻電話都將以H.264為標(biāo)準(zhǔn)格式。
作為單芯片方案，我們采用ADSP-BF561媒體處理器作為系統(tǒng)的處理器。 ADSP-BF561處理器是Blackfin 處理器系列中的新型對(duì)稱多處理器成員。ADSP-BF561內(nèi)部有兩個(gè)高性能的MSA架構(gòu)的Blackfin內(nèi)核，提供有專用的視頻處理指令。此外還有多達(dá)328kbytes的片上高速內(nèi)存。既可以很好的支持豐富的應(yīng)用功能如GUI，SIP或H.323協(xié)議棧，還能夠完成復(fù)雜的音視頻編解碼處理，例如H.264單通道CIF的編解碼。硬件平臺(tái)的設(shè)計(jì)如圖2所示。系統(tǒng)中視頻數(shù)據(jù)的輸入輸出由兩個(gè)獨(dú)立的PPI承擔(dān)，Blackfin的PPI 端口能夠支持BT656兼容的視頻數(shù)據(jù)。音頻的輸入輸出由Blackfin?的Sport完成，Sport能夠支持標(biāo)準(zhǔn)的I2S和TDM傳輸模式。此外，可以通過外頻高至133MHz的異步總線接口上擴(kuò)展以太網(wǎng)驅(qū)動(dòng)芯片來提供高速的網(wǎng)絡(luò)傳輸。一些輔助的控制外設(shè)象紅外接口,可以由Blackfin提供的專門支持IrDA的Uart來支持。

圖2 基于ADSP-BF561的視頻可視電話系統(tǒng)結(jié)構(gòu)

在系統(tǒng)軟件結(jié)構(gòu)上，ADSP-BF561提供非對(duì)稱多處理（AMP）和對(duì)稱多處理（SMP）兩種不同的處理架構(gòu)。工程師可以根據(jù)具體應(yīng)用的情況選擇合適的處理架構(gòu)。
在視頻可視電話的應(yīng)用中,采用H.264的視頻編解碼格式，我們?cè)谇懊嬉蔡岬较鄬?duì)于H.263而言H.264算法的一些優(yōu)勢(shì)，當(dāng)然也顯而易見的是H.264對(duì)處理器的處理能力有著更為苛刻要求。因此在ADSP-BF561平臺(tái)上，采用如圖3所示的非對(duì)稱多處理架構(gòu)。由CoreA獨(dú)立的完成H.264的編解碼及音頻的處理，CoreB則承擔(dān)所有應(yīng)用層的任務(wù),例如操作系統(tǒng)uclinux，圖型界面GUI，可視電話網(wǎng)絡(luò)協(xié)議H.323等等。容量高達(dá)128Kbytes的L2內(nèi)部存儲(chǔ)單元可以用于雙核之間的數(shù)據(jù)交換和共享。

圖3 基于ADSP-BF561的非對(duì)稱多處理架構(gòu)

在AMP的架構(gòu)下，CoreA的資源可以由H.264編解碼器全部支配，可以極大的提高編解碼處理的效率。下面看看如何在ADSP-BF561上實(shí)現(xiàn)CIF分辨率的實(shí)時(shí)H.264編解碼處理。
要實(shí)現(xiàn)30fps的H.264實(shí)時(shí)編解碼要求對(duì)算法實(shí)現(xiàn)進(jìn)行優(yōu)化設(shè)計(jì)。優(yōu)化主要分為算法結(jié)構(gòu)優(yōu)化，指令優(yōu)化兩個(gè)主要部分。
算法結(jié)構(gòu)優(yōu)化的就是針對(duì)處理器架構(gòu)的特點(diǎn)來選擇一種優(yōu)化的存儲(chǔ)區(qū)分配管理和數(shù)據(jù)處理模式。
眾所周知，處理器內(nèi)部存儲(chǔ)器的訪問速度比外部SDRAM的訪問速度要快很多。但嵌入式處理器的內(nèi)部存儲(chǔ)空間通常比較小。雖然ADSP-BF561 有多達(dá)328kbytes的片上空間，可但相對(duì)于視頻處理對(duì)存儲(chǔ)空間的要求而言還是有限。怎樣分配和管理系統(tǒng)的存儲(chǔ)空間對(duì)處理效率有著很大的影響。對(duì)數(shù)據(jù)區(qū)來說，在H.264中，象VLC和VLD的查表數(shù)據(jù)因?yàn)樵L問非常頻繁則應(yīng)該放在處理器的內(nèi)存中。對(duì)程序存儲(chǔ)區(qū)而言，算法的代碼例如整系數(shù)變換，運(yùn)動(dòng)搜索（ME），運(yùn)動(dòng)補(bǔ)償(MC), 內(nèi)環(huán)的Loopfilter等等都分配到內(nèi)部程序存儲(chǔ)區(qū)。對(duì)于無法放置到內(nèi)部存儲(chǔ)區(qū)的部分代碼和大量的視頻數(shù)據(jù)則全部分配到外部的SDRAM中。同時(shí)為了提高對(duì)存放于SDRAM的數(shù)據(jù)和代碼的訪問速度，ADSP-BF561提供了緩存（Cache）來管理外部SDRAM存儲(chǔ)區(qū)。
此外，ADSP-BF561提供了多達(dá)3個(gè)DMA引擎并可以支持2D-DMA傳輸。有了DMA的支持系統(tǒng)可以在后臺(tái)完成大量的數(shù)據(jù)搬移。以幀為單位的視頻數(shù)據(jù)太大必須存儲(chǔ)在外部SDRAM中，這樣處理速度會(huì)受到SDRAM訪問速度的影響。但在H.264的處理中，就可以利用ADSP-BF561強(qiáng)大的DMA引擎，將算法的處理模式優(yōu)化成按宏塊（Macro Block）進(jìn)行處理?？梢栽诿總€(gè)MB處理前將相關(guān)MB的數(shù)據(jù)用DMA從外存搬到內(nèi)部存儲(chǔ)器中。這樣每次MB處理的數(shù)據(jù)都是內(nèi)存的訪問，可以顯著的提高視頻處理的速度。
對(duì)編解碼算法進(jìn)行指令優(yōu)化的挑戰(zhàn)就是如何盡可能的實(shí)現(xiàn)指令的并行處理。利用ADI提供的強(qiáng)大的程序優(yōu)化器可以基于Blackfin?內(nèi)核的特點(diǎn)進(jìn)行指令優(yōu)化，從而獲取對(duì)處理器內(nèi)核處理單元的利用。ADSP-BF561的內(nèi)核中除了兩個(gè)傳統(tǒng)的ALU處理單元，還集成4個(gè)針對(duì)視頻應(yīng)用的8bit ALU?；谶@種內(nèi)核處理單元架構(gòu)，Blackfin?提供了視頻處理指令來加速關(guān)鍵視頻處理模塊，比如整系數(shù)變換、ME等等。
在基于上述方法的優(yōu)化后，工程師們可以輕松的在ADSP-BF561的一個(gè)單核上實(shí)現(xiàn)具有CIF分辨率，超過30幀每秒的H.264實(shí)時(shí)編解碼處理。
功耗和成本控制
如今，對(duì)于工程師而言，不僅要設(shè)計(jì)出滿足不斷出現(xiàn)的新需求的系統(tǒng)，更大的挑戰(zhàn)在于如何盡可能的降低設(shè)計(jì)成本和系統(tǒng)功耗而又不犧牲系統(tǒng)性能和功能。
降低成本的一個(gè)趨勢(shì)就是減少系統(tǒng)中芯片的數(shù)量，盡量做到單芯片或SOC解決方案。在類似上述IP視頻可視電話的應(yīng)用中，因?yàn)橐笸瑫r(shí)承擔(dān)復(fù)雜的視頻處理和多種應(yīng)用控制和協(xié)議處理。傳統(tǒng)方案中總是必須同時(shí)集成有DSP和MCU。在基于Blackfin?的方案中則可實(shí)現(xiàn)單一處理器同時(shí)完成視頻處理和協(xié)議控制的功能。Blackfin?特有的DSP及RISC融合的內(nèi)核架構(gòu)可以輕松的支持這類設(shè)計(jì)要求。
除了成本的要求外，功耗也是需要工程師們重點(diǎn)關(guān)注的。Blackfin?系列處理器充分考慮了手持式應(yīng)用對(duì)功耗的苛刻要求，在處理器內(nèi)部提供動(dòng)態(tài)電源管理模塊，借助該模塊可以根據(jù)當(dāng)前工作的復(fù)雜度對(duì)工作頻率和工作電壓進(jìn)行獨(dú)立的動(dòng)態(tài)控制，從而達(dá)到降低功耗的目的。此外，Blackfin?還支持Full on, Active, Sleep，Deep Sleep, Hibernate等多種工作模式，使得系統(tǒng)在空閑狀態(tài)時(shí)可以有選擇的進(jìn)入休眠狀態(tài)，在這種狀態(tài)下大部分的功能單元的供電將被斷開以減少不必要的功耗。
結(jié)論
對(duì)于設(shè)計(jì)實(shí)現(xiàn)一個(gè)低成本低功耗的復(fù)雜視頻應(yīng)用系統(tǒng)，選擇合適的處理器對(duì)系統(tǒng)成敗是非常關(guān)鍵的。象Blackfin?這樣，將DSP強(qiáng)大的處理能力和RISC的MCU特性融合一體，可以很好支持操作系統(tǒng)和應(yīng)用協(xié)議棧同時(shí)還能輕松完成象H.264這樣的復(fù)雜視頻應(yīng)用的單芯片解決方案，無疑是開發(fā)者的一個(gè)很好的選擇。因?yàn)槠涑杀竞凸囊彩欠浅Ｓ懈偁幜Φ摹?br>  

參考文獻(xiàn):

[1]. MSA datasheet http://www.hbjingang.com/datasheet/MSA_1580912.html.
[2]. RISC  datasheet http://www.hbjingang.com/datasheet/RISC+_1189725.html.
[3]. ALU datasheet http://www.hbjingang.com/datasheet/ALU_2089372.html.