3 基本的空域可伸縮性

　　基于圖像空間尺寸的空域可伸縮性是通過(guò)使用金字塔形的空域分辨率概念來(lái)實(shí)現(xiàn)的。將原始尺寸的輸入視頻序列進(jìn)行下采樣，得到所需的較低的空域分辨率，每個(gè)空域分辨率都用一個(gè)新的層進(jìn)行編碼，并且在各空域分辨率層的基礎(chǔ)上進(jìn)一步實(shí)現(xiàn)時(shí)域和質(zhì)量的可伸縮性。由于低層是由高層通過(guò)下采樣得到的，因此在相同的時(shí)域分辨率情況下，每一個(gè)高層幀都有與之相對(duì)應(yīng)的低層幀，兩者之間存在著顯而易見(jiàn)的相關(guān)性，我們稱之為層間冗余。顯然，為了獲得更高的壓縮效率，有必要通過(guò)各種層間預(yù)測(cè)技術(shù)來(lái)消除層間冗余，這也是空域可伸縮性技術(shù)的關(guān)鍵所在。 SVC允許編碼器自由選擇哪些空域分辨率層間的相關(guān)性需要被消除。在具體實(shí)現(xiàn)時(shí)采用以下三種方式：

(1)Intra宏塊的預(yù)測(cè)使用上采樣的基本層incra塊；(2)運(yùn)動(dòng)信息的預(yù)測(cè)使用上采樣后的基本層運(yùn)動(dòng)數(shù)據(jù)；(3)殘差信息的預(yù)測(cè)使用上采樣后的基本層殘差塊。同樣的技術(shù)可以用于基本層與當(dāng)前層具有相同的空間分辨率的情況。此時(shí)，就不用進(jìn)行上采樣了。

4 擴(kuò)展的空域可伸縮性

　　在基本的空域可伸縮編碼中，對(duì)于高低層之間的空間關(guān)系有較嚴(yán)格的限定，即，低層必須對(duì)高層的完整圖像進(jìn)行以2為倍數(shù)的尺寸縮小。但是在實(shí)際應(yīng)用中，由于網(wǎng)絡(luò)狀況、終端能力和用戶需求多樣，因此以上的限制使得應(yīng)用中的需求無(wú)法得到充分滿足。例如，當(dāng)網(wǎng)絡(luò)帶寬減小時(shí)，用戶可能更希望對(duì)感興趣區(qū)域保留原始的空間分辨率的同時(shí)玄除其他區(qū)域(切割)，而非對(duì)整個(gè)圖像進(jìn)行整體縮??；又如，為了適合終端顯示尺寸，可能要對(duì)原圖像進(jìn)行非2倍的尺寸縮小。為了滿足類(lèi)似上述需求，JVT提出了擴(kuò)展空域可伸縮件(ESS：extended spatial scalability)的概念。

　　ESS使得相鄰的空域?qū)又g具有了一般化的關(guān)系。這包含了兩方面的意義：低空域?qū)拥膱D像可以來(lái)自于高分辨率圖像中任意位置剪切出的矩形區(qū)域，并且相鄰層分辨率的比例關(guān)系不再限制于2倍。

　　相應(yīng)的，為實(shí)現(xiàn)以上功能，ESS 中新定義了以下兩種技術(shù)： (1)剪切； (2)一般化的上采樣(任意的水平和豎直層間尺寸比例)。

　　考慮兩個(gè)連續(xù)的空域?qū)?，基本?Base layer)和增強(qiáng)層(Enhancement laver)，增強(qiáng)層圖像的寬度和高度分別表示為wenh和henh?；緦訄D像的寬度和高度分別表示為wbase和hbase?；緦訄D像是從增強(qiáng)層圖像中位置(xorig，yorig)起，寬高尺寸分別為wextract和hextract，部分或全部在增強(qiáng)層圖像中的矩形區(qū)域，通過(guò)下采樣得到的。增強(qiáng)層和基本層圖像被劃分為宏塊。wextract／wbase和hextract／hbase對(duì)應(yīng)了基本層圖像和增強(qiáng)層提取圖像之間實(shí)際的下采樣比率。因此，參數(shù)集(xorig，yorig，wextract，hextract)完整的定義了基本層和增強(qiáng)層圖像之間的幾何關(guān)系。作為特例，在基本的2倍空域伸縮關(guān)系的配置中，這些參數(shù)為(0，0，2*wbase，2*hbase)。

　　如同基本的空域可伸縮性一樣，ESS的增強(qiáng)層宏塊可以使用基本層的運(yùn)動(dòng)信息進(jìn)行層間預(yù)測(cè)，增強(qiáng)層的宏塊使用從基本層獲得的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重建。由于ESS使得空域?qū)娱g的關(guān)系變得更為復(fù)雜，因此層間預(yù)測(cè)技術(shù)也有了相應(yīng)的發(fā)展，包括運(yùn)動(dòng)信息和紋理信息兩個(gè)方面的內(nèi)容。

5 ESS層間運(yùn)動(dòng)信息的獲取

ESS運(yùn)動(dòng)信息上采樣通過(guò)以下步驟完成：

(1) 獲取幾何參數(shù)

基本層經(jīng)上采樣后與增強(qiáng)層重疊所表現(xiàn)出的兩層宏塊的對(duì)應(yīng)關(guān)系，虛線表示基本層上采樣后的宏塊，實(shí)線表示增強(qiáng)層的宏塊。

　　對(duì)于ESS來(lái)說(shuō)，增強(qiáng)層的某一個(gè)宏塊可能在基本層中沒(méi)有對(duì)應(yīng)的宏塊(在增強(qiáng)層圖像的邊界上)，也可能有一個(gè)或幾個(gè)對(duì)應(yīng)的宏塊。因此，首先有必要決定相應(yīng)的高層宏塊所對(duì)應(yīng)的1、2或4個(gè)基本層的宏塊，及它與這些基本層宏塊的幾何關(guān)系。

(2) 確定層間宏塊對(duì)應(yīng)關(guān)系類(lèi)型

根據(jù)獲得的幾何參數(shù)，一個(gè)高層的宏塊可能分屬以下4個(gè)類(lèi)型：

Comer：高層宏塊有1個(gè)對(duì)應(yīng)的基木層宏塊；

Hori：高層宏塊有2個(gè)對(duì)應(yīng)的上下排列的基本層宏塊；

Vert：高層宏塊有2個(gè)對(duì)應(yīng)的左右排列的基本層宏塊；

Center：高層宏塊有4個(gè)對(duì)應(yīng)的基本層宏塊。

(3) 獲取宏塊類(lèi)型和分割類(lèi)型

通過(guò)層間宏塊對(duì)應(yīng)關(guān)系，從相應(yīng)的基本層宏塊獲取分割和子分割信息。使用這些變量來(lái)判斷高層宏塊是否(有可能)被分割。

例如，考慮一個(gè)高層宏塊，如果對(duì)應(yīng)的基本層宏塊分別按照8×8和16×16分割，因?yàn)樽筮叺?×8塊由一個(gè)宏塊邊界獲得，則獲得的宏塊分割為8×8。此外，子分割的類(lèi)型也直接由對(duì)應(yīng)的摹本層8×8塊獲得。

(4) 運(yùn)動(dòng)數(shù)據(jù)的繼承

　　在得到了宏塊分割和子分割的信息之后，一步就是從每個(gè)(子)分割繼承運(yùn)動(dòng)信息(例如，參考幀索引和運(yùn)動(dòng)矢量)。首先，確定考慮的高層(子)分割的左上方的4×4塊，計(jì)算確定對(duì)應(yīng)的基本層4×4塊，繼承覆蓋了基本層4×4塊的(子)分割的參考幀索引和運(yùn)動(dòng)矢量，對(duì)運(yùn)動(dòng)矢量進(jìn)行相應(yīng)的伸縮。

當(dāng)使剛的剪切窗口與宏塊邊界對(duì)齊，且上采樣比率為1或2時(shí)，運(yùn)動(dòng)和紋理信息的上采樣過(guò)程與基本的空域可伸縮編碼相同。臺(tái)則，必須使用一般化的上采樣工具。根據(jù)當(dāng)前SVC草案中的規(guī)定，只有當(dāng)宏塊完全在基本層內(nèi)的時(shí)候，才進(jìn)行層間預(yù)測(cè)。

6 ESS的層間紋理預(yù)測(cè)

　　層間紋理預(yù)測(cè)過(guò)程由對(duì)基本層紋理進(jìn)行基于直接內(nèi)插的上采樣來(lái)完成。對(duì)于intra紋理，使用一組6抽頭的濾波器，同時(shí)內(nèi)插會(huì)跨越塊邊界，所使用的基于整數(shù)的6抽頭濾波器，由Lanczos3濾波器變化而來(lái)；對(duì)于殘差紋理，使用雙線性濾波器，同時(shí)內(nèi)插不跨越塊邊界。

考慮到基本層和增強(qiáng)層之間存在潛在的色度相移，因此對(duì)于亮度和色度的處理存住細(xì)微的差別。

對(duì)于亮度樣點(diǎn)，增強(qiáng)層中在位置(X，Y)的實(shí)際的預(yù)測(cè)點(diǎn)pred[X，Y]由以下式子得到：

 
interp是來(lái)自于基本層亮度紋理1／16樣點(diǎn)內(nèi)插的樣點(diǎn)向量。

對(duì)于色度樣點(diǎn)，增強(qiáng)層中在位置(X Y)的實(shí)際的預(yù)測(cè)點(diǎn)predC[X，Y]由以下式子得到：

predC[X，Y]=interpC[xI，yI]

其中

 
interpC是來(lái)自于基本層色度紋理1／16樣點(diǎn)內(nèi)插的樣點(diǎn)向量(C可以是Cr或Cb)。xorigC，yorigC，wextractC，hextractC，wextractC，hextractC，wextractC，hextractC是色度幾何參數(shù)，Pbasex，Pbasey，Pextractx，Pextracty是水平和垂直的色度相移，單位是基本層或增強(qiáng)層亮度點(diǎn)的1／4像素距離。

7 結(jié)論和展望

作為當(dāng)前JVT工作的中心任務(wù)，圍繞SVC的研究還在不斷深化，更多細(xì)節(jié)和新技術(shù)被添加到草案中。

作為一項(xiàng)新技術(shù)，ESS能解決實(shí)際應(yīng)用中對(duì)于空域伸縮的一般化的要求，但是對(duì)這一技術(shù)的具體實(shí)現(xiàn)還存存一些問(wèn)題。