一種基于樣例的快速圖像修復(fù)算法方案
出處:代仕梅, 張紅英, 曾 超 發(fā)布于:2011-07-08 12:34:24
圖像修復(fù)是圖像復(fù)原研究中的一個重要內(nèi)容,它在其它很多方面都得到了應(yīng)用。
目前,圖像修復(fù)中占主流的修復(fù)模型有:偏微分方程的修復(fù)模型[1-2]、紋理合成[3]的修復(fù)模型。前者計算量大、耗時長、對紋理的還原能力有限,處理大區(qū)域圖像會有明顯的模糊現(xiàn)象,因此只適合于劃痕、污跡和文字等細(xì)窄的區(qū)域修復(fù)。相比之下,后者將待修復(fù)區(qū)域周圍的圖像作為樣本,從中提取特征并選取匹配的紋理,將其合成到待修復(fù)區(qū)域內(nèi),適用于較大區(qū)域的修復(fù)。
現(xiàn)實(shí)中的圖像不是由簡單結(jié)構(gòu)和單一紋理拼接而成的,而是同時包含復(fù)雜的結(jié)構(gòu)和多種紋理特征。參考文獻(xiàn)[4]將圖像分割為結(jié)構(gòu)和紋理兩部分,然后分別用偏微分方法和紋理合成技術(shù)進(jìn)行處理,將兩種處理結(jié)果進(jìn)行融合。但對實(shí)際圖像而言,該方法修復(fù)區(qū)域較小,速度較慢,對較大區(qū)域修復(fù)仍然有一定的模糊。Criminisi等人在2003年提出了一種不用分割圖像,同步處理紋理和結(jié)構(gòu)的基于樣例的圖像修復(fù)算法[5]。他們的算法取得了滿意的效果,但是耗費(fèi)的時間過長,另外優(yōu)先權(quán)和相似度的計算還存在一定不足。本文改進(jìn)了參考文獻(xiàn)[5]的圖像修補(bǔ)算法。為了使優(yōu)先權(quán)計算更加準(zhǔn)確,本文采用梯度數(shù)據(jù)項(xiàng)和置信度共同決定填充順序;為加快修復(fù)速度,本文采用局部窗口搜索的策略;利用顏色和梯度共同決定相似性,使得修復(fù)后的圖像具有更好的視覺效果。大量實(shí)驗(yàn)結(jié)果表明,該算法提高了修復(fù)效率,同時產(chǎn)生了更滿意的視覺效果。

2 算法的實(shí)現(xiàn)細(xì)節(jié)
2.1模板大小的自適應(yīng)選擇
在反復(fù)的實(shí)驗(yàn)過程中發(fā)現(xiàn),用固定大小的模板窗口?追,修復(fù)誤差比較大。對于包含豐富的細(xì)節(jié)及邊緣的區(qū)域,應(yīng)該采用小的模板窗口,以獲取較多的細(xì)節(jié)信息,減少畸變;對于平滑的紋理區(qū)域,由于樣本塊和目標(biāo)塊的相似距離非零,修復(fù)采用直接復(fù)制樣本,應(yīng)該采用較大的窗口,減少修復(fù)后的圖像產(chǎn)生明顯的假象。因此模板窗口的大小應(yīng)當(dāng)根據(jù)圖像的局部特征自適應(yīng)地變化。本文采用梯度函數(shù)自適應(yīng)地改變模板窗口大小。模板尺寸size(p)的定義為:

2.2 塊的優(yōu)先權(quán)
基于樣例的圖像修復(fù)算法,為了兼顧結(jié)構(gòu)和紋理部分的修復(fù)效果,填充順序是這類方法的關(guān)鍵。填充順序的優(yōu)先權(quán)函數(shù)大小要考慮兩方面的因素:一方面是模板窗口中已知信息量的多少,另一方面要考慮待修復(fù)區(qū)域周圍的結(jié)構(gòu)特征。因?yàn)橐阎畔⒍嗟拇畛鋲K的周圍可以利用的信息大,結(jié)構(gòu)特征明顯的區(qū)域包含了豐富的結(jié)構(gòu)信息。Criminisi定義的優(yōu)先權(quán)函數(shù)為:P(p)=C(p)×D(p)。當(dāng)?shù)日斩染€與單位法向量垂直時,D(p)=0,這時即使C(p)很大,甚至整個塊中只有幾個未知像素,塊也得不到及時填充。這樣優(yōu)先權(quán)的計算就變得不可靠,導(dǎo)致錯誤的填充順序,進(jìn)而影響修復(fù)的效果。為了解決這個問題,本文直接引入梯度信息來計算塊的優(yōu)先權(quán)。P為修復(fù)邊界dΩ上的點(diǎn),ψp是以點(diǎn)P為中心的
塊,點(diǎn)P的優(yōu)先權(quán)函數(shù)P(p)定義為:
2.3 匹配塊的搜索空間
Criminisi等人采用在整幅未破損的圖像中全局搜索,這樣能夠找到與目標(biāo)區(qū)域塊相似的匹配塊。但是許多圖像的匹配塊就在目標(biāo)區(qū)域的附近,因此全局搜索提供了巨大的搜索空間,降低了算法的效率。為了減少搜索過程的時間消耗,一些學(xué)者提出了紋理主方向的搜索方法。這種紋理主方向的搜索方法對于方向性很強(qiáng)的圖像能達(dá)到很滿意的效果,但是對于其他的圖像修復(fù)效果達(dá)不到滿意效果。為了既要減少搜索空間,又要達(dá)到滿意的修復(fù)效果,采用局部窗口空間搜索匹配塊。在Criminisi的算法中,設(shè)置的填充塊大小為 PatchSize,然后在整幅圖像的未破損區(qū)域搜索匹配塊。局部窗口尺寸設(shè)置如下:

式中,M是目標(biāo)塊上的已知像素點(diǎn)的數(shù)目,CL(p)為顏色差的平方的和,W(p)為梯度的差的平方的和,分別定義為:

式中,k是一個可調(diào)參數(shù),d是前面提到的相似度函數(shù)。顯然,由這個方程可知相似度函數(shù)值越大,像素點(diǎn)誤差越大,置信度值越低。
3 實(shí)驗(yàn)結(jié)果
將本文所提的算法應(yīng)用于許多的自然圖像,采用對比圖像的視覺效果來判斷修復(fù)質(zhì)量的好壞,用程序的運(yùn)行時間來衡量算法的效率。所有的實(shí)驗(yàn)是在配置為2.1 GHz處理器、2 GB內(nèi)存的計算機(jī)上運(yùn)行的,仿真環(huán)境為Matlab 7.0。本文用文本移除、單一目標(biāo)物移除和多目標(biāo)物移除,來說明本文算法的優(yōu)越性。
3.1 文本移除
圖2為文本移除實(shí)驗(yàn)。其中,(a)為原始圖像,(b)為Criminisi算法,(c)為本文算法。從原始圖像中可以看出,圖中的文字“JAPANESE ANIMATION”只在圖片的下端,其文字移走后的空白區(qū)域,修補(bǔ)只需要搜索不到圖片一半的空間就可以找到匹配塊;而Criminisi采取全局搜索,大量的時間浪費(fèi)在不必要的搜索中。對比發(fā)現(xiàn),Criminisi所用的修復(fù)時間遠(yuǎn)遠(yuǎn)大于本文算法,而其修復(fù)效果略好于本文算法。

3.2 單一目標(biāo)物的移除
圖3為單一目標(biāo)物的移除。其中,(a)為原始圖像,(b)為Criminisi算法,(c)為本文算法。從Criminisi算法可以看出,臺階恢復(fù)出現(xiàn)了明顯的不相容的“垃圾塊”,而且臺階下面的綠地延伸到黑色區(qū)域中;而本文算法很好地恢復(fù)了臺階的線性結(jié)構(gòu),黑色區(qū)域內(nèi)也沒有綠地的延伸塊,幾乎看不出人工痕跡。
3.3 多目標(biāo)物的移除
圖4為多目標(biāo)物的移除實(shí)驗(yàn)。其中,圖4(a)為原始圖像,圖4(b)為Criminisi算法,圖4(c)為本文算法。從圖4中可以看出,移走多棵樹以后,本文算法修復(fù)的海平面非常自然,而Criminisi算法修復(fù)的海平面有輕微的人工痕跡。

表1給出了這三組實(shí)驗(yàn)的運(yùn)行時間。從表1可以看出,運(yùn)行時間與圖像本身大小、破損區(qū)域大小以及破損區(qū)域周圍的結(jié)構(gòu)復(fù)雜度都有一定關(guān)系。本文方法與參考文獻(xiàn)[5]所用方法相比,根據(jù)圖像自身特征局部搜索運(yùn)行時間更短,然而得出的效果差不多或者更好,說明了本方法的高效優(yōu)質(zhì)性。

圖像修復(fù)在圖像處理和計算機(jī)圖形學(xué)領(lǐng)域中有許多重要應(yīng)用。本文提出了一種能夠滿足破損圖片修復(fù)、文本移除、目標(biāo)物體去除等多類修復(fù)要求的快速算法。本算法改進(jìn)了基于樣例的修復(fù)算法,為了正確地傳播信息,有效地利用梯度值來計算目標(biāo)塊的填充順序和匹配塊的相似度。因此該算法更有能力對細(xì)小結(jié)構(gòu)和復(fù)雜的紋理優(yōu)先傳播。
此方法不用人為干預(yù),算法根據(jù)圖像的局部特征計算出優(yōu)先權(quán),接著根據(jù)優(yōu)先權(quán)的大小先后填充。在匹配塊的搜索空間,采用局部窗口搜索,大大縮短了修復(fù)時間。然而,該算法仍然存在著一定局限性:首先,局部窗口不能完全找到匹配的塊,如果沒有局部特性的圖像或者有明顯跳變結(jié)構(gòu)的圖像修復(fù)都會失??;其次, 圖像的破損區(qū)域周圍必須有大量的樣本塊,以滿足待修復(fù)區(qū)域內(nèi)的結(jié)構(gòu)和紋理傳播。所以,在今后的工作中,應(yīng)該對該算法的局限性進(jìn)行逐步改進(jìn),擴(kuò)大它的應(yīng)用范圍,使其能夠應(yīng)用到視頻和網(wǎng)格的修復(fù)工作當(dāng)中。
版權(quán)與免責(zé)聲明
凡本網(wǎng)注明“出處:維庫電子市場網(wǎng)”的所有作品,版權(quán)均屬于維庫電子市場網(wǎng),轉(zhuǎn)載請必須注明維庫電子市場網(wǎng),http://www.hbjingang.com,違反者本網(wǎng)將追究相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其它出處的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性,不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時,必須保留本網(wǎng)注明的作品出處,并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問題,請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
- ARM技術(shù)架構(gòu)與應(yīng)用開發(fā)實(shí)踐指南2026/1/6 10:40:19
- 嵌入式實(shí)時操作系統(tǒng)(RTOS)選型與移植技術(shù)指南2025/12/31 10:42:31
- 工業(yè)嵌入式系統(tǒng):通信接口技術(shù)選型與抗干擾設(shè)計實(shí)踐2025/12/15 14:36:53
- 深入解析嵌入式 OPENAMP 框架:開啟異核通信新時代2025/7/22 16:27:29
- 一文快速了解OPENWRT基礎(chǔ)知識2025/7/14 16:59:04
- 高速PCB信號完整性(SI)設(shè)計核心實(shí)操規(guī)范
- 鎖相環(huán)(PLL)中的環(huán)路濾波器:參數(shù)計算與穩(wěn)定性分析
- MOSFET反向恢復(fù)特性對系統(tǒng)的影響
- 電源IC在惡劣環(huán)境中的防護(hù)設(shè)計
- 連接器耐腐蝕性能測試方法
- PCB電磁兼容(EMC)設(shè)計與干擾抑制核心實(shí)操規(guī)范
- 用于相位噪聲測量的低通濾波器設(shè)計與本振凈化技術(shù)
- MOSFET在高頻開關(guān)中的EMI問題
- 電源IC在便攜式設(shè)備中的設(shè)計要點(diǎn)
- 連接器結(jié)構(gòu)設(shè)計常見問題分析









