圖像超分辨率重建

內(nèi)容概要

《圖像超分辨率重建》是作者近十年的研究工作總結(jié)。《圖像超分辨率重建》共分為8章，前兩章主要介紹了圖像超分辨率重建的基礎(chǔ)知識(shí)，包括技術(shù)產(chǎn)生的背景、基于原理與方法、發(fā)展與應(yīng)用現(xiàn)狀等。第3～8章針對(duì)不同的技術(shù)問題，詳細(xì)闡述了作者發(fā)展的各種超分辨率重建方法，主要包括超分辨率重建的聯(lián)合求解方法、空間自適應(yīng)超分辨率重建方法、正則化參數(shù)的自適應(yīng)求解方法、高光譜圖像的超分辨率重建方法、光學(xué)變焦序列圖像的超分辨率重建方法和多時(shí)相遙感圖像的超分辨率重建方法?！秷D像超分辨率重建》適合研究圖像超分辨率的科研人員參考，也可供相關(guān)專業(yè)的研究生和技術(shù)人員閱讀。

書籍目錄

前言第1章 緒論1.1 圖像超分辨率重建產(chǎn)生的技術(shù)背景1.2 圖像超分辨率重建的概念、原理與應(yīng)用1.3 圖像超分辨率重建技術(shù)的發(fā)展第2章 超分辨率重建的基本方法2.1 圖像超分辨率重建的基本流程2.2 超分辨率重建中的圖像配準(zhǔn)（運(yùn)動(dòng)估計(jì)）2.3 超分辨率重建中的模糊辨識(shí)2.4 超分辨率重建中的重建模型2.5 超分辨率重建常用的數(shù)值求解方法2.6 超分辨率重建中的運(yùn)算方式2.7 重建圖像的質(zhì)量評(píng)價(jià)第3章 超分辨率重建的聯(lián)合求解方法3.1 現(xiàn)有研究基礎(chǔ)3.2 運(yùn)動(dòng)估計(jì)場、運(yùn)動(dòng)分割場、超分辨率圖像的聯(lián)合求解3.3 配準(zhǔn)參數(shù)、模糊參數(shù)、超分辨率圖像的聯(lián)合求解3.4 總結(jié)第4章 空間自適應(yīng)超分辨率重建方法4.1 常用的圖像先驗(yàn)?zāi)Ｐ?.2 基于自適應(yīng)加權(quán)馬爾可夫模型的超分辨率重建4.3 區(qū)域自適應(yīng)超分辨率重建4.4 空間信息自適應(yīng)總變分超分辨率重建4.5 總結(jié)第5章 正則化參數(shù)的自適應(yīng)求解方法5.1 常用的正則化參數(shù)選擇方法5.2 U曲線正則化參數(shù)選擇方法5.3 實(shí)驗(yàn)結(jié)果5.4 總結(jié)第6章 高光譜圖像的超分辨率重建方法6.1 高光譜圖像的特點(diǎn)分析6.2 常用的高光譜圖像分辨率增強(qiáng)方法6.3 高光譜圖像超分辨率重建方法6.4 實(shí)驗(yàn)結(jié)果與分析6.5 總結(jié)第7章 光學(xué)變焦序列圖像的超分辨率重建方法7.1 問題的提出7.2 觀測模型7.3 圖像配準(zhǔn)與拼接7.4 基于總變差模型的重建方法7.5 實(shí)驗(yàn)結(jié)果與分析7.6 總結(jié)第8章 多時(shí)相遙感圖像的超分辨率重建方法8.1 遙感觀測與超分辨率重建技術(shù)的相互促進(jìn)8.2 遙感圖像預(yù)處理及圖像觀測模型8.3 超分辨率重建方法8.4 實(shí)驗(yàn)結(jié)果與精度分析8.5 總結(jié)參考文獻(xiàn)

章節(jié)摘錄

第1章 緒 論1.1 圖像超分辨率重建產(chǎn)生的技術(shù)背景1.1.1 分辨率的概念圖像分辨率是成像系統(tǒng)對(duì)輸出圖像細(xì)節(jié)分辨能力的一種度量，也是圖像中目標(biāo)細(xì)微程度的指標(biāo)，它表示景物信息的詳細(xì)程度。對(duì)“圖像細(xì)節(jié)”的不同解釋就會(huì)對(duì)圖像分辨率有不同的理解，對(duì)細(xì)節(jié)不同側(cè)面的應(yīng)用又可以得到圖像不同側(cè)面的度量（曹聚亮，2004）。因此，圖像分辨率可以分為不同的種類，如空間分辨率、時(shí)間分辨率、光譜分辨率、輻射分辨率等。其中，圖像的空間分辨率是指傳感器所能分辨的最小的目標(biāo)大小，或指圖像中一個(gè)像素點(diǎn)所代表的目標(biāo)實(shí)際范圍的大小，它是圖像清晰程度的度量；時(shí)間分辨率在遙感領(lǐng)域一般指衛(wèi)星對(duì)同一地點(diǎn)進(jìn)行重復(fù)觀測的時(shí)間間隔，針對(duì)視頻數(shù)據(jù)又稱為幀率，是指每秒鐘時(shí)間內(nèi)獲取的圖像數(shù)目；光譜分辨率指傳感器在接收目標(biāo)輻射的波譜時(shí)所能分辨的最小波長間隔。間隔越小、分辨率越高；輻射分辨率也稱為亮度分辨率，是傳感器接收波譜信號(hào)時(shí)能夠分辨的最小輻射度差，在圖像中表現(xiàn)為圖像的灰度級(jí)，所以有時(shí)稱為灰度級(jí)分辨率。在本書中，我們主要討論的是圖像的空間分辨率，超分辨率重建也是相對(duì)圖像空間分辨率而言的。因此，在后面各章節(jié)中，如果不加說明，分辨率即指的是圖像的空間分辨率。為了加深對(duì)圖像分辨率概念的理解，我們對(duì)兩個(gè)易于混淆的概念，即分辨率和像素?cái)?shù)量（圖像尺寸），進(jìn)行對(duì)比介紹。在數(shù)碼相機(jī)市場上，1000 萬像素的相機(jī)明顯比500萬像素的相機(jī)貴，主要原因就是其獲取圖像的空間分辨率較高。但是，分辨率和像素?cái)?shù)量是否一定成正比關(guān)系呢？一般來講，圖像的分辨率越高，單位長度內(nèi)的像素?cái)?shù)目越多，從而表達(dá)同一場景的像素?cái)?shù)目也就越多；但反過來講，圖像像素?cái)?shù)量越多，并不一定表示圖像的分辨率越高。兩幅圖像具有相同的分辨率意味兩幅圖像包含的有用特征相同（Lin and Shum，2004），從這個(gè)意義上來講，圖像的分辨率不能僅僅通過圖像中的像素?cái)?shù)目來衡量。同樣，在遙感領(lǐng)域習(xí)慣用一個(gè)像素對(duì)應(yīng)的地面范圍大小表達(dá)圖像空間分辨率的高低，也是不嚴(yán)格的，其僅指的是地面分辨率。如圖1-1（a）所示的南京一處郊區(qū)的SPOT5 全色圖像，圖像尺寸為256 × 256；對(duì)該圖像以因子2 進(jìn)行降采樣，得到的圖像如圖1-1（b）所示，很明顯，降采樣后的圖像尺寸為128 ×128，分辨圖像細(xì)節(jié)的能力減小了一半；對(duì)降采樣圖像分別以因子2 進(jìn)行雙線性內(nèi)插和雙三次內(nèi)插，內(nèi)插結(jié)果分別顯示于圖1-1（c）和（d）中，雖然內(nèi)插圖像的尺寸為256× 256，但與降采樣圖像相比分辨有用細(xì)節(jié)特征的能力并未增加，因此其實(shí)際的空間分辨率并未提高，仍低于圖1-1（a）。通過以上對(duì)比分析可以看出，決定圖像分辨率的因素是其對(duì)圖像細(xì)節(jié)的分辨能力。欲提高圖像的分辨率，須通過處理增加圖像中有用的細(xì)節(jié)特征。1.1.2 圖像分辨率提高的硬件限制圖像傳感器是圖像觀測系統(tǒng)中最核心的部件之一，數(shù)字相機(jī)就是采用圖像傳感器來形成圖像的模擬電流信號(hào)，經(jīng)模擬-數(shù)碼轉(zhuǎn)換處理后再進(jìn)行記錄形成圖像。因此，圖像傳感器的質(zhì)量是決定圖像質(zhì)量的關(guān)鍵因素?，F(xiàn)今主流的圖像傳感器為CCD（charge coupled device）傳感器，其他圖像傳感器如CMOS（complement metal oxide semiconductor）也日益增多。常規(guī)情況下，人們主要通過改進(jìn)高精度的CCD 或CMOS 傳感器等硬件設(shè)備來獲取高分辨率的圖像，即所謂的“硬件途徑”。其中最直接的方法就是通過改進(jìn)傳感器制作工藝減小感光單元尺寸，以增加圖像的像素?cái)?shù)。隨著技術(shù)的不斷改進(jìn)，感光單元的尺寸越來越小，而隨著感光單元的逐漸變小，獲取的圖像受散粒噪聲的影響則越來越大，如果無限制地減小感光單元的大小，所獲取的圖像像素?cái)?shù)量雖然增加了，但噪聲的影響限制了圖像實(shí)際分辨率的提高。CCD 傳感器感光單元的最優(yōu)尺寸為40μm2，目前的傳感器技術(shù)已經(jīng)幾乎達(dá)到了這一水平。另一種提高圖像分辨率的“硬件途徑”是增加芯片尺寸的大小，但是隨著芯片尺寸的增加，電容量也會(huì)增加，致使電荷的轉(zhuǎn)換率減慢，進(jìn)而導(dǎo)致圖像中的點(diǎn)光源變模糊（Chaudhuri and Joshi， 2005），因此該方法也有非常大的限制（Park et al， 2003）。此外，高空間分辨率圖像的獲取還存在其他多方面的限制。首先，高精度的硬件設(shè)備往往價(jià)格昂貴，出于經(jīng)濟(jì)性方面的考慮，人們也不得不選擇較低分辨率的相機(jī)或圖像數(shù)據(jù)。其次，傳感器設(shè)計(jì)的尖端技術(shù)往往掌握在少數(shù)幾個(gè)發(fā)達(dá)國家手中，大部分發(fā)展中國家包括中國在傳感器設(shè)計(jì)方面的技術(shù)還相對(duì)落后。例如，在衛(wèi)星遙感對(duì)地觀測領(lǐng)域，我國遙感衛(wèi)星獲取的圖像在空間分辨率指標(biāo)上與西方發(fā)達(dá)國家有較大差距。再次，成像系統(tǒng)的空間分辨率與時(shí)間分辨率、光譜分辨率相互制約，為了保證具有較高的時(shí)間分辨率或光譜分辨率，往往不得不在空間分辨率指標(biāo)上進(jìn)行次優(yōu)的設(shè)計(jì)，如為保證在較短時(shí)間內(nèi)獲取全月球的覆蓋數(shù)據(jù)，我國“嫦娥一號(hào)”CCD 相機(jī)和美國“月球勘測軌道器”的寬角相機(jī)，其空間分辨率分別只有120m 和100m，顯然無法進(jìn)行對(duì)月表的細(xì)微表達(dá)與精細(xì)解譯。綜合以上原因，通過“硬件途徑”提高圖像的空間分辨率存在諸多方面的限制，從而催生了本書闡述的內(nèi)容――超分辨率重建技術(shù)。超分辨率重建是從“軟件途徑”，通過發(fā)展理論、算法來提高圖像的空間分辨率，已成為圖像處理領(lǐng)域最為活躍的研究方向之一。1.2 圖像超分辨率重建的概念、原理與應(yīng)用不同的學(xué)者對(duì)圖像超分辨率重建的定義不盡相同，較為通用的定義為：圖像超分辨率重建是通過對(duì)多幅具有互補(bǔ)信息的低分辨率圖像進(jìn)行處理，重建一幅或多幅高分辨率圖像的技術(shù)。近年來，一些學(xué)者又將超分辨率重建劃分為多幅圖像超分辨率重建和單幅圖像超分辨率重建，但這里所謂的“單幅圖像超分辨率重建”并非僅利用了一幅圖像的信息，而是以輸入的一幅圖像為基礎(chǔ)，在圖像數(shù)據(jù)庫中尋找有用的互補(bǔ)信息，進(jìn)行信息的融合從而生成超分辨率圖像，因此其仍然是利用了多幅圖像的信息。而像單幅圖像復(fù)原、圖像內(nèi)插等處理，雖然在很多情況下能夠大大提升圖像的清晰度，但并沒有體現(xiàn)“超”的含義，因此不應(yīng)劃入超分辨率重建的范疇。下面將從一個(gè)常用的圖像觀測模型出發(fā)，闡述圖像超分辨率重建的基本原理。1.2.1 圖像觀測模型圖像觀測模型描述理想圖像與觀測圖像之間的關(guān)系。在圖像超分辨率重建中，觀測圖像即一系列的低分辨率圖像，理想圖像即所求的高分辨率圖像。給定一定場景的P幅低分辨率圖像，可以認(rèn)為它們是由一幅高分辨率圖像經(jīng)過一系列的降質(zhì)過程產(chǎn)生的，降質(zhì)過程包括幾何運(yùn)動(dòng)、光學(xué)模糊、亞采樣以及附加噪聲（Park et al.， 2003）。如果用矢量z 表示所求的高分辨率圖像，gk表示某一幅低分辨率圖像（ k為圖像編號(hào)），一個(gè)常用的圖像觀測模型為（Elad and Feuer，1997；Park et al.， 2003）整個(gè)降質(zhì)過程可以用圖 1-2 來表示，最左邊的圖像即表示理想高分辨率圖像，依次經(jīng)過旋轉(zhuǎn)運(yùn)動(dòng)、模糊、降采樣和噪聲過程，得到最右邊的圖像，即為觀測圖像。1.2.2 圖像超分辨率重建的原理圖像的觀測模型描述了從理想高分辨率圖像到觀測圖像的正過程，而圖像超分辨率重建則是一個(gè)逆過程，即利用觀測得到的多幅低分辨率圖像，重建出理想的高分辨率圖像，如圖 1-3 所示。實(shí)現(xiàn)超分辨率重建的前提是圖像之間必須包含著互補(bǔ)信息，而根據(jù)互補(bǔ)信息的不同來源方式，超分辨率重建技術(shù)又可以分為不同的類別。1. 基于運(yùn)動(dòng)的超分辨率重建1984 年，Tsai 和Huang 首先提出利用多幅具有亞像素位移的欠采樣圖像進(jìn)行超分辨率重建的方法（Tsai and Huang，1984），基本原理就是把各圖像上由于亞像素位移而存在的互補(bǔ)信息融合到同一幅圖像中，達(dá)到提高分辨率的目的。例如，在圖 1-4中，箭頭左邊代表四幅具有亞像素位移的3×3的圖像，并且，如果把第一幅圖像看做參考圖像，它們之間的相對(duì)位移量分別為（0，0），（0，0.5），（0.5，0），（0.5，0.5）。這時(shí)，由于圖像之間的位移差正好以半個(gè)像素為單位，可以很容易地把這四幅圖像融合到同一幅圖像中，得到箭頭右邊的6×6大小的圖像。上述僅是超分辨率重建的一個(gè)最簡單的例子，在很多情況下，圖像之間的位移量并不一定恰恰以半個(gè)像素為單位，而且運(yùn)動(dòng)也并不一定為整體平移，也可能為旋轉(zhuǎn)、縮放、扭曲以及局部運(yùn)動(dòng)等，但無論如何，只要它們之間存在亞像素的位移，而且位移量為已知或通過運(yùn)動(dòng)估計(jì)方法可以近似求得，就存在實(shí)現(xiàn)超分辨率的可能。如圖1-5（a）～（d）所示為成像系統(tǒng)對(duì)同一場景的四次不同觀測，四幅觀測圖像之間具有亞像素位移，因而具有相似而不完全相同的信息，將它們疊加在同一平面上，如圖1-5（e）所示，可以看出明顯提高了對(duì)該場景的采樣密度，但采用并不規(guī)則，超分辨率重建的任務(wù)就是將不規(guī)則采樣數(shù)據(jù)轉(zhuǎn)化為規(guī)則采樣數(shù)據(jù)，即圖 1-5（f）。如果從觀測模型式（1-1）看，此類超分辨率重建所需的互補(bǔ)信息來源于式中的運(yùn)動(dòng)矩陣Mk ，我們把此類利用圖像之間的亞像素位移來獲取互補(bǔ)信息并實(shí)現(xiàn)超分辨率的方法稱為基于運(yùn)動(dòng)的超分辨率重建方法。由于人們非常容易接觸到具有相互運(yùn)動(dòng)的圖像序列（如視頻序列、多時(shí)相圖像等），再加上基于運(yùn)動(dòng)的超分辨率重建方法比較直觀而且又比較容易實(shí)現(xiàn)，所以在國內(nèi)外的文獻(xiàn)中，絕大多數(shù)的超分辨率重建方法屬于此類方法，它是當(dāng)前圖像超分辨率重建領(lǐng)域中的研究主流，也是本書重點(diǎn)講述的內(nèi)容。下面給出一個(gè)基于運(yùn)動(dòng)的超分辨率重建的實(shí)例，如圖 1-6所示。圖像中的景物皆為靜止，我們用普通商用數(shù)碼相機(jī)進(jìn)行拍攝，得到序列圖像，并把重建目標(biāo)鎖定在車排號(hào)及其附近的區(qū)域，采用基于最大后驗(yàn)估計(jì)的方法進(jìn)行重建，可以看出，重建后圖像比重建前圖像的質(zhì)量有了較大的改善，空間分辨率得到了較大提高，能更清晰地分辨出圖像上的數(shù)字和字母。2. 基于尺度的超分辨率重建基于尺度的超分辨率重建是對(duì)不同觀測尺度的寬場景、低分辨率圖像與小場景、高分辨率圖像進(jìn)行處理，從而得到一幅同時(shí)具備寬場景和高分辨率特征圖像的技術(shù)。例如，目前大多數(shù)的數(shù)碼相機(jī)都具備光學(xué)變焦功能，如果在對(duì)同一目標(biāo)進(jìn)行多次拍攝時(shí)所選用的焦距不同，獲取的圖像就會(huì)有不同的分辨率和取景范圍，……

圖書封面

圖書標(biāo)簽Tags

無

評(píng)論、評(píng)分、閱讀與下載

---

    圖像超分辨率重建 PDF格式下載

---