圖像超分辨率重建

內(nèi)容概要

《圖像超分辨率重建》是作者近十年的研究工作總結(jié)?！秷D像超分辨率重建》共分為8章，前兩章主要介紹了圖像超分辨率重建的基礎(chǔ)知識，包括技術(shù)產(chǎn)生的背景、基于原理與方法、發(fā)展與應(yīng)用現(xiàn)狀等。第3～8章針對不同的技術(shù)問題，詳細闡述了作者發(fā)展的各種超分辨率重建方法，主要包括超分辨率重建的聯(lián)合求解方法、空間自適應(yīng)超分辨率重建方法、正則化參數(shù)的自適應(yīng)求解方法、高光譜圖像的超分辨率重建方法、光學(xué)變焦序列圖像的超分辨率重建方法和多時相遙感圖像的超分辨率重建方法?！秷D像超分辨率重建》適合研究圖像超分辨率的科研人員參考，也可供相關(guān)專業(yè)的研究生和技術(shù)人員閱讀。

書籍目錄

前言第1章 緒論1.1 圖像超分辨率重建產(chǎn)生的技術(shù)背景1.2 圖像超分辨率重建的概念、原理與應(yīng)用1.3 圖像超分辨率重建技術(shù)的發(fā)展第2章 超分辨率重建的基本方法2.1 圖像超分辨率重建的基本流程2.2 超分辨率重建中的圖像配準(zhǔn)（運動估計）2.3 超分辨率重建中的模糊辨識2.4 超分辨率重建中的重建模型2.5 超分辨率重建常用的數(shù)值求解方法2.6 超分辨率重建中的運算方式2.7 重建圖像的質(zhì)量評價第3章 超分辨率重建的聯(lián)合求解方法3.1 現(xiàn)有研究基礎(chǔ)3.2 運動估計場、運動分割場、超分辨率圖像的聯(lián)合求解3.3 配準(zhǔn)參數(shù)、模糊參數(shù)、超分辨率圖像的聯(lián)合求解3.4 總結(jié)第4章 空間自適應(yīng)超分辨率重建方法4.1 常用的圖像先驗?zāi)Ｐ?.2 基于自適應(yīng)加權(quán)馬爾可夫模型的超分辨率重建4.3 區(qū)域自適應(yīng)超分辨率重建4.4 空間信息自適應(yīng)總變分超分辨率重建4.5 總結(jié)第5章 正則化參數(shù)的自適應(yīng)求解方法5.1 常用的正則化參數(shù)選擇方法5.2 U曲線正則化參數(shù)選擇方法5.3 實驗結(jié)果5.4 總結(jié)第6章 高光譜圖像的超分辨率重建方法6.1 高光譜圖像的特點分析6.2 常用的高光譜圖像分辨率增強方法6.3 高光譜圖像超分辨率重建方法6.4 實驗結(jié)果與分析6.5 總結(jié)第7章 光學(xué)變焦序列圖像的超分辨率重建方法7.1 問題的提出7.2 觀測模型7.3 圖像配準(zhǔn)與拼接7.4 基于總變差模型的重建方法7.5 實驗結(jié)果與分析7.6 總結(jié)第8章 多時相遙感圖像的超分辨率重建方法8.1 遙感觀測與超分辨率重建技術(shù)的相互促進8.2 遙感圖像預(yù)處理及圖像觀測模型8.3 超分辨率重建方法8.4 實驗結(jié)果與精度分析8.5 總結(jié)參考文獻

章節(jié)摘錄

第1章 緒 論1.1 圖像超分辨率重建產(chǎn)生的技術(shù)背景1.1.1 分辨率的概念圖像分辨率是成像系統(tǒng)對輸出圖像細節(jié)分辨能力的一種度量，也是圖像中目標(biāo)細微程度的指標(biāo)，它表示景物信息的詳細程度。對“圖像細節(jié)”的不同解釋就會對圖像分辨率有不同的理解，對細節(jié)不同側(cè)面的應(yīng)用又可以得到圖像不同側(cè)面的度量（曹聚亮，2004）。因此，圖像分辨率可以分為不同的種類，如空間分辨率、時間分辨率、光譜分辨率、輻射分辨率等。其中，圖像的空間分辨率是指傳感器所能分辨的最小的目標(biāo)大小，或指圖像中一個像素點所代表的目標(biāo)實際范圍的大小，它是圖像清晰程度的度量；時間分辨率在遙感領(lǐng)域一般指衛(wèi)星對同一地點進行重復(fù)觀測的時間間隔，針對視頻數(shù)據(jù)又稱為幀率，是指每秒鐘時間內(nèi)獲取的圖像數(shù)目；光譜分辨率指傳感器在接收目標(biāo)輻射的波譜時所能分辨的最小波長間隔。間隔越小、分辨率越高；輻射分辨率也稱為亮度分辨率，是傳感器接收波譜信號時能夠分辨的最小輻射度差，在圖像中表現(xiàn)為圖像的灰度級，所以有時稱為灰度級分辨率。在本書中，我們主要討論的是圖像的空間分辨率，超分辨率重建也是相對圖像空間分辨率而言的。因此，在后面各章節(jié)中，如果不加說明，分辨率即指的是圖像的空間分辨率。為了加深對圖像分辨率概念的理解，我們對兩個易于混淆的概念，即分辨率和像素數(shù)量（圖像尺寸），進行對比介紹。在數(shù)碼相機市場上，1000 萬像素的相機明顯比500萬像素的相機貴，主要原因就是其獲取圖像的空間分辨率較高。但是，分辨率和像素數(shù)量是否一定成正比關(guān)系呢？一般來講，圖像的分辨率越高，單位長度內(nèi)的像素數(shù)目越多，從而表達同一場景的像素數(shù)目也就越多；但反過來講，圖像像素數(shù)量越多，并不一定表示圖像的分辨率越高。兩幅圖像具有相同的分辨率意味兩幅圖像包含的有用特征相同（Lin and Shum，2004），從這個意義上來講，圖像的分辨率不能僅僅通過圖像中的像素數(shù)目來衡量。同樣，在遙感領(lǐng)域習(xí)慣用一個像素對應(yīng)的地面范圍大小表達圖像空間分辨率的高低，也是不嚴(yán)格的，其僅指的是地面分辨率。如圖1-1（a）所示的南京一處郊區(qū)的SPOT5 全色圖像，圖像尺寸為256 × 256；對該圖像以因子2 進行降采樣，得到的圖像如圖1-1（b）所示，很明顯，降采樣后的圖像尺寸為128 ×128，分辨圖像細節(jié)的能力減小了一半；對降采樣圖像分別以因子2 進行雙線性內(nèi)插和雙三次內(nèi)插，內(nèi)插結(jié)果分別顯示于圖1-1（c）和（d）中，雖然內(nèi)插圖像的尺寸為256× 256，但與降采樣圖像相比分辨有用細節(jié)特征的能力并未增加，因此其實際的空間分辨率并未提高，仍低于圖1-1（a）。通過以上對比分析可以看出，決定圖像分辨率的因素是其對圖像細節(jié)的分辨能力。欲提高圖像的分辨率，須通過處理增加圖像中有用的細節(jié)特征。1.1.2 圖像分辨率提高的硬件限制圖像傳感器是圖像觀測系統(tǒng)中最核心的部件之一，數(shù)字相機就是采用圖像傳感器來形成圖像的模擬電流信號，經(jīng)模擬-數(shù)碼轉(zhuǎn)換處理后再進行記錄形成圖像。因此，圖像傳感器的質(zhì)量是決定圖像質(zhì)量的關(guān)鍵因素。現(xiàn)今主流的圖像傳感器為CCD（charge coupled device）傳感器，其他圖像傳感器如CMOS（complement metal oxide semiconductor）也日益增多。常規(guī)情況下，人們主要通過改進高精度的CCD 或CMOS 傳感器等硬件設(shè)備來獲取高分辨率的圖像，即所謂的“硬件途徑”。其中最直接的方法就是通過改進傳感器制作工藝減小感光單元尺寸，以增加圖像的像素數(shù)。隨著技術(shù)的不斷改進，感光單元的尺寸越來越小，而隨著感光單元的逐漸變小，獲取的圖像受散粒噪聲的影響則越來越大，如果無限制地減小感光單元的大小，所獲取的圖像像素數(shù)量雖然增加了，但噪聲的影響限制了圖像實際分辨率的提高。CCD 傳感器感光單元的最優(yōu)尺寸為40μm2，目前的傳感器技術(shù)已經(jīng)幾乎達到了這一水平。另一種提高圖像分辨率的“硬件途徑”是增加芯片尺寸的大小，但是隨著芯片尺寸的增加，電容量也會增加，致使電荷的轉(zhuǎn)換率減慢，進而導(dǎo)致圖像中的點光源變模糊（Chaudhuri and Joshi， 2005），因此該方法也有非常大的限制（Park et al， 2003）。此外，高空間分辨率圖像的獲取還存在其他多方面的限制。首先，高精度的硬件設(shè)備往往價格昂貴，出于經(jīng)濟性方面的考慮，人們也不得不選擇較低分辨率的相機或圖像數(shù)據(jù)。其次，傳感器設(shè)計的尖端技術(shù)往往掌握在少數(shù)幾個發(fā)達國家手中，大部分發(fā)展中國家包括中國在傳感器設(shè)計方面的技術(shù)還相對落后。例如，在衛(wèi)星遙感對地觀測領(lǐng)域，我國遙感衛(wèi)星獲取的圖像在空間分辨率指標(biāo)上與西方發(fā)達國家有較大差距。再次，成像系統(tǒng)的空間分辨率與時間分辨率、光譜分辨率相互制約，為了保證具有較高的時間分辨率或光譜分辨率，往往不得不在空間分辨率指標(biāo)上進行次優(yōu)的設(shè)計，如為保證在較短時間內(nèi)獲取全月球的覆蓋數(shù)據(jù)，我國“嫦娥一號”CCD 相機和美國“月球勘測軌道器”的寬角相機，其空間分辨率分別只有120m 和100m，顯然無法進行對月表的細微表達與精細解譯。綜合以上原因，通過“硬件途徑”提高圖像的空間分辨率存在諸多方面的限制，從而催生了本書闡述的內(nèi)容――超分辨率重建技術(shù)。超分辨率重建是從“軟件途徑”，通過發(fā)展理論、算法來提高圖像的空間分辨率，已成為圖像處理領(lǐng)域最為活躍的研究方向之一。1.2 圖像超分辨率重建的概念、原理與應(yīng)用不同的學(xué)者對圖像超分辨率重建的定義不盡相同，較為通用的定義為：圖像超分辨率重建是通過對多幅具有互補信息的低分辨率圖像進行處理，重建一幅或多幅高分辨率圖像的技術(shù)。近年來，一些學(xué)者又將超分辨率重建劃分為多幅圖像超分辨率重建和單幅圖像超分辨率重建，但這里所謂的“單幅圖像超分辨率重建”并非僅利用了一幅圖像的信息，而是以輸入的一幅圖像為基礎(chǔ)，在圖像數(shù)據(jù)庫中尋找有用的互補信息，進行信息的融合從而生成超分辨率圖像，因此其仍然是利用了多幅圖像的信息。而像單幅圖像復(fù)原、圖像內(nèi)插等處理，雖然在很多情況下能夠大大提升圖像的清晰度，但并沒有體現(xiàn)“超”的含義，因此不應(yīng)劃入超分辨率重建的范疇。下面將從一個常用的圖像觀測模型出發(fā)，闡述圖像超分辨率重建的基本原理。1.2.1 圖像觀測模型圖像觀測模型描述理想圖像與觀測圖像之間的關(guān)系。在圖像超分辨率重建中，觀測圖像即一系列的低分辨率圖像，理想圖像即所求的高分辨率圖像。給定一定場景的P幅低分辨率圖像，可以認(rèn)為它們是由一幅高分辨率圖像經(jīng)過一系列的降質(zhì)過程產(chǎn)生的，降質(zhì)過程包括幾何運動、光學(xué)模糊、亞采樣以及附加噪聲（Park et al.， 2003）。如果用矢量z 表示所求的高分辨率圖像，gk表示某一幅低分辨率圖像（ k為圖像編號），一個常用的圖像觀測模型為（Elad and Feuer，1997；Park et al.， 2003）整個降質(zhì)過程可以用圖 1-2 來表示，最左邊的圖像即表示理想高分辨率圖像，依次經(jīng)過旋轉(zhuǎn)運動、模糊、降采樣和噪聲過程，得到最右邊的圖像，即為觀測圖像。1.2.2 圖像超分辨率重建的原理圖像的觀測模型描述了從理想高分辨率圖像到觀測圖像的正過程，而圖像超分辨率重建則是一個逆過程，即利用觀測得到的多幅低分辨率圖像，重建出理想的高分辨率圖像，如圖 1-3 所示。實現(xiàn)超分辨率重建的前提是圖像之間必須包含著互補信息，而根據(jù)互補信息的不同來源方式，超分辨率重建技術(shù)又可以分為不同的類別。1. 基于運動的超分辨率重建1984 年，Tsai 和Huang 首先提出利用多幅具有亞像素位移的欠采樣圖像進行超分辨率重建的方法（Tsai and Huang，1984），基本原理就是把各圖像上由于亞像素位移而存在的互補信息融合到同一幅圖像中，達到提高分辨率的目的。例如，在圖 1-4中，箭頭左邊代表四幅具有亞像素位移的3×3的圖像，并且，如果把第一幅圖像看做參考圖像，它們之間的相對位移量分別為（0，0），（0，0.5），（0.5，0），（0.5，0.5）。這時，由于圖像之間的位移差正好以半個像素為單位，可以很容易地把這四幅圖像融合到同一幅圖像中，得到箭頭右邊的6×6大小的圖像。上述僅是超分辨率重建的一個最簡單的例子，在很多情況下，圖像之間的位移量并不一定恰恰以半個像素為單位，而且運動也并不一定為整體平移，也可能為旋轉(zhuǎn)、縮放、扭曲以及局部運動等，但無論如何，只要它們之間存在亞像素的位移，而且位移量為已知或通過運動估計方法可以近似求得，就存在實現(xiàn)超分辨率的可能。如圖1-5（a）～（d）所示為成像系統(tǒng)對同一場景的四次不同觀測，四幅觀測圖像之間具有亞像素位移，因而具有相似而不完全相同的信息，將它們疊加在同一平面上，如圖1-5（e）所示，可以看出明顯提高了對該場景的采樣密度，但采用并不規(guī)則，超分辨率重建的任務(wù)就是將不規(guī)則采樣數(shù)據(jù)轉(zhuǎn)化為規(guī)則采樣數(shù)據(jù)，即圖 1-5（f）。如果從觀測模型式（1-1）看，此類超分辨率重建所需的互補信息來源于式中的運動矩陣Mk ，我們把此類利用圖像之間的亞像素位移來獲取互補信息并實現(xiàn)超分辨率的方法稱為基于運動的超分辨率重建方法。由于人們非常容易接觸到具有相互運動的圖像序列（如視頻序列、多時相圖像等），再加上基于運動的超分辨率重建方法比較直觀而且又比較容易實現(xiàn)，所以在國內(nèi)外的文獻中，絕大多數(shù)的超分辨率重建方法屬于此類方法，它是當(dāng)前圖像超分辨率重建領(lǐng)域中的研究主流，也是本書重點講述的內(nèi)容。下面給出一個基于運動的超分辨率重建的實例，如圖 1-6所示。圖像中的景物皆為靜止，我們用普通商用數(shù)碼相機進行拍攝，得到序列圖像，并把重建目標(biāo)鎖定在車排號及其附近的區(qū)域，采用基于最大后驗估計的方法進行重建，可以看出，重建后圖像比重建前圖像的質(zhì)量有了較大的改善，空間分辨率得到了較大提高，能更清晰地分辨出圖像上的數(shù)字和字母。2. 基于尺度的超分辨率重建基于尺度的超分辨率重建是對不同觀測尺度的寬場景、低分辨率圖像與小場景、高分辨率圖像進行處理，從而得到一幅同時具備寬場景和高分辨率特征圖像的技術(shù)。例如，目前大多數(shù)的數(shù)碼相機都具備光學(xué)變焦功能，如果在對同一目標(biāo)進行多次拍攝時所選用的焦距不同，獲取的圖像就會有不同的分辨率和取景范圍，……

圖書封面

圖書標(biāo)簽Tags

無

評論、評分、閱讀與下載

---

    圖像超分辨率重建 PDF格式下載

---