超解析度

超解析度(Super-Resolution)即通過硬體或軟體的方法提高原有圖像的解析度，通過一系列低解析度的圖像來得到一幅高解析度的圖像過程就是超解析度重建。超解析度重建的核心思想就是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間解析度，實現時間解析度向空間解析度的轉換。

超解析度圖像復原(Super-Resolution Image Reconstruction)

在大量的電子圖像應用領域，人們經常期望得到高解析度（簡稱HR）圖像。高解析度意味著圖像中的像素密度高，能夠提供更多的細節，而這些細節在許多實際應用中不可或缺。例如，高解析度醫療圖像對於醫生做出正確的診斷是非常有幫助的；使用高解析度衛星圖像就很容易從相似物中區別相似的對象；如果能夠提供高分辨的圖像，計算機視覺中的模式識別的性能就會大大提高。自從上世紀七十年代以來，電荷耦合器件(CCD)、CMOS圖像感測器已被廣泛用來捕獲數字圖像。儘管對於大多數的圖像應用來說這些感測器是合適的，但是當前的解析度水平和消費價格不能滿足今後的需求。例如，人們希望得到一個便宜的高解析度數碼相機/攜帶型攝像機，或者期望其價格逐漸下降；科學家通常需要一個非常高的接近35毫米模擬膠片的解析度水平，這樣在放大一個圖像的時候就不會有可見的瑕疵。因此，尋找一種增強當前解析度水平的方法是非常必須的。

增加空間解析度最直接的解決方法就是通過感測器製造技術減少像素尺寸（例如增加每單元面積的像素數量）。然而，隨著像素尺寸的減少，光通量也隨之減少，它所產生的散粒雜訊使得圖像質量嚴重惡化。不受散粒雜訊的影響而減少像素的尺寸有一個極限，對於0.35微米的CMOS處理器，像素的理想極限尺寸大約是40平方微米。當前的圖像感測器技術大多能達到這個水平。

另外一個增加空間解析度的方法是增加晶元的尺寸，從而增加圖像的容量。因為很難提高大容量的偶合轉換率，因此這種方法一般不認為是有效的。在許多高解析度圖像的商業應用領域，高精度光學和圖像感測器的高價格也是一個必須考慮的重要因素。因此，有必要採用一種新的方法來增加空間解析度，從而克服感測器和光學製造技術的限制。

一種很有前途的方法就是採用信號處理的方法從多個可觀察到的低解析度（簡稱LR）圖像得到高解析度圖像。最近這樣的一種解析度增強技術正成為最熱的研究領域之一，在文獻中人們把它叫超解析度（簡稱SR或者HR）圖像復原或者簡單地叫做解析度增強。本文中我們用“超解析度圖像復原”這個術語來指解析度增強的信號處理方法，因為在克服低解析度圖像系統固有的解析度限制方面，“超分率”術語中的“超”字代表了一個非常好的技術特性。信號處理方法最大的好處就是它的成本低，同時現存的低解析度圖像系統仍能使用。在許多實際應用中，特別是在醫療圖像、衛星圖像和視頻等領域，同樣場景的多幀低解析度圖像很容易得到的情況下，SR圖像復原被證明是非常有用的。一種應用就是用便宜的LR數碼相機/攜帶型攝像機復原高質量的數字圖像以便列印/停格使用，通常對於一個攜帶型攝像機，很有可能連續顯示放大幀；另外一種非常重要的應用是在監控、法院、科學、醫療和衛星圖像應用中縮放感興趣區域（簡稱ROI），例如，在監控和法院中，目前數字攝像機（簡稱DVR）已經普遍取代了閉路電視（簡稱CCTV），就很有必要放大場景中的目標如汽車牌照或者疑犯的臉部。在諸如CT和核磁共振（簡稱MRI）等醫療應用中，解析度質量有限的而獲取多幅圖像有是可能的情況下，SR技術是非常有用的；在遙感和地球資源衛星（簡稱LANDSAT）一類衛星圖像應用中，在同一地區的多幅圖像可提供的情況下，可以考慮使用SR技術增強目標的解析度；另外一種非常迫切而現實的應用是把一般的NTSC格式低清電視信號轉換為高清電視信號（簡稱HDTV）而不失真地在HDTV上播放。

我們如何從多幅LR圖像中得到HR圖像？在基於SR的空間解析度增強技術中，其基本前提是通過同一場景可以獲取多幅LR細節圖像。在SR中，典型地認為LR圖像代表了同一場景的不同側面，也就是說LR圖像是基於亞像素精度的平移亞採樣。如果僅僅是整數單位的像素平移，那麼每幅圖像中都包含了相同的信息，這樣就不能為HR圖像的復原提供新的信息。如果每幅LR圖像彼此之間都是不同的亞像素平移，那麼它們彼此之間就不會相互包含，在這種情況下，每一幅LR圖像都會為HR圖像的復原提供一些不同的信息。為了得到同一場景的不同側面，必須通過一幀接一幀的多場景或者視頻序列的相關的場景運動。我們可以通過一台照相機的多次拍攝或者在不同地點的多台照相機獲取多個場景，例如在軌道衛星一類可控制的圖像應用中，這種場景運動是能夠實現的；對於局部對象移動或者震蕩一類的不可控制的圖像應用也是同樣能實現的。如果這些場景運動是已知的或者是在亞像素精度範圍了可估計的，同時如果我們能夠合成這些HR圖像，那麼SR圖像復原是可以實現的。

與SR技術相關的一個課題是圖像修復，這是一個在圖像應用中被大量處理的領域，圖像修復的目標是恢復一個被模糊或者雜訊破壞的圖像，但是它不改變圖像的尺寸。事實上圖像修復和SR復原在理論是完全相關的，SR復原可以看作是第二代圖像修複課題。

與SR技術相關的另一個課題是圖像插值，即增加單幅圖像的尺寸。儘管這個領域已經被廣泛地研究，即使一些基本的功能已經建立，從一幅近似的LR圖像放大圖像的質量仍然是有限的，這是因為對單幅圖像插值不能恢復在LR採樣過程中損失的高頻部分。因此圖像插值方法不能被認作是SR技術。為了在這方面有更大的改進，下一步就需要應用基於同一場景的相關的額外數據。基於同一場景的不同的觀察信息的融合就構成了基於場景的SR復原。