MATLAB铁路监控视频的超分辨率技术研究(5)
（1）运动估计：估计低分辨率图像序列的信息在待恢复HR图像中的对应位置，确定由低分辨率图像的子像素运动所形成的位移算子。
（2）几何形变：根据运动估计结果，将低分辨率图像信息通过插值和几何形变还原到HR图像坐标中。
（3）信息融合：将还原到HR图像坐标中的信息融合到一张图片中，可以采用多种信息融合算法。
（4）去模糊和噪声：在HR融合图像中需要去除模糊和噪声，如果图像模糊和噪声未知，需要先图像序列中估计。超分辨率影像重建技术于60年代由Hamm和Goodman最初以单张影像复原的概念和方法提出，随后许多人对其进行了研究，并相继提出了各种复原方法，虽然这些方法做出了较好的仿真结果，但并没有在实际中得到广泛的应用。80年代末之后，随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、自适应滤波理论以及一些优化理论的发展，人们在超分辨率影像重建方法研究上取得了突破性进展，研究成果倍出，其应用涵盖了航空航天遥感、目标识别、医学计算机层析成像、空中目标光电监视成像等诸多领域。值得一提的是，国际著名的光学仪器制造公司Lexical/Holloway公司、法国国家航天研究中心已经把该领域的理论研究成果转化到硬件产品--交错CCD传感器阵列的设计中，并已将其分别应用于他们的遥感设备“ADS40”和“SPOT5”卫星，取得了相当理想的效果。从目前的研究和应用成果来看，人们提出了很多图像超分辨率算法。这些算法按照可以获得的低分辨率图像的数量可以分为两类:1)序列图像的高分辨率估计:组合同一场景的多幅低分辨率图像以获得一幅高分辨率图像的过程;2)单幅图像的高分辨率估计:由一幅低分辨率图像得到一幅高分辨率图像的过程。另外，序列图像超分辨算法也可以分为空间域方法和频率域方法。早期的研究工作主要集中在频率域进行，但随着更一般的退化模型的考虑，后期的研究工作几乎都集中在空间域进行[4]。
2.1 频率域方法
频率域方法是图像超分辨率重建中的一类主要方法，主要是基于傅氏变换和反变换来进行的图像复原。它通过在频率域消除频谱混叠而改善图像的空间分辨率，由于图像的细节靠高频信息来表现，而通过消除频谱混叠，就可以获得更多的被淹没掉的高频信息，因此依靠在频率域解频谱混叠就是增加图像的细节，提高分辨率。目前采用的主要是消混叠重建方法(Reconstruction via Alias Removal)，消混叠重建方法是通过解混叠而改善影像的空间分辨率，进行超分辨率重建。最早的研究工作是由Tsai和Huang在1984年进行的。作为两类主要的重建算法之一，频域算法的基本思想就是将图像数据先变换到频域进行结合转换，再变换回空间域形成高分辨率图像。它主要利用了采样定理以及连续傅立叶变换(CFT)，离散傅立叶变换(DFT)的性质等。在原始场景信号带宽有限的假设条件下，利用离散Fourier变换和连续Fourier变换之间的平移、混叠性质，给出了一个由一系列欠采样观测影像数据重建HR影像的公式，使得多帧观察图像经混频的傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来，方程组的解就是原始场景的频率域系数，再利用求解的频率域系数进行傅立叶逆变换就可以实现原始场景的精确重建，该方法要求图像间位移参数的估计达到子像素精度，而且每一帧观察图像都必须只对方方程组中的一个不相关的方程组做出贡献[6] 。
图2,2 频域法图像复原流程图
频域算法有以下的优点：首先它是一种简单而且直观的方法，虽然实现起来有一定的复杂度，但是它的基本原理很清晰，使用的频域法则也只是很容易理解的基本的傅立叶变换性质；其次，频域算法的计算复杂度低，其主要计算量是求解线性方程组，由于超分辨率图像的每个频域采样点值的计算是独立的，所以可以支持大量的并行运算，提高处理速度。但是，频域算法的缺陷也非常明显[7]。
下一篇：基于旋律的音乐检索系统设计与实现