MATLAB铁路监控视频的超分辨率技术研究(6)
(1) 使用全局位移的运动模型：频域算法的提出最初是为了处理卫星图片，不同的图片之间只是拍摄角度有细微的差别，所以可以方便地应用全局位移模型，不过对于一般的图像序列全局位移的要求很可能不被满足，由于傅立叶变换的平移特性是频域算法使用的基本技术之一，很难对运动模型进行调整以适应有局部运动情况的图像序列，缺少灵活性，从而限制了在大多数实际情况。
(2) 退化模型与运动模型的问题类似，频域算法因为要把所有像素点统一转换到频域进行处理，所以无法应用随空间变化的退化模型，没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响。对观察噪声的处理能力也非常有限。
(3) 先验知识的应用：超分辨率图像重构是病态求逆的过程，因此恢复过程中利用各种先验知识进行图像调整是很重要的。通常最有用的先验知识都是在空间域对图像的重构范围进行限制的，它们很难被用于频域，除非其效果是移不变的。
(4) 图像频带受限：图像频带有限与全局位移都是进行频域重构的基本假设。算法中L值的设置会限制重构图像的质量，如果设置得高，就会导致线性方程组中的未知量过多，数据点不足的问题。
2.2 空间域方法
空域法是图像超分辨率重建应用中另一类主要的方法，是目前研究的热点，它的性能要远远高于频域的方法。它将复杂的运动模型与相应的插值、迭代及滤波重采样放在一起进行处理，作为影像重建的全部内容，其线性空间域观测模型涉及到全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样及其他一些内容。空域法主要有三种方法：第一种是迭代反投影法（IBP），第二种是POCS方法，第三种是Bayesian方法[8]。
图2.3 空域法图像复原流程图
2.1.1 非均匀样本内插值法
非均匀样本内插法为超分辨率重建技术中最直观的一种方法，观测影像序列经过配准后，形成一幅由非均匀间隔采样格网点上的样本值形成的复合影像，这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网。非均匀间隔样本内插方法是超分辨率图像复原最直观的方法。在这一方法中，首先对图像进行相对运动估算，即配准，然后进行非均匀插值以便产生一幅分辨率较高的图像，最后对图像进行去模糊。通用插值方法将包含原始函数的空间分解为适当的子空间，在每一个子空间内进行以插值为目的的尺度变换，然后将插值空间逆变换到原始空间。这样原始空间也就包含了插值函数，相当于在原始空间内插值。挑选这些子空间的原则是：尺度变换的操作能够保持原始函数的特性。使用估算的相对运动信息，可以获得非均匀间隔样点上的HR图像。一旦通过非均匀插值获得一幅HR图像，就能处理复原问题以消除模糊与噪声。可以使用任何考虑噪声存在的去卷积方法来进行复原。Aizawa, Komatsu和Saito提出了另一种基于内插的方法，对通过立体相机获取超分辨率影像的方法进行了讨论Masayuki用内插滤波方法对遥感影像进行了模拟试验，证明了超分辨率的可行性，但效果并不很理想。近年来，有的学者对基于小波的图像超分辨率技术进行了初步的研究和试验，Nguyen和Milanfar提出了基于小波插值方法的超分辨率复原。其基本思想是将多帧低分辨率数据变换到不同尺度的小波空间，然后在不同尺度的小波空间进行图像复原，得到HR图像，取得了比较满意的试验结果。
总的来说 ，非均匀插值方法的优势是它具有相对较低的计算负荷，并能进行实时应用。但是，内插方法过于简单化，因为观察数据是从严格的欠采样得到的，在复原这一步(典型的假设是脉冲采样)不能得到比低分辨率图像中更多的频率成分。并且退化模型是受限制的，它们只适用于模糊和噪声特性对全部低分辨率图像都一样的情况，也能利用任何先验信息。另外，由于复原步骤忽视了插值阶段中产生的误差，所以不能保证整个复原算法的最优性[9]。
下一篇：基于旋律的音乐检索系统设计与实现