视频深度图像的产生和编码+文献综述(6)
1. 随着基线距离的增加，两个摄像机的共同的可视范围减小
2. 场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大
3. 由于透视投影引起的变形导致两个摄像机获取的两幅图像中不完全相同，这就给确定共轭对带来了困难
由于这种算法在实际中往往有着很复杂和很大的计算量，也有人提出了深度图估计的光学微分等方法，在这就不一一介绍。
3.2 深度编码（基于虚拟视点合成的深度编码）
图2显示了虚拟视点合成的深度编码框图，主要有4个步骤组成：
步骤1 深度图下采样；
步骤2 MVC的压缩；
步骤3 解码后深度图上采样；
步骤4 深度图重建滤波。图7. 深度编码的过程
3.2.1 深度图的上下采样
对降低分辨率的深度图进行编码可以大大减少码率，但同时也降低了深度图的质量，特别是插值所具有的平滑作用会削弱图像的高频部分，使放大的深度图像对象边界变得模糊不清。所以使用普通插值算法处理深度图像效果不理想，导致最终合成虚拟图像产生赝像。为此采用三次B样条的深度图像插值算法，通过对深度图像特性分析，采用深度图像灰度变化的非均匀算法，可得到比普通插值算法更为精确的深度图像。
把深度图像看作以灰度值为控制点的B样条曲面，这样深度图像插值后重采样点的灰度值也是曲面上的点，从而实现深度图像的上下采样。在深度图像处理中，可将处理数据对象看作是二文离散信号，而在图像的放大缩小处理中则需要对图像像素点的灰度值进行上下采样。设原始深度图像的分辨率为X*Y，采样率为m，设采样后深度图像的任一像素为（i1，j1），其对应原始深度图像的像素为（i,j），可以表示为 i=i1/m, j=j1/m,式中，a=[i],b=[j],[]定义为不大于i和j的最大整数，于是可根据式（4）计算出像素（i，j）的值，再计算出采样插值后深度图像（i1，j1）的灰度值。则u和v方向上的灰度值可表示为
U= (i-a)/5 , v =(j-b)/5
最后对深度图进行上采样，本文设计一个深度重建滤波器对由深度图上采样或压缩而引起的对象边界缺陷(如模糊、块效应等)进行优化。
3.2.2 深度重建滤波器
深度图纹理单一，边缘锐利，特征点较少，显然不同于视频图。所以，保持深度图正确清晰的对象边界对高质量虚拟视点绘制非常重要。采用3.2.1节提出的深度图像上下采样方法可得到比较清楚的深度图像，但存在深度估计不准确、MVC编码造成的深度图像不连续以及物体对象边缘的模糊等问题. 这些原因引起的深度图微小错误，也会对虚拟视点质量造成较大的影响，因此，需要在虚拟视点合成之前对深度图进行预处理重建以提高最终的合成质量。
由于深度图在对象边缘处变化较大，这种不连续性将使三文映射所产生的新视点图像中出现较大的空洞，不利于空洞填补。 因此，在基于深度图像绘制中一般需执行深度图的预处理来减少深度图的不连续性。经典的深度图预处理方法主要分为平滑处理和边缘提取两类。平滑处理方法如高斯滤波器和不平衡滤波器等都是通过对整幅深度图进行平滑处理来减小对象边缘处的不连续性，但同时也使深度图其他区域发生失真，影响最终生成的新视点图像的质量；边缘提取方法则只对深度图边缘附近区域进行平滑，不影响其他区域。为更有效地填补三文映射所生成的新视点图像中的空洞，本文采用改进的边缘提取方法来实现深度图预处理，步骤如下：
步骤1 对深度图像进行边缘检测，将检测到的对象前景边缘深度向外扩展若干像素，以便形成有利于图像修复的带状区域并大致保留对象的边缘。