视频深度图像的产生和编码+文献综述(4)
图3. 3DTV系统
2.2.4 二文视频转换为三文视频的3DTV系统
如图1的左下端所示，2D视频转换为3D视频的3DTV系统是由单个高清晰度摄像机拍摄二文彩色视频后，通过2D视频转换为3D视频（简称2D转3D）的处理来得到三文视频信号（其后的流程与多视3DTV系统相同），这样大大简化了拍摄系统。虽然其立体效果比多摄像机拍摄的多视3DTV系统稍逊，但可使3D节目制作的费用显著降低。因3D节目拍摄并不像2D节目那样较单一，其立体效果随场景的远近和类型而不同，需要交叉拍摄（对双视3DTV系统也是如此，故2010年南非世界杯现场转播时也采用专用的远近景3D拍摄机和2D转3D交叉使用）。此外，现有的2D高清片源在2D转3D后作为3D片源由DVD／机顶盒播放。
2D转3D的核心技术主要由利用边缘信息将块分组为区域、用梯度先验假设为各个区域分配深度、用双边滤波抑制块效应和基于深度图像绘制（depth image based rendering ,DIBR）的多视绘制几部分组成本课题组进一步将2D转3D图像/视频转换与动画设计、3D特技效果和快速虚拟视点绘制相结合，提出了图5所示的3D视频节目制作方案。在上海市科委世博专项基金的资助下，课题组研制成4套2.616m（103英寸）和1套2.159m（85英寸）/2套1.168m（46英寸）的多视3DTV系统，并已分别在中国国家馆的“低碳行动馆”和“东方足迹馆”中展出。由于实现了不戴立体眼镜直接用肉眼即可看到栩栩如生的3D动态视频，深受观众欢迎。
图4. 2D转换3D显示
2.3 3DTV新模式
2.3.1 SVD表示的3DTV系统
传统的双目3DV系统中，2个视点的视频都需要传输，而SVD则只需传输其中1个视点的视频和以另1个视点为主的场景深度信息。深度信息是由视频图像每个像素的深度层所组成的灰度图像，称为深度图（depthmap，DMP）。深度值的设定与2个主要深度层限幅平面相关，由于深度图在压缩编码后的比特率仅为压缩1路彩色视频比特率的15%-20%，因此，可大幅提高双目视频的编码效率.但原来的2个视在省略掉1个视后，会发生对象的某个部分原来在,1个视中可见而在另1个视中不可见的“遮挡”现象，从而导致深度的不连续。而由于深度的不连续，物体边缘部分经编码后在视合成的三文映射过程中会使合成视图像形成大的空洞。为此，我们结合上海市科委重点资助项目的研究，提出如图6所示的解决方案，其中在深度估计后先对获得的深度图进行如下预处理：①通过边缘检测，将检测到的对象前景边缘深度向外扩展几个像素，以形成有利于图像修复的带状区域，并大致保留对象边缘；②对扩展后的边缘进行平滑；③为防止垂直线条由于深度值的不同而在图像映射过程中发生扭曲，采用方向算子提取原图像的垂直边缘，进而对该方向上的深度值进行校正，以确保垂直方向上深度值的一致。
图5. SVD 3DTV系统
在图像变化剧烈的区域，滤波器利用边缘点附近那些灰度值相近像素点的平均灰度值来代替原灰度值。因此，经预处理和双边滤波后，既平滑了深度图像，又保持了物体边缘处的深度连续性，从而在上图所示的系统中，能够在编解码后视合成的三文映射中抑制可能形成的空洞。
2.3.2 MVD表示的3DTV系统
MVD是在上面所述的SVD上发展而来的，即将上图所示SVD中的输入、深度估计和视频编码分别扩展为多视视频、多视深度估计和多视视频编码，如图7所示。
图6. MVD 3DTV系统
MVD的最大优点是能够显著减少拍摄摄像机的数量。如图7所示，重建的,9个视点（S1-S9）中，只有3个视点（S1,S5,S9）的视频内容由3个摄像机拍摄获得，而S2-S4和S6-S8是由S1，S5，S9的视频和深度基于DIBR生成的，因此，可简化多视摄像机装置，并大幅降低编码传输的数据量。由于ＭＶＤ极有可能成为新的3DTV格式的标准，因此，已成为当前国际前沿的研究热点。