H．264视频转码的设计与实现+文献综述(5)
（b)帧内4×4 预测的8个预测方向
根据预测方向的不同4×4亮度预测可分为9种模式。其中DC预测(模式2),垂直预测(模式0)和水平预测(模式1)总是有效的，即使在上面像素或左边像素不可用情况下(这时上面像素或左边像素的值用128来代替)。而其他模式仅在所有需要利用的预测像素点都可用的情况下才可以使用(如果E，F，G，H不可用，可以用 D的值来代替)。具体这9种预测模式如图2-6所示。
图 2-6 9种亮度4×4预测模式
2.4.2 16×16 亮度预测模式
宏块的全部16×16亮度块可以整体预测，有4种预测模式:Mode 0垂直预测、Mode 1水平预测、Mode 2 DC预测和Mode 3 plane预测，预测方向如图2-7所示:
图 2-7 亮度16×16预测模式
2.4.3 8×8 亮度预测模式
每个帧内宏块的8×8色度块由己编码左上方色度像素预测而得，两种色度成分用同一种预测模式。4种预测模式类似于亮度16×16预测的4种预测模式，只是模式编号不同，其中DC(模式0)、水平(模式1)、垂直(模式2 ) , plane(模式3)。
2.5 帧间预测
视频图像相邻两帧的内容有许多相似性，比如图像的背景(见图2-8 )，这表征了视频信息的时间冗余。帧间预测就是通过利用临近若干帧图像中的相同(相似)部分的数据来预测当前帧中的相应数据，然后对预测数据与实际数据的差值(残差)进行编码，当预测的精度很高时，残差趋向于零，只需很少的数据位即可完成编码，达到大幅压缩视频数据的效果。为了使预测更精确，H.264引入了多帧预测、分数像素精度运动估计等思想，预测方向有单向、双向、混合等数种方式。H.264标准吸收了H.263++中的多参考帧技术，在对快速的周期性运动、背景相互切换、物体存在遮蔽现象等情况进行预测时，多参考帧可以提供更好的帧间预测效果，使得在帧间预测时预测误差更小。参考图像最多可达15帧。帧间预测是H.264编码算法的关键，以下介绍帧间预测的各种技术。
图 2-8 一段视频中连续的两帧图像
2.5.1 树状结构的运动补偿
为了达到对视频图像内容有更好的适应性，H.264标准引入了树状结构像素分割技术，即将一帧图像分割为大小不同的块。H.264标准将宏块进一步分割成16×8, 8×16, 8×8的子块，其中8×8的子块又可进一步分割为8×4, 4×8,4×4的像素块，如图2-9。
图 2-9 H.264中对宏块的分割
对于细节丰富的视频信号，采用小尺寸的像素分割可以提高预测精度，从而减少残差，但同时，小尺寸分割意着一帧图像有更多的子块，也就需要对更多运动矢量(MV)进行编码;对于较为平坦的视频信号，可以采用大尺寸的像素分割来减少需要编码的运动矢量，但这样会引起预测精度的下降，从而需要更多的数据位来编码残差信号。因此，子块大小对编码压缩的效果会有重要的影响。
2.5.2 运动矢量与亚像素精度插值
帧间预测后每一个像素块均由参考帧中的相同尺寸的像素块来表示，二者之间的补偿值即为运动矢量(MV )。运动估计是利用视频图像的时域相关性，产生相应的运动矢量，尽可能准确的描述对象(块或宏块)的时域运动。因此运动矢量的精度越高，运动估计的残差越小，这样在降低编码效率的同时提高重建视频质量。H.264支持亮度分量的1/4象素和色度分量的1/8象素的运动估计，利用6抽头滤波器产生1/2分数象素，线性插值产生1/4分数象素，4抽头滤波器产生最高1/8分数象素。与整像素相比，H.264使用的1/4像素精度的运动估计性能要好得多，但是代价是增加了运算复杂度。