在典型的视频压缩设计中,视频压缩略图像类型主要有三种:节点图像(Intra pictures)、预测图像(Predicted pictures)和前后预测图像(Bi-predictive pictures或Bi-directional pictures)。以上三者也常称作I画格(I frames)、P画格(P frames)和B画格(B frames)。在视频压缩格式中,如ITU-T VCEG和ISO/IEC MPEG视频标准,通常只编码图像之间的差异处。1
画格类型严格来说,图像(picture)是比画格(frame)更为广泛的术语,因为图像可以指画格(frame)或区域(field)。画格是某一瞬间所截取下的视频,而区域是视频每一行线的集合。如果视频是以交错扫描来发送的话,通常会采用各别区域对图像编码,而不会对完整画格进行编码。尽管有时实际指的是更为广泛的“图像”(picture),通俗口语也常使用“画格”(frame)来指“图像”。2
图像通常会被切割成几个宏块(macroblock),而且可以宏块为基准来选择特定的预测类型,而非整个图像都使用同样的类型:
I图像(Intra-coded pictures)只可含有节点宏块,就像传统的将一张张图片作压缩。
P图像(Predictive pictures)可含有节点宏块或预测宏块,相对于之前的画格(frame),编码器不用记录下P-frame中没有改变的像素。
B图像(Bi-predictive pictures)可含有节点、预测和前后预测宏块。
此外,较新的视频编解码标准H.264,其图像可分区成更小的范围,称为切片(slice),并以此取代宏块的作用。编码器可对特定的切片选择预测类型。H.264还建议:
SI-画格/片(转换I);促进编码流之间的转换;含有SI宏块(特殊类型的节点编码宏块)。
SP-画格/片(转换P);促进编码流之间的转换;含有P和/或I宏块。
多画格运动估计(multi-frame motion estimation,可多达32引用画格)。
多画格运动估计可提升相同压缩率下的品质,且SI-格、SP-格(定义为延伸profile)可增强对错误的承受能力,这样就能够恢复受损的DVD流。2
节点图像图像的编解码不涉及自己以外的任何图像。
可由编码器创建随机存取点(使解码器可在其它图像点上适当的进行解码)。
当要呈现不同的视频细节时,也会产生I图像。
与其它图像类型相比,节点图像通常需要更多比特进行编码。
I图像(I-画格)常用于随机存取,并作为其它图像的解码引用。每半秒一次的节点更新周期主要应用于数字电视广播和DVD媒体。在某些环境下可使用较长的更新周期,如视频会议系统很少发送I图像。3
预测图像需要先前图像以进行解码。
可包含视频数据、运动向量移位和组合。
可按解码顺序引用前一图像。
较旧的标准(如MPEG-2),在解码期间,仅使用一个先前解码图像作为引用,且显示顺序要在P图像之前。
H.264在解码期间,可使用多个先前解码图像作为引用,且可具有任意的显示顺序关系。
通常只需要比I图像还要少的比特进行编码。4
前后预测图像需要先前图像以进行解码。
可包含视频数据、运动向量移位和组合。
包含一些针对运动范围的预测模式(如,宏块或较小的区域),以两个不同的先前解码引用范围获取平均预测。
较旧的标准(如MPEG-2)不使用B图像作为其它图像的预测引用。B图像可用于较低品质的编码,因为丢失的细节将不会损害到随后图像的预测品质。
H.264可使用B图像作为其它图像解码的引用(由编码器判断)。
较旧的标准(如MPEG-2)使用两个先前解码的图像作为引用,并要求其中一个图像的显示顺序要在B图像之前,且另一个在之后。
H.264可使用一个、两个或两个以上的先前解码图像作为引用,且可具有任意的显示顺序关系。
通常只需要比I或P图像还要少的比特进行编码。
本词条内容贡献者为:
任毅如 - 副教授 - 湖南大学