H264解码器原理之一

大家好，又见面了，我是你们的朋友全栈君。

H264的层次结构包括VCL(视频编码层)与NAL(网络提取层)，具体的语法结构，在之前的文章已经提到过，这里就不再赘述了。NAL主要是把VCL的内容进行封装，帮助更好的适合复杂的网络环境。在解码端，NAL解码器又复杂拆分，进行图像重构建，如下图所示解码流程图。大致的解码流程为，解码器接收到压缩的码流，经过熵解码，再经过反量化，再反变换，得到残差数据，当解码器获得解码的头信息后构建一个预测块PRED，预测块与残差叠加求和就可以得到图像数据UF，最后通过各类滤波器，得到重构图像。

1.NAL单元与结构

NAL单元是基于包交换技术在网络中传输，符合传输层和存储介质的数据格式，同时具有头信息功能，各类型封装，比如RTSP，RTMP，都是基于NAL单元的基本封装。NAL单元不仅仅可以基于包，还可基于bit流系统的基本格式，两者区别就是bit流都有一个start code，会在头部记录正确，丢失等信息。

如果NAL单元携带一个编码片，有一个SPS或PPS，它的头部包含3个长比特区，类型T，参考ID，隐藏bit位F。在实际的环境中，如果有一个从无线到有线的环境，当NAL单元到达无线环境，有线传输的校验会检测失败，那么中间的路由可以选择从码流去掉这个NALU，也可以传输，有些解码器可以重构，有些只能抛弃。

2.NAL单元解码流程

NAL单元解码首先提取RBSR，根据NALU不同的类型进行识别，进入不同类型解码过程。详细的解码过程，都是需要根据不同类型的语法结构去解码。

一帧图像的详细解码流程，如下图所示，NAL单元解码，再根据NALU的类型进行SLICE解码，再进行BLOCK解码，最终才是预测块叠加，然后去方块滤波处理，重建图像。

2.图像序列号

在解码端，解码完，需要显示，但是解码的图片往往不能立即显示，因为解码顺序与播放顺序是不一样。在H264用什么来标记播放顺序呢?POC，每个帧都分为顶场和底场序列号，详细的信息如下。根据不同类型的帧，进行排序和调整。

顶场和底场的函数类型。

POC类型为0，表示基于前一个参考图像计算当前场或帧，大部分参数都是基于此计算。详细如图所示。

当POC为1表示是基于前一帧的偏移计算顶场或底场数量。详细流程如下。

当POC为2时，计算流程如下所示，不能用于连续非参考图像序列中。

3.参考图像标记过程

当完成一帧图像解码后，需要对已解码图像进行详细处理，当nal_ref_idc不等于0，表示要被标记短期参考或长期参考。具体的操作流程如下图所示。如果图像出现不连续，则用公式PrevRefFrameNum不等于(PrevRefFrameNum+1)%MaxFrameNum。

今天这里讲解的只是解码端的冰山一角，后面还会补充，欢迎关注微信公众号和头条号同步更新。