视频编解码基本流程

大家好，又见面了，我是你们的朋友全栈君。

本文简要概述视频编解码中的基本流程。具体表现为下图的过程：

 编码流程：

（1）预测：视频由按照时间序列的图像构成。每一幅图像相邻像素之间存在较强的空间相关性，而相邻图像（不同时间）之间存在时间上的相关性。充分利用这些信息，可以有效的帮助我们去除这些冗余信息。根据空间和时间相关性，存在帧内预测和帧间预测两种不同的方式。两者都需要根据已编码的像素去预测未编码像素。通常选取第一帧作为参考帧，而不进行处理。通过帧内/帧间预测的方式，我们可以将预测值和真实值的残差进行编码操作。下面逐一介绍帧内预测和帧间预测的方法：

(a) 帧内预测：该预测值来自于周围已编码结果的线性组合。由于图像中存在特定的纹理，因此该预测值的计算存在几种不同的模式，例如：垂直模式，水平模式，DC模式，Plane 模式等。在实际中我们需要扫描所有的模式从而通过拉格朗日率失真优化进行选择。具体为计算

其中变量 D 表示失真的大小，而变量 R 表示其他的影响因素。我们需要综合考虑代价函数，而不仅仅只是残差的大小。

(b)帧间预测：主要采用基于块的运动补偿技术。该技术通过相邻图像高度的时间相关性，可以为当前图像中的每一个像素寻找之前已经编码图像的一个最佳匹配块（运动估计），用参考像素块和当前像素块，可以定义一个运动矢量。类似于帧内预测，这里我们也只需要传输运动矢量的残差。在运动补偿过程中，我们也需要对块的划分进行遍历，利用最小均方误差或者最小平均绝对误差等对运动矢量残差进行估计，计算拉格朗日率失真优化，从而选择最优的运动矢量，进而将运动矢量残差传递到后续的编码过程中。

（2）变换编码：视频图像中存在较多变化比较缓慢的区域，因此我们可以通过适当的变换将图像数据集中在某一个区域，然后针对变换后的区域进行量化等编码操作。常用的变换方法包括：离散余弦/正弦变换。对于一个周期性函数，我们可以将其按照三角函数进行傅立叶展开。对于某些特殊情况，如函数具有明确的奇偶性，我们可以只使用正弦函数或余弦函数。对于周期性函数，结果可表示为一系列特定频谱的信号，当函数不具有周期性时，傅立叶展开表现为一个连续频谱的叠加。当输入为离散信号时，我们需采用离散的正弦/余弦变换。因此傅立叶变换本质上是将信号分解为特定波形的叠加，从而简化分析。

（3）量化：经过变换编码之后需要进行量化处理。基本思想为将连续或者大量离散的数值映射到有限几个离散数值的过程，即多对一的映射关系。量化过程将丢失信号，是有损压缩。这种映射关系不唯一，存在多种选择。具体采用哪种方案可根据均方误差，信噪比，峰值信噪比进行估计。

（4）滤波：在基于块的混合编码框架下，视频压缩过程中会存在方块效应，振玲效应，颜色偏差等失真行为。为了降低编码过程中这些失真对视频质量的影响，我们需要滤波技术，包括去方块滤波以及像素自适应补偿技术。

（a)去方块滤波：基于块的编码技术中，各个块的变换量化过程相对独立，从而导致量化过程中产生的误差以及分布也具有独立性质，因此导致编码块的边界不连续，产生方块效应。环路去方块滤波技术可以有效地降低、去除这种不连续行为。

（b)自适应补偿技术：

（5）熵编码：熵编码是一种无损编码方式。将视频序列信息转换为用来传输或存储的压缩码流。