deeplab系列详解(简单实用年度总结)

大家好，又见面了，我是你们的朋友全栈君。

1、卷积神经网络为什么具有平移不变性？

不变性可分为：

• 平移不变性：Translation Invariance
• 旋转/视角不变性：Ratation/Viewpoint Invariance
• 尺度不变性：Size Invariance
• 光照不变性：Illumination Invariance

CNN = 卷积 + 池化

图像的特征被平移了，那么在卷积的过程中，特征提取也相应的被平移了。

在池化过程中，它返回感受野中的最大值或平均值，感受野仍然对应着图像的特征信息。

所以，CNN具有平移不变性。

2、卷积神经网络为什么很难处理像素级别的分类问题？

• 重复池化和下采样导致分辨率大幅下降，位置信息丢失难以恢复
• 空间不变性导致细节信息丢失

其实就是卷积和池化导致缺失了很多图像细节位置信息。

3、deeplab v1做了哪些工作？

问题：DCNNs的不变性不足够进行语义分割。

方法：结合DCNNs和概率图模型，即DCNNs最后一层响应和条件随机场解决分割问题。

4、deeplab v2做了哪些工作？

问题：语义分割问题。

方法：空洞卷积、金字塔池化、DCNNs+CRF。

1、用上采样滤波或空洞卷积（Atrous Convolution）突出卷积，是密集预测任务中强大工具。空洞卷积允许在DCNNs计算的特征响应上显示控制分辨率。同时在不增加参数量和计算复杂度情况下有效扩大滤波感受野来混合更丰富的上下文信息。

2、提出一个带空洞空间金字塔pooling（ASPP）在多尺度上稳定分割目标。ASPP使用多个采样率和有效视野的滤波器探测传入的卷积特征层，从而捕获多个尺度的对象和图像上下文。

3、提出目标边界的定位，通过结合DCNNs和概率模型。普通DCNNs中max-pooling和下采保持不变性但对定位精确度有影响，用DCNNs和CRF结合解决定位精确度问题。

空洞卷积作用：增强密集预测、扩大感受野。

空洞空间金字塔池化作用：多尺度图像表示。(多尺度特征提取+信息融合)

DCNNs+CRF作用：对精确边界的结构预测。

5、deeplab v3做了哪些工作？

问题：语义分割精确度问题。

方法：编-解码结构，引入解码模块；结合Xception model和深度可分卷积（depthwise separable convolution）和ASPP、解码模块。

DeepLabv3，通过增加简单有效的解码模块精细分割结果尤其物体边界。进一步，使用Xception model和深度可分卷积（depthwise separable convolution），结合ASPP和解码模块得到一个更快、更强的编-解码网络。

6、deeplab系列工作？

Deeplabv1使用CRF后处理，提高分割边界的精确度；

Deeplabv2使用空洞卷积扩大感受野，使用洞空间金字塔池化实现多尺度预测和上下文信息提取，同时用到后处理CRF；

Deeplabv3不使用后处理，使用编-解码结构提高分割边界预测，使用深度分离卷积和Xception模块。