卷积及理解图像卷积操作的意义

大家好，又见面了，我是你们的朋友全栈君。

转载：http://blog.csdn.net/chaipp0607/article/details/72236892

        https://www.zhihu.com/question/22298352

     在图像处理领域，我们经常能听到滤波，卷积之类的词，其实他们都可以看做一种图像的卷积操作，相对应的卷积核，卷积模板，滤波器，滤波模板，扫描窗其实也都是同一个东西。下面我们进一步讨论图像中的卷积操作核卷积的意义。

1、数字信号处理中卷积理解

    卷积一词最开始出现在信号与线性系统中，信号与线性系统中讨论的就是信号经过一个线性系统以后发生的变化。由于现实情况中常常是一个信号前一时刻的输出影响着这一时刻的输出，所在一般利用系统的单位响应与系统的输入求卷积，以求得系统的输出信号（当然要求这个系统是线性时不变的）。 
卷积的定义： 卷积是两个变量在某范围内相乘后求和的结果。如果卷积的变量是序列x(n)和h(n)，则卷积的结果： 

作者：Kaixiang Wang

链接：https://www.zhihu.com/question/22298352/answer/193852554

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

补充一下@镜面狐和@笑劫戈的答案。

想要形象地理解卷积这个数学概念，那么思路当然是找它的“实际应用”，最容易想到的例子就是它对动态系统的输入输出关系的描述了。许多答主提到了“打脸”的例子，非常形象，就不复述了。

以下略纠结，嫌麻烦可以跳过直接看图。

之前我对@镜面狐答案的有部分理解是不准确的；现在看来他对 的定义确实有问题（感谢@高启峰和@逐光指出）。顺便提一下，@镜面狐的答案引用了Franklin的那本经典教材，但是我越来越感觉它讲卷积的那部分并没有写得很清楚，比如它和配图和文字就对不上号，徒增了理解的难度。我尽量梳理一遍吧。

首先是单位脉冲和单位脉冲响应 的定义，大家应该都懂我就不啰嗦了。（注意 的“面积”为 。）再是定义 和 ，当 时趋近于 和 。（同样注意 的高度为 ，面积为 。）

一个输入信号可以拆成很多 的和，即 （所以

@镜面狐的答案确实少了个
）

输出即

取极限写成积分形式即

注意不要忘了 ，因为我们是要跟单位脉冲比较面积，即 是 的多少倍。

纠结部分完。

有了这个基础，再去理解卷积的公式就没那么intimidating了。放张图，心血来潮随手画的，但愿能顶个卵用。

另外，对于实际系统（因果系统），由于未来的打脸（
就行了；此外我们还一般假设
之前没人打脸并且脸也不肿，所以积分下限设为
就行了。因此
。

2、数字图像处理中卷积

        数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核（卷积模板）在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。 

2.1边界补充问题

        上面的图片说明了图像的卷积操作，但是他也反映出一个问题，如上图，原始图片尺寸为7*7，卷积核的大小为3*3，当卷积核沿着图片滑动后只能滑动出一个5*5的图片出来，这就造成了卷积后的图片和卷积前的图片尺寸不一致，这显然不是我们想要的结果，所以为了避免这种情况，需要先对原始图片做边界填充处理。在上面的情况中，我们需要先把原始图像填充为9*9的尺寸。 
常用的区域填充方法包括： 
        图是我在word里面画的，所以有很多回车键哈，有些简陋，大家凑合看吧，意思还是对的，也是为了画图方便，这里就不用5*5的尺寸了，用3*3定义原始图像的尺寸，补充为9*9的尺寸，图片上的颜色只为方便观看，并没有任何其他含义。 

原始图像：

2.1.1补零 

2.2.2边界复制 

2.2.3镜像

2.2.4块复制

以上四种边界补充方法通过看名字和图片就能理解了，不在多做解释。

不同卷积核下卷积意义

我们经常能看到的，平滑，模糊，去燥，锐化，边缘提取等等工作，其实都可以通过卷积操作来完成，下面我们一一举例说明一下： 
（1）一个没有任何作用的卷积核： 
 
将原像素中间像素值乘1，其余全部乘0，显然像素值不会发生任何变化。 
（2）平滑均值滤波： 
选择卷积核： 
 
该卷积核的作用在于取九个值的平均值代替中间像素值，所以起到的平滑的效果： 

该卷积核的作用在于取九个值的平均值代替中间像素值，所以起到的平滑的效果： 



 

（3）高斯平滑： 
卷积核： 
 
高斯平滑水平和垂直方向呈现高斯分布，更突出了中心点在像素平滑后的权重，相比于均值滤波而言，有着更好的平滑效果。 
 
（4）图像锐化： 
卷积核： 
 
该卷积利用的其实是图像中的边缘信息有着比周围像素更高的对比度，而经过卷积之后进一步增强了这种对比度，从而使图像显得棱角分明、画面清晰，起到锐化图像的效果。 
 
除了上述卷积核，边缘锐化还可以选择： 
 
（5）梯度Prewitt： 
水平梯度： 
 
 
垂直梯度： 
 

梯度Prewitt卷积核与Soble卷积核的选定是类似的，都是对水平边缘或垂直边缘有比较好的检测效果。

（6）Soble边缘检测： 
Soble与上述卷积核不同之处在于，Soble更强调了和边缘相邻的像素点对边缘的影响。 
水平梯度： 
 
 
垂直梯度： 
 

以上的水平边缘与垂直边缘检测问题可以参考：Soble算子水平和垂直方向导数问题

（7）梯度Laplacian：

卷积核： 

Laplacian也是一种锐化方法，同时也可以做边缘检测，而且边缘检测的应用中并不局限于水平方向或垂直方向，这是Laplacian与soble的区别。下面这张图可以很好的表征出二者的区别：来源于OpenCV官方文档 

代码实现

可以利用OpenCV提供的filter2D函数完成对图像进行卷积操作，其函数接口为：

CV_EXPORTS_W void filter2D(
InputArray src, 
OutputArray dst, 
int ddepth,
InputArray kernel, 
Point anchor=Point(-1,-1),
double delta=0, 
int borderType=BORDER_DEFAULT );

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

第一个参数: 输入图像 
第二个参数: 输出图像，和输入图像具有相同的尺寸和通道数量 
第三个参数: 目标图像深度，输入值为-1时，目标图像和原图像深度保持一致。 
第四个参数: 卷积核，是一个矩阵 
第五个参数：内核的基准点(anchor)，其默认值为(-1,-1)说明位于kernel的中心位置。基准点即kernel中与进行处理的像素点重合的点。 
第六个参数: 在储存目标图像前可选的添加到像素的值，默认值为0 
第七个参数: 像素向外逼近的方法，默认值是BORDER_DEFAULT。

#include <iostream>
#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
using namespace std;
using namespace  cv;

int main()
{
    Mat srcImage = imread("1.jpg");
    namedWindow("srcImage", WINDOW_AUTOSIZE);
    imshow("原图", srcImage);
    Mat kernel = (Mat_<double>(3,3) << 
        -1, 0 ,1,
        -2, 0, 2,
        -1, 0, 1);
    Mat dstImage;
    filter2D(srcImage,dstImage,srcImage.depth(),kernel);
    namedWindow("dstImage",WINDOW_AUTOSIZE);
    imshow("卷积图",dstImage);
    waitKey(0);
    return 0;
}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24

所以代码的实现就非常简单了，不同的卷积操作只需要改变卷积核kernel 即可。