Pytorch的nn.Conv2d()详解

Pytorch的nn.Conv2d()详解nn.Conv2d()的使用、形参与隐藏的权重参数in_channelsout_channelskernel_sizestride=1padding=0dilation=1groups=1bias=Truepadding_mode=’zeros’nn.Conv2d()的使用、形参与隐藏的权重参数  二维卷积应该是最常用的卷积方式…

大家好,又见面了,我是你们的朋友全栈君。

nn.Conv2d()的使用、形参与隐藏的权重参数

  二维卷积应该是最常用的卷积方式了,在Pytorch的nn模块中,封装了nn.Conv2d()类作为二维卷积的实现。使用方法和普通的类一样,先实例化再使用。下面是一个只有一层二维卷积的神经网络,作为nn.Conv2d()方法的使用简介:
  

class Net(nn.Module):
    def __init__(self):
        nn.Module.__init__(self)
        self.conv2d = nn.Conv2d(in_channels=3,out_channels=64,kernel_size=4,stride=2,padding=1)

    def forward(self, x):
        print(x.requires_grad)
        x = self.conv2d(x)
        return x
    
print(net.conv2d.weight)
print(net.conv2d.bias)

  它的形参由Pytorch手册可以查得,前三个参数是必须手动提供的,后面的有默认值。接下来将一一介绍:
卷积形参
  也许有细心的同学已经发现了,emm…卷积层最重要的可学习参数——权重参数和偏置参数去哪了?在Tensorflow中都是先定义好weight和bias,再去定义卷积层的呀!别担心,在Pytorch的nn模块中,它是不需要你手动定义网络层的权重和偏置的,这也是体现Pytorch使用简便的地方。当然,如果有小伙伴适应不了这种不定义权重和偏置的方法,Pytorch还提供了nn.Functional函数式编程的方法其中的F.conv2d()就和Tensorflow一样要先定义好卷积核的权重和偏置,作为F.conv2d()的形参之一。
  回到nn.Conv2d上来,我们可以通过实例名.weight和实例名.bias来查看卷积层的权重和偏置,如上图所示。还有小伙伴要问了,那么它们是如何初始化的呢?
  首先给结论,在nn模块中,Pytorch对于卷积层的权重和偏置(如果需要偏置)初始化都是采用He初始化的,因为它非常适合于ReLU函数。这一点大家看Pytorch的nn模块中卷积层的源码实现就能清楚地发现了,当然,我们也可以重新对权重等参数进行其他的初始化,可以查看其他教程,此处不再多言。

in_channels

  这个很好理解,就是输入的四维张量[N, C, H, W]中的C了,即输入张量的channels数。这个形参是确定权重等可学习参数的shape所必需的。

out_channels

  也很好理解,即期望的四维输出张量的channels数,不再多说。

kernel_size

  卷积核的大小,一般我们会使用5×5、3×3这种左右两个数相同的卷积核,因此这种情况只需要写kernel_size = 5这样的就行了。如果左右两个数不同,比如3×5的卷积核,那么写作kernel_size = (3, 5),注意需要写一个tuple,而不能写一个列表(list)。

stride = 1

  卷积核在图像窗口上每次平移的间隔,即所谓的步长。这个概念和Tensorflow等其他框架没什么区别,不再多言。

padding = 0

  Pytorch与Tensorflow在卷积层实现上最大的差别就在于padding上
  Padding即所谓的图像填充,后面的int型常数代表填充的多少(行数、列数),默认为0。需要注意的是这里的填充包括图像的上下左右,以padding = 1为例,若原始图像大小为32x32,那么padding后的图像大小就变成了34x34,而不是33x33
  Pytorch不同于Tensorflow的地方在于,Tensorflow提供的是padding的模式,比如same、valid,且不同模式对应了不同的输出图像尺寸计算公式。而Pytorch则需要手动输入padding的数量,当然,Pytorch这种实现好处就在于输出图像尺寸计算公式是唯一的,即
在这里插入图片描述
  当然,上面的公式过于复杂难以记忆。大多数情况下的kernel_size、padding左右两数均相同,且不采用空洞卷积(dilation默认为1),因此只需要记 O = (I – K + 2P)/ S +1这种在深度学习课程里学过的公式就好了。

dilation = 1

  这个参数决定了是否采用空洞卷积默认为1(不采用)。从中文上来讲,这个参数的意义从卷积核上的一个参数到另一个参数需要走过的距离,那当然默认是1了,毕竟不可能两个不同的参数占同一个地方吧(为0)。
  更形象和直观的图示可以观察Github上的Dilated convolution animations,展示了dilation=2的情况

groups = 1

  决定了是否采用分组卷积,groups参数可以参考groups参数详解

bias = True

  即是否要添加偏置参数作为可学习参数的一个,默认为True。

padding_mode = ‘zeros’

  即padding的模式,默认采用零填充。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/126202.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • SSM整合案例(超详细)「建议收藏」

    SSM整合案例(超详细)「建议收藏」SSM整合案例(超详细)环境准备前提须知创建数据库和表结构创建Maven工程ssm导入坐标并建立依赖编写实体类编写持久层接口编写业务层接口编写业务层实现类编写Controller整合步骤保证Spring框架在web工程中独立运行第一步:编写spring配置文件并导入约束第二步:使用注解配置业务层第三步:导入log4j.properties配置文件第四步:测试spring能否独立运行保证SpringMVC在web工程中独立运行第一步:在web.xml中配置核心控制器(Dis

  • windows的安装_kafka windows安装

    windows的安装_kafka windows安装一、安装JAVAJDK1、下载安装包http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注意:根据32/64位操作系统下载对应的安装包2、添加系统变量:JAVA_HOME=C:\ProgramFiles(x86)\Java\jdk1.8.0_144二、安装Zo…

  • 关于Js后退几种方式

    关于Js后退几种方式2019独角兽企业重金招聘Python工程师标准>>>…

  • Python Web 框架工具包 werkzeug「建议收藏」

    Python Web 框架工具包 werkzeug「建议收藏」一、什么是werkzeugwerkzeug官方的介绍说是一个WSGI工具包,不是一个web服务器,也不是一个web框架,它可以作为一个Web框架的底层库,因为它封装好了很多Web框架的东西,例如Request,Response等等;例如我最常用的Flask框架就是一Werkzeug为基础开发的。Werkzeug教程基础中文文档二、Werkzeug实现密码校…

  • Java 8 中 LocalDate 与Date 互相转换

    Java 8 中 LocalDate 与Date 互相转换//01.java.util.Date–>java.time.LocalDateTimepublicvoidUDateToLocalDateTime(){java.util.Datedate=newjava.util.Date();Instantinstant=date.toInstant();ZoneIdzone=ZoneId.systemDef…

  • pycharm安装pandas「建议收藏」

    pycharm安装pandas「建议收藏」在控制台输入pipinstallpandas后出现Requirementalreadysatisfied之后按照下面的步骤安装就可以了。安装完成后importpandas就不会报错了。

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号