为什么使用全局平均池化层?[通俗易懂]

为什么使用全局平均池化层?1、全连接层:、全连接网络可以使featuremap的维度减少,进而输入到softmax、全连接层的参数超多、会造成过拟合、模型本身变得非常臃肿2、全局平均池化层(globalaveragepoolilng)[GAP]:、直接实现了降维、极大地减少了网络的参数、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义、gap可能会造成收敛速度减慢3、为什么会收敛速度变慢?以及对模型训练有什么差异?、全连接层结构的模型对于训练学习

大家好,又见面了,我是你们的朋友全栈君。

为什么使用全局平均池化层?

1、全连接层:
、全连接网络可以使feature map的维度减少,进而输入到softmax
、全连接层的参数超多
、会造成过拟合
、模型本身变得非常臃肿
2、全局平均池化层(global average poolilng)[GAP]:
、直接实现了降维
、极大地减少了网络的参数
、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义
gap可能会造成收敛速度减慢
3、为什么会收敛速度变慢?以及对模型训练有什么差异?
、全连接层结构的模型对于训练学习的过程,压力更多在全连接层,卷积的特征学习低级一些,但是在不断学习调整参数中,一样效果不差。
、GAP 在学习训练的压力前导于卷积层,卷积的特征学习会高级一些,但也会淡化不同特征间的相对位置的组合关系,丢失了图像的位置信息,因此卷积训练出来的特征应该更加‘高级’。
、以上推到出一个结论:不利于迁移学习,那就调正卷积出来的特征。

提供建议:
全局平均池化层+softmax层代替FC层,效果要好。
全局平均池化层以后也可以试一试dropout,进行正则化。无论采用何种方法,毕竟全局池化是比较火的用法,采用正则至少不用被过拟合的象限困扰。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/128401.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Netty框架学习之(一):Netty框架简介

    Netty框架学习之(一):Netty框架简介1.简介官方定义为:”Netty是一款异步的事件驱动的网络应用程序框架,支持快速地开发可维护的高性能的面向协议的服务器和客户端”,按照惯例贴上一张HighLevel的架构图:纵观Java系的多种服务器/大数据框架,都离不开Netty做出的贡献,本文对Netty做一个简单的概述2.主要特性Netty有很多重要的特性,主要特性如下:-优雅的设计-统一…

    2022年10月27日
  • PhpStorm 2021.5.2 有效激活码(最新序列号破解)

    PhpStorm 2021.5.2 有效激活码(最新序列号破解),https://javaforall.cn/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

  • ue4动态加载模型(unity资源加载)

    本帖纯属个人原创,如有转载请注明出处需要注意的几点:1.调试环境下进行的资源加载方式到打包出来后不一定能够使用。2.假如遇到调试模式下程序运行正常,但是打包出来后程序crash,可以查看log:Saved/Logs/filename/log3.资源路径的代码书写格式map:”Game/Maps/Main.map”蓝图类:”Game/Blueprint/Skil

  • 超酷汇编教程-- 简明x86汇编语言教程(1)

    超酷汇编教程-- 简明x86汇编语言教程(1)第○章写在前面我不想夸大或者贬低汇编语言。但我想说,汇编语言改变了20世纪的历史。与前辈相比,我们这一代编程人员足够的幸福,因为我们有各式各样的编程语言,我们可以操作键盘、坐在显示器面前,甚至使用鼠标、语音识别。我们可以使用键盘、鼠标来驾驭“个人计算机”,而不是和一群人共享一台使用笨重的继电器、开关去操作的巨型机。相比之下,我们的前辈不得不使用机器语言编写程序,他们甚至没有最简单的汇编程序来

  • mysql添加表注释、字段注释、查看与修改注释

    mysql添加表注释、字段注释、查看与修改注释

  • PyQt5+Pycharm安装和配置「建议收藏」

    PyQt5+Pycharm安装和配置「建议收藏」PyQt5安装之前安装过anaconda,里面是含有pyqt的,在环境里搜索可以看到,但是针对实际开发,并没有全部的qt5工具,所以需要再次安装。在cmd里面运行:pipinstallPyQt5-ihttps://pypi.douban.com/simple安装常用的Qt工具:pipinstallPyQt5-tools-ihttps://pypi…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号