【Cutout】《Improved Regularization of Convolutional Neural Networks with Cutout》[通俗易懂]

【Cutout】《Improved Regularization of Convolutional Neural Networks with Cutout》[通俗易懂]arXiv-2017随着深度学习技术的发展,CNN在很多计算机视觉任务中崭露头角,但increasedrepresentationalpoweralsocomesincreasedprobabilityofoverfitting,leadingtopoorgeneralization.为提升模型的泛化性能,模拟objectocclusion,作者提出了Cutout数据增强的方法——randomlymaskingoutsquareregionsofinput

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

在这里插入图片描述
arXiv-2017



1 Background and Motivation

随着深度学习技术的发展,CNN 在很多计算机视觉任务中崭露头角,但 increased representational power also comes increased probability of overfitting, leading to poor generalization.

为提升模型的泛化性能,模拟 object occlusion, 作者提出了 Cutout 数据增强的方法——randomly masking out square regions of input during training,take more of the image context into consideration when making decisions.
在这里插入图片描述

This technique encourages the network to better utilize the full context of the image, rather than relying on the presence of a small set of specific visual features(which may not always be present).

2 Related Work

  • Data Augmentation for Images
  • Dropout in Convolutional Neural Networks
  • Denoising Autoencoders & Context Encoders(self-supervised,挖去部分,网络补上,以强化特征)

3 Advantages / Contributions

监督学习中提出 Cutout 数据增强方法(dropout 的一种形式,自监督中也有类似方法)

4 Method

初始版:remove maximally activated features

在这里插入图片描述
在这里插入图片描述

最终版:随机中心点,正方形遮挡(可以在图片外,被图片边界截取后就不是正方形了)

使用时需要中心化一下(也即减去均值)

the dataset should be normalized about zero so that modified images will not have a large effect on the expected batch statistics.

5 Experiments

5.1 Datasets and Metrics

  • CIFAR-10(32×32)
  • CIFAR-100(32×32)
  • SVHN(Street View House Numbers,32×32)
  • STL-10(96×96)
    在这里插入图片描述
    评价指标为 top1 error

5.2 Experiments

1)CIFAR10 and CIFAR100

单个实验都重复跑了5次,±x
在这里插入图片描述
下图探索 cutout 中不同 patch length 的影响,
在这里插入图片描述
2)STL-10
在这里插入图片描述
3)Analysis of Cutout’s Effect on Activations
在这里插入图片描述
引入 cutout 后浅层激活均有提升,深层 in the tail end of the distribution.

The latter observation illustrates that cutout is indeed encouraging the network to take into account a wider variety of features when making predictions, rather than relying on the presence of a smaller number of features

再聚焦下单个样本的
在这里插入图片描述

6 Conclusion(own) / Future work

  • code:https://github.com/uoguelph-mlrg/Cutout

  • memory footprint 内存占用

  • 相关工作介绍 drop out 时,文章中出现了这句话:All activations are kept when evaluating the network, but the resulting output is scaled according to the dropout probability

    dropout在测试时应该如何处理?
    在这里插入图片描述

  • dropout 作用在 FC 上的效果比 Conv 上好,作者的解释是:1)convolutional layers already have much fewer parameters than fully-connected layers; 2)neighbouring pixels in images share much of the same information(丢一些无伤大雅)

  • cutout——连续区域的仅作用在输入层的 dropout 技术

    Dropout技术一览:可视化解释以及在DNN/CNN/RNN中的应用
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/189998.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • DOS攻击手段_ddos攻击原理与防御方法

    DOS攻击手段_ddos攻击原理与防御方法DDoS介绍DDoS是英文DistributedDenialofService的缩写,意即“分布式拒绝服务”,那么什么又是拒绝服务(DenialofService)呢?可以这么理解,凡是能导致合法用户不能够访问正常网络服务的行为都算是拒绝服务攻击。也就是说拒绝服务攻击的目的非常明确,就是要阻止合法用户对正常网络资源的访问,从而达成攻击者不可告人的目的。分布式拒绝服务攻击一旦被实施,攻击网络包就会从很多DOS攻击源(俗称肉鸡)犹如洪水般涌向受害主机,从而把合法用户的网络包淹没,导致合法用户无法正

  • 数学建模及其基础知识详解(化学常考知识点)

    @[TOC]自动根据文章标题生成目录一、综合评价方法根据各评价方法所依据的理论基础,现代综合评价方法大致分为以下四大类:1、专家评价方法2、运筹学与其他数学方法2.1、层次分析法(AHP)2.2、模糊综合评判法(FCE)2.3、数据包络分析法(DEA)3、基于统计和经济的方法3.1、TOPSIS评价法,优化可用熵权法3.2、主次分析法和因子分析法主成分分析法通过克服相关性、重叠性,用较少的变量来代替原来较多的变量,而这种代替可以 反映原来多个变量的大部分信息,这实际上是一

  • 什么是Linux内核版本_linux内核深度解析

    什么是Linux内核版本_linux内核深度解析Linux内核版本有两种:稳定版和开发版,Linux内核版本号由3个数字组成:r.x.yr:目前发布的内核主版本。x:偶数表示稳定版本;奇数表示开发中版本。y:错误修补的次数。内核版本号每位都代表什么?以版本号为例:2.6.9-5.ELsmp,r:2,主版本号x:6,次版本号,表示稳定版本y:9,修订版本号,表示修改的次数头两个数字合在一齐可以描述内核系列。如…

  • MySQL中concat函数

    MySQL中concat函数

  • git拉取代码密码错误_idea提交git

    git拉取代码密码错误_idea提交gitgit提交代码1:一定要先pull,(在本地建立仓库)eclipse中点击file找到term中的pull,同步拉取远程代码,idea中tomcat旁边斜向下箭头,拉取,首次拉取要输入用户名密码,2:提交到本地仓库commit,并填写提交备注,方便查找,3:push推送远程分支,提交到git分支。常见的pull失败:冲突-多个人修改同一个文件,别人修改后自己也修改导致拉取失败,解决冲突…

    2022年10月21日
  • L3-023 计算图(链式求导+bfs拓扑|dfs)「建议收藏」

    L3-023 计算图(链式求导+bfs拓扑|dfs)「建议收藏」原题链接“计算图”(computational graph)是现代深度学习系统的基础执行引擎,提供了一种表示任意数学表达式的方法,例如用有向无环图表示的神经网络。 图中的节点表示基本操作或输入变量,边表示节点之间的中间值的依赖性。 例如,下图就是一个函数 ( 的计算图。现在给定一个计算图,请你根据所有输入变量计算函数值及其偏导数(即梯度)。 例如,给定输入,,上述计算图获得函数值 (;并且根据微分链式法则,上图得到的梯度 ∇。知道你已经把微积分忘了,所以这里只要求你处理几个简单的算子:加法、减法、乘

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号