【Cutout】《Improved Regularization of Convolutional Neural Networks with Cutout》[通俗易懂]

【Cutout】《Improved Regularization of Convolutional Neural Networks with Cutout》[通俗易懂]arXiv-2017随着深度学习技术的发展,CNN在很多计算机视觉任务中崭露头角,但increasedrepresentationalpoweralsocomesincreasedprobabilityofoverfitting,leadingtopoorgeneralization.为提升模型的泛化性能,模拟objectocclusion,作者提出了Cutout数据增强的方法——randomlymaskingoutsquareregionsofinput

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

在这里插入图片描述
arXiv-2017



1 Background and Motivation

随着深度学习技术的发展,CNN 在很多计算机视觉任务中崭露头角,但 increased representational power also comes increased probability of overfitting, leading to poor generalization.

为提升模型的泛化性能,模拟 object occlusion, 作者提出了 Cutout 数据增强的方法——randomly masking out square regions of input during training,take more of the image context into consideration when making decisions.
在这里插入图片描述

This technique encourages the network to better utilize the full context of the image, rather than relying on the presence of a small set of specific visual features(which may not always be present).

2 Related Work

  • Data Augmentation for Images
  • Dropout in Convolutional Neural Networks
  • Denoising Autoencoders & Context Encoders(self-supervised,挖去部分,网络补上,以强化特征)

3 Advantages / Contributions

监督学习中提出 Cutout 数据增强方法(dropout 的一种形式,自监督中也有类似方法)

4 Method

初始版:remove maximally activated features

在这里插入图片描述
在这里插入图片描述

最终版:随机中心点,正方形遮挡(可以在图片外,被图片边界截取后就不是正方形了)

使用时需要中心化一下(也即减去均值)

the dataset should be normalized about zero so that modified images will not have a large effect on the expected batch statistics.

5 Experiments

5.1 Datasets and Metrics

  • CIFAR-10(32×32)
  • CIFAR-100(32×32)
  • SVHN(Street View House Numbers,32×32)
  • STL-10(96×96)
    在这里插入图片描述
    评价指标为 top1 error

5.2 Experiments

1)CIFAR10 and CIFAR100

单个实验都重复跑了5次,±x
在这里插入图片描述
下图探索 cutout 中不同 patch length 的影响,
在这里插入图片描述
2)STL-10
在这里插入图片描述
3)Analysis of Cutout’s Effect on Activations
在这里插入图片描述
引入 cutout 后浅层激活均有提升,深层 in the tail end of the distribution.

The latter observation illustrates that cutout is indeed encouraging the network to take into account a wider variety of features when making predictions, rather than relying on the presence of a smaller number of features

再聚焦下单个样本的
在这里插入图片描述

6 Conclusion(own) / Future work

  • code:https://github.com/uoguelph-mlrg/Cutout

  • memory footprint 内存占用

  • 相关工作介绍 drop out 时,文章中出现了这句话:All activations are kept when evaluating the network, but the resulting output is scaled according to the dropout probability

    dropout在测试时应该如何处理?
    在这里插入图片描述

  • dropout 作用在 FC 上的效果比 Conv 上好,作者的解释是:1)convolutional layers already have much fewer parameters than fully-connected layers; 2)neighbouring pixels in images share much of the same information(丢一些无伤大雅)

  • cutout——连续区域的仅作用在输入层的 dropout 技术

    Dropout技术一览:可视化解释以及在DNN/CNN/RNN中的应用
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/189998.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • clion 2021 激活码_最新在线免费激活

    (clion 2021 激活码)最近有小伙伴私信我,问我这边有没有免费的intellijIdea的激活码,然后我将全栈君台教程分享给他了。激活成功之后他一直表示感谢,哈哈~IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html…

  • 前端面试——W3C标准及规范「建议收藏」

    前端面试——W3C标准及规范「建议收藏」作为前端工程师对W3C标准和规范不是很陌生。很多招聘要求中经常提到深入了解W3C标准及规范。那下面就总结一下W3C标准及规范:概念:W3C标准  中文名:万维网联盟,外文名:WorldWideWebConsortium      万维网联盟标准不是某一个标准,而是一些列标准的集合。网页主要有三部分组成:结构(Structure)、表现(Presentation)、行为(B…

  • @Transactional作用(成像原理)

    事务主要保证了数据操作的原子性,一致性,隔离性和持久性。事务不会跨线程传播,事务不能跨数据源。

  • windows10 bat命令获取日期时间「建议收藏」

    windows10 bat命令获取日期时间「建议收藏」系统版本win10英文OSWindowsEdition:Windows10ProSettings-Language:English(UnitedStates)获取日期命令完整的日期:date(输出如下图)裁剪方法:echo%date:~起点位,数据长度%【英文版】对date进行裁剪获取年月日:年:echo%date:~6,4%月:echo%date:~0,2%日:echo%date:~3,2%年月日:%date:~6,4%-%date:~0,2%-%date

  • Java集合篇:Hashtable原理详解(JDK1.8)

    Java集合篇:Hashtable原理详解(JDK1.8)

  • intellij idea和eclipse比较_eclipse与idea的区别

    intellij idea和eclipse比较_eclipse与idea的区别             【总结】IDEA和Eclipse的比较    两个开发编辑器,可以说Eclispe之前占据了上风,但近几年来IDEA的使用率猛扑直追,现在IDEA有着反超的气势,到底两者之间有什么相似之处,又有什么区别呢?我们来看一下~~。   一、快捷键比较快捷键 Eclipse IDEA 查找类名 CTRL+…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号