mix的中文是什么_mix是最小的意思吗

mix的中文是什么_mix是最小的意思吗《mixup:BEYONDEMPIRICALRISKMINIMIZATION》2017(ICLR2018),HongyiZhangetal.Mixup,MIT和FAIRQ:为什么dataaugmentation是理解为控制模型复杂度?A:准确地说,我觉得dataaugmentation既不能简单地理解为增加trainingdata,也不能简单地理解为控制模型复杂度,而是两种效果兼而有之。考虑图像识别里常用的改变aspectratio做dataaugmentation的

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

《mixup:BEYOND EMPIRICAL RISK MINIMIZATION》

  • 2017(ICLR2018),Hongyi Zhang et al. Mixup ,MIT和FAIR

Q: 为什么data augmentation是理解为控制模型复杂度?

A: 准确地说,我觉得data augmentation既不能简单地理解为增加training data,也不能简单地理解为控制模型复杂度,而是两种效果兼而有之。考虑图像识别里常用的改变aspect ratio做data augmentation的方法,生成的图像虽然和真实图像相似,但是并不是来自于data distribution,更不是它的i.i.d.抽样。而经典的supervised learning以及统计学习理论的基本假设就是训练集和测试集都是data distribution的i.i.d.抽样,所以这并不是经典意义上的增加training data。这些合成的training data的作用,流行的解释是“增强模型对某种变换的invariance”。这句话反过来说,就是机器学习里经常提到的“减少模型估计的variance”,也就是控制了模型的复杂度。需要注意的是,L2正则化、dropout等等也都是在控制模型复杂度,只不过它们没有考虑数据本身的分布,而data augmentation属于更加机智的控制模型复杂度的方法。

其实反过来看,L2正则化和dropout也各自等价于某种data augmentation。参考Vicinal Risk Minimization 和 [1506.08700] Dropout as data augmentation

Q: label线性加权后,不是得到了这两个样本中间的类别了吗?

A: label用的是one-hot vector编码,可以理解为对k个类别的每个类给出样本属于该类的概率。加权以后就变成了”two-hot”,也就是认为样本同时属于混合前的两个类别。

另一种视角是不混合label,而是用加权的输入在两个label上分别计算cross-entropy loss,最后把两个loss加权作为最终的loss。由于cross-entropy loss的性质,这种做法和把label线性加权是等价的,大家可以自行思考一下。

 

mix的中文是什么_mix是最小的意思吗

import numpy as np
import torch

def mixup_data(x, y, alpha=1.0, use_cuda=True):
 
    '''Compute the mixup data. Return mixed inputs, pairs of targets, and lambda'''
    if alpha > 0.:
        lam = np.random.beta(alpha, alpha)
    else:
        lam = 1.
    batch_size = x.size()[0]
    if use_cuda:
        index = torch.randperm(batch_size).cuda()
    else:
        index = torch.randperm(batch_size)
 
    mixed_x = lam * x + (1 - lam) * x[index,:] # 自己和打乱的自己进行叠加
    y_a, y_b = y, y[index]
    return mixed_x, y_a, y_b, lam
 
def mixup_criterion(y_a, y_b, lam):
    return lambda criterion, pred: lam * criterion(pred, y_a) + (1 - lam) * criterion(pred, y_b)
 

cutout:随机裁剪区域,填充0像素

cutmix:随机裁剪区域,填充其他图像到相应区域,代码可根据mixup来改写

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/190027.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • seo推广_大学生梦想

    seo推广_大学生梦想最近这几天,我利用空闲时间去网上看到很多关于seoer的生存现状,尤为的感伤、因为自已也是一位爱好seo和利用闲于时间来学习seo的一个大学生屌丝,在学习的过程中,有辛酸和泪水、但也有快乐,感觉一年的seo学习下来,自认为还是有很多收获:不仅仅体现在知识见长了、对于seo操作更淡定了。而是认识了很多优秀的seo精英和seo前辈,他们每天都在放飞着自已的seo梦,作为一…

    2022年10月22日
  • git私有服务器架设_centos搭建git服务器

    git私有服务器架设_centos搭建git服务器一概述搭建自己的代码托管服务git服务,使用的是gitblit插件,具体操作搭建步骤详情见下文。客户端软件:git-2.34.1-64.bit服务端软件:gitblit-1.8.0二搭建过程2.1使用插件gitblit

  • pycharm怎么配置python环境anaconda_编译环境是什么

    pycharm怎么配置python环境anaconda_编译环境是什么1.介绍Python:一种解释型、面向对象、动态数据类型的高级程序设计语言。PyCharm:一款好用的集成开发环境。Conda:Python环境管理器,方便我们管理和切换编程环境。2.下载2.1Conda下载Miniconda下载链接Anaconda下载链接Miniconda是Anaconda的压缩版,Miniconda只包含conda的核心内容,Anaconda中包含了Spyder集成开发环境等扩充内容。Miniconda的功能足矣。根据计算机的实际情况选择下载安装包,上图中Py

  • 缓存穿透,缓存击穿,缓存雪崩解决方案分析

    缓存穿透,缓存击穿,缓存雪崩解决方案分析前言设计一个缓存系统,不得不要考虑的问题就是:缓存穿透、缓存击穿与失效时的雪崩效应。缓存穿透缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个存在的数据每次请求都要到存储层去查询,失去了缓存的意义。在流量大时,可能DB就挂掉了,要是有人利用不存在的key频繁攻击我们的应用,这就是漏洞。解决方案

  • JDBC之ResultSet

    JDBC之ResultSet

  • paddle tensorflow_平板屏保图片

    paddle tensorflow_平板屏保图片 tf.pad()文档如下,pad(tensor,paddings,mode=’CONSTANT’,name=None,constant_values=0)   Padsatensor.      Thisoperationpadsa`tensor`accordingtothe`paddings`youspecify.   `paddings`is…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号