元学习、迁移学习、对比学习、自监督学习与少样本学习的关系解读

元学习、迁移学习、对比学习、自监督学习与少样本学习的关系解读文章目录前言一、对比自监督学习与FSL1.对比学习与自监督学习2.自监督学习与FSL二、元学习与FSL1.元学习是什么2.元学习与FSL三、迁移学习与FSL1.迁移学习2.迁移学习与FSL总结前言本人的研究方向是少样本图像分类,在阅读论文时会遇到很多元学习、迁移学习这样的名词,这些词在不同的论文中关系仿佛都不一样,人们的说法也不统一。因此在此记录一下自己的逻辑,希望不再混乱了~还有对比学习和自监督学习,最近自己也在看,并且和少样本学习(FSL)相关,就一起放在这里。文章中出现的ppt截图是自己讲组

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺


前言

本人的研究方向是少样本图像分类,在阅读论文时会遇到很多元学习、迁移学习这样的名词,这些词在不同的论文中关系仿佛都不一样,人们的说法也不统一。因此在此记录一下自己的逻辑,希望不再混乱了~
还有对比学习和自监督学习,最近自己也在看,并且和少样本学习(FSL)相关,就一起放在这里。

文章中出现的ppt截图是自己讲组会用的,大家仅作参考。
如需转载,请注明来源!


一、对比自监督学习与FSL

1.对比学习与自监督学习

对比自监督学习是一种当下流行的算法,其实它是指通过对比学习来完成自监督学习的过程。 对比学习的精髓就在于在特征域拉近相似正样本对之间的距离,拉远负样本对的距离。

在自监督学习中,对于当前训练图片而言,正样本对通常由来自于同一张图片的两个随机增广图片构成,负样本对由来自于其他图片的增广图片构成。

对比学习还可以用于有监督学习,这时正样本对是来自同一类的图片,负样本对是来自不同类的图片。

在这里插入图片描述

2.自监督学习与FSL

为了检验自监督学习算法的优劣,通常在下游任务上对由自监督学习获得的特征提取器进行检验。下游任务包括很多种,FSL就是其中一种。但是在自监督学习算法中,很少有人会在FSL上作检验,一般会选择线性探针、目标检测等常用方法。
当然,对比自监督学习属于自监督学习,FSL也可以作为它的一种下游任务。

在这里插入图片描述

二、元学习与FSL

1.元学习是什么

元学习在2018年就被提出了,也可能更早就出现了这个概念。人们在提到它是,都说“元学习是指学会学习”,这个解释很抽象啊。
在参考一些文章后,我认为元学习的核心是,网络通过在大量相似任务上做训练获取元知识,就可以在新任务上快速学习以完成这个新任务。

在这里插入图片描述
这里有两个重点:
1、什么是元知识?
在元学习中,存在元训练和元测试阶段,其中元训练(上面ppt中的outer-level)就是为了获取最佳的元知识,使得网络在元测试阶段(inner-level)能快速解决新任务。
元知识这个词也有点抽象,它是指影响网络学习的一些因素,比如网络权重的初始值、网络结构、学习率等超参数,等等。

在这里插入图片描述
2、新任务和用于元训练的那一堆任务有什么关系?
新任务需要和元训练使用的任务同分布! 这是元学习的一个限制。从上面ppt中可以看到,损失函数是对任务的分布求均值获得的。

2.元学习与FSL

元学习其实就是解决FSL问题的一种方法,这两种学习没有概念上的混淆,他们是单独的两种问题。
但是现在大部分解决少样本学习问题的算法都采用了元学习方法,所以人们很容易将二者混为一谈。
我们来看下面的对比,就知道元学习为什么总是被用于解决FSL了。
在这里插入图片描述
从上图中可以看出元学习希望网络能快速学习,而FSL要求网络在少量样本下就可以学会分类,这其实是对应的。少量样本就代表着快速学习。 FSL要求的新类别其实就对应着元学习的新任务。
因此,元学习和FSL完美对应,就可以应用上去啦!

同时,少样本学习的效果也是验证元学习算法性能的一种方式。

三、迁移学习与FSL

1.迁移学习

迁移学习是一个很广的概念,但凡涉及到知识迁移的情况都可以称为迁移学习。
比如说从大数据集向小数据集的迁移,从ImageNet向CIFAR 10图像分类的迁移。因此元学习就是一种迁移学习,它是同分布任务之间的迁移。
同时,之前提到的检验自监督学习算法性能的下游任务,也涉及了迁移。这是从上游任务向下游任务的迁移。
在这里插入图片描述

2.迁移学习与FSL

了解了迁移学习的概念后,我们可以发现,FSL目前就是依靠迁移学习来完成的!

这是因为元学习和自监督学习是目前用来解决FSL的两种方式,而这两种方法又都属于迁移学习。
在这里插入图片描述


总结

以上就是我在阅读论文及博客后,得到的一个自认为可以捋顺的关系结构。这些“学习”的概念确实会然在一起,但是需要我们完全区分开。

如果大家有补充或修正,欢迎留言啊!
如需转载,请注明来源!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/193825.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 关于以太网没有有效的ip配置问题解决方法[通俗易懂]

    关于以太网没有有效的ip配置问题解决方法[通俗易懂]错误提示解决方法一,检查IP地址是否为自动获取1,首先右键任务栏右下角的网络图标点击进入”网络和共享中心”,然后点击”更改适配器设置”。2,在适配器界面右键”本地连接”点击打开属性3,在本地连接属性界面将“Internet协议版本6(ICP/IPv6)”前面的√去掉,然后选中“Internet协议版本4(ICP/IPv4)”双击打开属性界面。4,在属性界面设置IP地址为自动获取二,重置网络环境1,右键左下角的Windows徽标,打开管理员模式的命令提示符2,输入ne

  • Linux 查看环境变量_linux修改环境变量顺序

    Linux 查看环境变量_linux修改环境变量顺序一、Linux的变量种类     按变量的生存周期来划分,Linux变量可分为两类:     1、永久的:需要修改配置文件,变量永久生效。     2、临时的:使用export命令声明即可,变量在关闭shell时失效。 二、设置变量的三种方法1、在/etc/profile文件中添加变量【对所有用户生效(永久的)】     用VI在文件/etc/profile文件

  • goland激活码最新_最新在线免费激活

    (goland激活码最新)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~https://javaforall.cn/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~S3…

  • 那些惊艳的算法们(三)—— 时间轮[通俗易懂]

    那些惊艳的算法们(三)—— 时间轮[通俗易懂]同步发表于:http://blog.lanjingdejia.com/articles/2018/08/13/1534132662997.html从定时任务说起自然界中定时任务无处不在,太阳每天东升西落,候鸟的迁徙,树木的年轮,人们每天按时上班,每个月按时发工资、交房租,四季轮换,潮涨潮落,等等,从某种意义上说,都可以认为是定时任务。大概很少有人想过,这些“定时”是怎样做到的。当然,计算机…

  • 直通线和交叉线[通俗易懂]

    直通线和交叉线[通俗易懂]感觉这个问题已经成为历史了。直通线:两端均使用568A或者568B的线序,用于不同类的网络设备互联,如电脑和交换机,交换机和路由器等交叉线:一端使用568A先序,一端568B线序,用于同类设备的连接,如交换机与交换机,电脑和电脑等不过现在的网络设备都支持自动适配接口类型功能,所以不管是直通线还是交叉线,都可以正常使用。568A和568B标准: 568A标准:白绿,绿,白橙,蓝,白…

  • excel导入mysql代码_EXCEL导入Mysql方法「建议收藏」

    excel导入mysql代码_EXCEL导入Mysql方法「建议收藏」在平时的工作学习中,难免会遇到需要把EXCEL表中的数据导入到MYSQL中,比如要把EXCEL中的数据进行核对,或者要把测试用例导入到TestLink中。本人搜集相关的资料并加以实践总结出了以下几种方法:1.使用PHPExcelParserPro软件,但是这个软件为收费软件;2.可将EXCEL表保存为CSV格式,然后通过phpmyadmin或者SQLyog导入,SQLyog导入的方法为:·将…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号