自动编码器及其变种

自动编码器及其变种自动编码器  三层网络结构:输入层,编码层(隐藏层),解码层。  训练结束后,网络可由两部分组成:1)输入层和中间层,用这个网络对信号进行压缩;2)中间层和输出层,用这个网络对压缩的信号进行还原。图像匹配就可以分别使用,首先将图片库使用第一部分网络得到降维后的向量,再讲自己的图片降维后与库向量进行匹配,找出向量距离最近的一张或几张图片,直接输出或还原为原图像再匹配。  该网络的目的是重…

大家好,又见面了,我是你们的朋友全栈君。

自动编码器

  三层网络结构:输入层,编码层(隐藏层),解码层。
  训练结束后,网络可由两部分组成:1)输入层和中间层,用这个网络对信号进行压缩;2)中间层和输出层,用这个网络对压缩的信号进行还原。图像匹配就可以分别使用,首先将图片库使用第一部分网络得到降维后的向量,再讲自己的图片降维后与库向量进行匹配,找出向量距离最近的一张或几张图片,直接输出或还原为原图像再匹配。
  该网络的目的是重构其输入,使其隐藏层学习到该输入的良好表征。其学习函数为 h(x)x h ( x ) ≈ x 。但如果输入完全等于输出,即 g(f(x))=x g ( f ( x ) ) = x ,该网络毫无意义。所以需要向自编码器强加一些约束,使它只能近似地复制。这些约束强制模型考虑输入数据的哪些部分需要被优先复制,因此它往往能学习到数据的有用特性。一般情况下,我们并不关心AE的输出是什么(毕竟与输入基本相等),我们所关注的是encoder,即编码器生成的东西,在训练之后,encoded可以认为已经承载了输入的主要内容。
  自动编码器属于神经网络家族,但它们与PCA(主成分分析)紧密相关。尽管自动编码器与PCA很相似,但自动编码器比PCA灵活得多。在编码过程中,自动编码器既能表征线性变换,也能表征非线性变换;而PCA只能执行线性变换。

  从不同的角度思考特征具有何种属性是好的特征,自动编码器分为四种类型:
(1)去燥自动编码器(DAE)(降噪)
(2)稀疏自动编码器(SAE,Sparse Autoencoder)(稀疏性,即高而稀疏的表达)
(3)变分自动编码器(VAE)(高斯分布)
(4)收缩自动编码器(CAE/contractive autoencoder)(对抗扰动)

去燥自编码器(DAE)

  最基本的一种自动编码器,它会随机地部分采用受损的输入(就是将输入做噪声处理或某些像素置零处理)来解决恒等函数风险,使得自动编码器必须进行恢复或去燥。(处理过程为输入有噪声,目标函数为原图像)。损失函数为 L(x,g(f(x))) L ( x , g ( f ( x ‘ ) ) ) ,其中 x x ‘ 是含噪声的输入。
  这项技术可用于得到输入的良好表征。良好的表征是指可以从受损的输入(应该就是中间层encoder输出的那个较低维的)稳健地获得的表征,该表征可被用于恢复其对应的无噪声输入。

稀疏自编码器(SAE)

  与常规的AE结构相似,只是隐藏层要比原输入要高维,且要让其稀疏,即大部分为0。其损失函数为: Jsparse(W,b)=J(W,b)+βs2j=1KL(ρρ⃗ j) J s p a r s e ( W , b ) = J ( W , b ) + β ∑ j = 1 s 2 K L ( ρ ‖ ρ → j ) ,其中 β β 是控制稀疏性的权重, ρ ρ 为平均激活度, ρ⃗ j ρ → j 为实际激活度。

变分自编码器(VAE)

  与传统AE输出的隐藏层不同,其给隐藏层加了一个约束:迫使隐藏层产生满足高斯分布的变量,即均值趋于0,方差趋于1。


这里写图片描述

收缩自编码器(CAE)

  收缩编码器学习的是一个在输入 x 变化小时目标也没太大变化的函数。其损失函数为 Jc=J(x,g(h))+λixhi2F J c = J ( x , g ( h ) ) + λ ∑ i ‖ ▽ x h i ‖ F 2 ,F范数的意义在于想要隐藏层的导数尽可能的小。

为什么自动编码器大多显示3层结构,训练多层时需要多次使用?

  三层网络是单个自编码器所形成的网络,对于任何基于神经网络的编码器都是如此。如果需要多层的编码器,通过逐层训练的形式完成,这就是堆叠自动编码器。如果直接用多层的自动编码器,其本质就是在做深度学习的训练,可能会由于梯度爆炸或梯度消失导致难以训练的问题。而逐层训练可以直接使用前面已经能提取完好特征的网络,使得整个网络的初始化在一个合适的状态,便于收敛。但是,在2014年出现的Batch-Normalization技术【良好的初始化技术】比逐层训练有效的多。再后来,发现基于残差(ResNet)我们基本可以训练任意深度的网络。

  自动编码器目前主要应用于 (1) 数据去噪 (2) 可视化降维 (3)特征提取

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/143959.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • IC验证培训——SystemVerilog通用程序库(下)

    IC验证培训——SystemVerilog通用程序库(下)路桑的个人网址:路科验证-IC验证培训-数字芯片验证五、类方法还是包函数?我们最初的直觉是将svlib作为一组SystemVerilog类呈现给用户。我们假设由一个类来表示一个正则表达式,另一个类来表示一个文件名,等等。从库写作者的角度来看,以这种方式打包用户数据是非常有吸引力的,因为它允许我们将任意隐藏数据与每个对象相关联。 我们在编写面向用户的API时,上遇到了一个严…

  • vue 调用子组件方法失败_Vue子组件调用父组件的方法及常见问题「建议收藏」

    vue 调用子组件方法失败_Vue子组件调用父组件的方法及常见问题「建议收藏」1.子组件内不允许直接修改父组件传过来的参数。错误实例:子组件代码直接对data参数进行修改,则会提示错误。vue.runtime.esm.js?2b0e:619[Vuewarn]:Avoidmutatingapropdirectlysincethevaluewillbeoverwrittenwhenevertheparentcomponentre-render…

  • STM32delay函数应用与说明[通俗易懂]

    STM32delay函数应用与说明[通俗易懂]STM32delay函数应用应用与说明CortexM4内核编程手册有关时钟系统的内容定时函数的实现delay_init函数delay_us函数对与32中的delay函数有很多中形式可以使用,这里提供一些自己使用遇到过的函数类型。CortexM4内核编程手册有关时钟系统的内容p230SysTicktimer(STK)Theprocessorhasa24-bitsystemtimer,SysTick,thatcountsdownfromthereloadvalu

  • mac goland 激活码【中文破解版】2022.02.08

    (mac goland 激活码)好多小伙伴总是说激活码老是失效,太麻烦,关注/收藏全栈君太难教程,2021永久激活的方法等着你。IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html4KDDGND3CI-eyJsaWNlbnNlSW…

  • Java三大器之拦截器(Interceptor)的实现原理及代码示例「建议收藏」

    Java三大器之拦截器(Interceptor)的实现原理及代码示例「建议收藏」过滤器与拦截器的区别过滤器可以简单的理解为“取你所想取”,过滤器关注的是web请求;拦截器可以简单的理解为“拒你所想拒”,拦截器关注的是方法调用,比如拦截敏感词汇。4.1,拦截器是基于java反射机制来实现的,而过滤器是基于函数回调来实现的。(有人说,拦截器是基于动态代理来实现的)4.2,拦截器不依赖servlet容器,过滤器依赖于servlet容器。4.3,拦截器只对Action起作用,过滤器可以对所有请求起作用。4.4,拦截器可以访问Action上下文和值栈中的对象,过滤器不能。4

  • pip命令使用详解「建议收藏」

    pip命令使用详解「建议收藏」pip很像CentOS系统中的yum命令,用于安装及维护Python包。pip的安装windows其实在windows下是默认安装了pip工具的,只是没有将其所在目录加入Path,导致命令查找不到。将python安装目录下的scripts目录加入环境变量Path中即可。Linux执行下面命令即可完成安装#wgethttps://bootstrap.pyp…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号