自编码器原理概述_编码器结构及工作原理

自编码器原理概述_编码器结构及工作原理个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-62.html自编码器的概念自编码器(Auto-Encoder),是一种利用反向传播算法使得输出值等于输入值的神经网络,它先将输入压缩成潜在空间表征,然后通过这种表征来重构输出。自编码器由两部分组成:编码器:这部分能将输入压缩成潜在空…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

个人博客:http://www.chenjianqu.com/

原文链接:http://www.chenjianqu.com/show-62.html

自编码器的概念

    自编码器(Auto-Encoder),是一种利用反向传播算法使得输出值等于输入值的神经网络,它先将输入压缩成潜在空间表征,然后通过这种表征来重构输出。自编码器由两部分组成:

    编码器:这部分能将输入压缩成潜在空间表征,可以用编码函数h=f(x)表示。

    解码器:这部分能重构来自潜在空间表征的输入,可以用解码函数r=g(h)表示。

1.jpg

    整个自编码器可以用函数g(f(x)) = r来描述,其中输出r与原始输入x相近。该网络的目的是重构其输入,使其隐藏层学习到该输入的良好表征。如果输入完全等于输出,即g(f(x))=x,该网络毫无意义。所以需要向自编码器强加一些约束,使它只能近似地复制。这些约束强制模型考虑输入数据的哪些部分需要被优先复制,因此它往往能学习到数据的有用特性。一般情况下有两种约束:

    1.令隐层的维度小于输入的维度,称为不完备的(under complete)。编码器将数据降维、解码器再还原数据。类似于PCA。如果隐藏节点比可视节点(输入、输出)少的话,由于被迫的降维,自编码器会自动习得训练样本的特征(变化最大,信息量最多的维度)。

    2.令隐层的维度大于输入数据的维度,称为过完备(over complete)。如果隐藏节点数目过多,自编码器可能会习得一种“恒等函数,即直接把输入复制过去作为输出。因此需要添加其它的约束,比如正则化、稀疏性等。

 

自编码器的分类

    根据对隐层特征侧重点的不同,出现了各种不同的自编码器的变种,如下图:[https://www.zhihu.com/question/41490383/answer/103006793]

2.jpg

堆栈自动编码器:自编码器的编码器和解码器可以采用深层的架构,这就是堆栈自动编码器或者深度自动编码器,本质上就是增加中间特征层数。以前栈式自编码器的训练过程是,n个AE按顺序训练,第1个AE训练完成后,将其编码器的输出作为第2个AE的输入,以此类推。最后再对整个网络进行Fine turning。但是现在的深度学习技术已经可以直接进行多层训练而无需逐层训练。

卷积自编码器:在编码器和解码器中使用卷积层抽取和还原特征。

正则自编码器:使用的损失函数可以鼓励模型学习其他特性(除了将输入复制到输出),而不必限制使用浅层的编码器和解码器以及小的编码维数来限制模型的容量。即使模型容量大到足以学习一个无意义的恒等函数,非线性且过完备的正则自编码器仍然能够从数据中学到一些关于数据分布的有用信息。常用的正则化有L1正则化和L2正则化。L2正则化的损失函数如下图:

3.jpg

    上式中的lambda为权重衰减系数。

去噪自编码器(Denoising Auto-Encoder, DAE):接收带噪声的数据,并将未带噪声的数据作为训练目标,得到一个用于去噪的自编码器。我们可以不对对损失函数添加惩罚,而是通过改变损失函数的重构误差项,得到一个可以学习一些有用的东西的自编码器。这可以通过给输入象征添加一些噪声并使自编码器学会删除它来实现。通过这种方式,编码器将提取最重要的特征并学习数据更具鲁棒性的表示。我们可以不对对损失函数添加惩罚,而是通过改变损失函数的重构误差项,得到一个可以学习一些有用的东西的自编码器。这可以通过给输入象征添加一些噪声并使自编码器学会删除它来实现。通过这种方式,编码器将提取最重要的特征并学习数据更具鲁棒性的表示。

稀疏自编码器(Sparse Auto-Encoder,SAE):正则自编码器要求的是隐层的权重不能太大,而SAE的是要求隐层的神经元添加稀疏性限制。所谓稀疏性,就是对一对输入图像,隐藏节点中被激活的节点数(输出接近1)远远小于被抑制的节点数目(输出接近0)。那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制。推导过程如下[https://blog.csdn.net/pi9nc/article/details/27711441]:

5.png

变分自编码器(VAE):与传统AE输出的隐藏层不同,其给隐藏层加了一个约束:迫使隐藏层产生满足高斯分布的变量,即均值趋于0,方差趋于1。与传统AE输出的隐藏层不同,其给隐藏层加了一个约束:迫使隐藏层产生满足高斯分布的变量,即均值趋于0,方差趋于1。

6.png

 

    除了以下介绍的几种AE,还有其它比如Contractive Auto-EncoderMarginalized DAE等。

 

 

代码实现卷积降噪自编码器

     本代码使用fashion_mnist数据集,基于Keras实现。

  1. 加载Keras自带的fashion_mnist数据集,并对输入数据添加噪声。

from keras.datasets import fashion_mnist
import numpy as np

(x_train,_),(x_test,_)=fashion_mnist.load_data()
x_train=x_train.reshape(-1,28,28,1).astype('float32')/255.0
x_test=x_test.reshape(-1,28,28,1).astype('float32')/255.

f=0.5
#产生噪声并叠加到训练数据上 loc是均值,scale是方差
x_train_noisy=x_train+f*np.random.normal(loc=0.0,scale=1.0,size=x_train.shape)
x_test_noisy=x_test+f*np.random.normal(loc=0.0,scale=1.0,size=x_test.shape)
#限制加上噪声后的值为0-1
x_train_noisy=np.clip(x_train_noisy,0.,1.)
x_test_noisy=np.clip(x_test_noisy,0.,1.)

查看添加噪声后的效果。

%matplotlib inline
import matplotlib.pyplot as plt

n=10
plt.figure(figsize=(20,2))
for i in range(n):
    ax=plt.subplot(1,n,i+1)
    plt.imshow(x_test_noisy[i].reshape(28,28))
    plt.gray()
    ax.get_xaxis().set_visible(False)
    ax.get_yaxis().set_visible(False)
plt.show()

7.png

 

2.定义网络。

from keras.layers import *
from keras.models import Model,load_model

#编码器
from keras.layers import *
from keras.models import Model,load_model
#编码器
inputs=Input(shape=(28,28,1))
x=Conv2D(32,(3,3),padding='same',activation='relu')(inputs)
x=MaxPooling2D((2,2),padding='same')(x)
x=Conv2D(32,(3,3),padding='same',activation='relu')(x)
vector=MaxPooling2D((2,2),padding='same')(x)
#解码器
x=Conv2D(32,(3,3),padding='same',activation='relu')(vector)
x=UpSampling2D((2,2))(x)
x=Conv2D(32,(3,3),padding='same',activation='relu')(x)
x=UpSampling2D((2,2))(x)
outputs=Conv2D(1,(3,3),padding='same',activation='sigmoid')(x)

model=Model(inputs,outputs)
model.summary()

 

3.编译并训练网络,使用adam优化器,使用mse作为误差函数。

from keras import losses
model.compile(optimizer='adam',loss=losses.mean_squared_error)
model.fit(x_train_noisy,x_train,
         epochs=100,
          batch_size=128,
          shuffle=True
         )
model.save('AutoEncoder_Mnist.h5')

4.测试效果

#测试
%matplotlib inline
from keras.models import Model,load_model
import matplotlib.pyplot as plt
aemodel=load_model('AutoEncoder_Mnist.h5')
output_imgs=aemodel.predict(x_test_noisy)
n=10
count=0
plt.figure(figsize=(20,16))
for j in range(4):
    for i in range(n):
        ax=plt.subplot(8,n,j*2*n+i+1)#获取子图
        plt.imshow(x_test_noisy[count].reshape(28,28))
        plt.gray()
        ax.get_xaxis().set_visible(False)
        ax.get_yaxis().set_visible(False)
        ax=plt.subplot(8,n,j*2*n+i+1+n)
        plt.imshow(output_imgs[count].reshape(28,28))
        plt.gray()
        ax.get_xaxis().set_visible(False)
        ax.get_yaxis().set_visible(False)
        
        count+=1
    
    
plt.show()

 

index.png

 

 

 

参考文献

[1]量子位. 自编码器是什么?有什么用?这里有一份入门指南(附代码). https://zhuanlan.zhihu.com/p/34238979

[2] ShuYini.一文带你了解自编码器(AutoEncoder). https://zhuanlan.zhihu.com/p/80377698

[3]时光_机.自动编码器及其变种. https://blog.csdn.net/qq_19784349/article/details/79624017

[4]AiTechYun. 一文搞懂自编码器及其用途(含代码示例). http://www.sohu.com/a/224516673_99992181

[5] zlinxi.深度学习之卷积自编码器. https://blog.csdn.net/qq_33273962/article/details/83547342

 

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/187164.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • java跨境电商ERP源码「建议收藏」

    java跨境电商ERP源码「建议收藏」1订单管理本模块支持多平台订单自动下载同步以及多帐号多店铺订单管理,方便用户对销售进行科学、直观的分类管理。包括订单处理,包装验货,称重出库,智能交运,交运日志,快速拣货,快速发货等子模块。2商品管理(SKU)商品管理模块,提供对亚马逊店逊商品进行线下管理的功能,包括但不限于中文名称、英文名称,售价等相应管理3.采购管理采购管理主要对于商品采购、入库、及供应商的设置,并于商品细分,包括采购管理、入库管理和供应商管理模块。4.物流管理此模块主要提供用户设置速途未对接的物…

  • java使用多线程导出excel「建议收藏」

    java使用多线程导出excel「建议收藏」前言在一个业务中,需要将数据库的一张日志表导出到excel中做统计分析归类,由于单表的数据量特别大,发现在最终导出excel的时候,由于数量太大,导出速度特别慢,想了一些办法,不管使用何种API,单线程始终是操作的瓶颈,因此最终考虑使用多线程进行改善总体思路:1、数据总量分段2、每个线程处理不同分段的数据3、提交线程池下面来看具体的代码,为测试方便,这里直接使用一个测试接口进行调用,…

  • 浅入浅出LuaJIT[通俗易懂]

    浅入浅出LuaJIT[通俗易懂]JIT什么是JITJIT=JustInTime即时编译,是动态编译的一种形式,是一种优化虚拟机运行的技术。程序运行通常有两种方式,一种是静态编译,一种是动态解释,即时编译混合了这二者。Java和.Net/mono中都使用了这种技术。然而IOS中禁止使用(不是针对JIT,而是所有的动态编译都不支持)!为什么要使用JIT解释执行:效率低。代码暴露。静态编译:不够灵活,无法热更新。

  • org.apache.jasper.JasperException: An exception occurred processing JSP page

    JPivothadanerror…org.apache.jasper.JasperException:AnexceptionoccurredprocessingJSPpage/testpage.jspatline4441:42:43:44: 45: 46: 47: Stacktrace:org.apache.jasper.JasperEx

  • linux 查看tomcat日志 关键字「建议收藏」

    linux 查看tomcat日志 关键字「建议收藏」转载:https://blog.csdn.net/u013410747/article/details/711921401catapp.log|grep‘error’2.查询日志尾部最后10行的日志tail-n10app.log3.查询10行之后的所有日志tail-n+10app.log4.查询日志文件中的头10行日志head-n1…

  • 深入db4o

    深入db4o这是RickGrehan发表在TheServerSide上的一篇关于面向对象数据库–db4o的文章,较全面地介绍了db4o的关键特性,希望对大家认识db4o能有所帮助。(2007.12.07最后更新)   db4o-针对对象的数据库-是一个完全的对象数据库;它以使对象在其生命周期中-无论是在数据库内或是在外-都保持着它们的本性这样一种方式操纵对象。不论类的复杂性如何,对象的内容,结构

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号