极限学习机(Extreme Learning Machine)概述

极限学习机(Extreme Learning Machine)概述摘要当今研究领域的一项事实就是,前向神经网络(feed-forwardneuralnetworks)的训练速度比人们所期望的速度要慢很多。并且,在过去的几十年中,前向神经网络在应用领域存在着很大的

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

摘要

当今研究领域的一项事实就是,前向神经网络(feed-forward neural networks)的训练速度比人们所期望的速度要慢很多。并且,在过去的几十年中,前向神经网络在应用领域存在着很大的瓶颈。导致这一现状的两个关键因素就是:

  • 神经网络的训练,大多使用基于梯度的算法,而这种算法的训练速度有限;
  • 使用这种训练算法,在迭代时,网络的所有参数都要进行更新调整。

而在2004年,由南洋理工学院黄广斌教授所提出的极限学习机器(Extreme Learning Machine,ELM)理论可以改善这种情况。最初的极限学习机是对单隐层前馈神经网络(single-hidden layer feed-forward neural networks,SLFNs)提出的一种新型的学习算法。它随机选取输入权重,并分析以决定网络的输出权重。在这个理论中,这种算法试图在学习速度上提供极限的性能。
如需转载本文,请注明出处:http://blog.csdn.net/ws_20100/article/details/49555959


极限学习机原理

ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的隐节点输出:
这里写图片描述

对于一个单隐层神经网络(结构如上图所示),假设有

N
个任意的样本

(xj,tj)
,其中,



xj=[xj1,xj2,...,xjn]TRn  tj=[tj1,tj2,...,tjm]TRm

对于一个有



L
个隐层节点的单隐层神经网络可以表示为



i=1Lβig(wixj+bi)=oj,  j=1,2,...,N

其中,



g(x)
为激活函数,



wi=[wi1,wi2,...,win]T
是第



i
个隐层单元的输入权重,



bi
是第



i
个隐层单元的偏置,



βi=[βi1,βi2,...,βim]T
是第



i
个隐层单元的输出权重。



wixj
表示



wi




xj
的内积。

1.学习目标

单隐层神经网络学习的目标是使得输出的误差最小,可以表示为



j=1N||ojtj||=0

即存在



wi




xj




bi
使得:




i=1Lβig(wixj+bi)=tj,  j=1,2,...,N

可以矩阵表示:




Hβ=T

其中,



H
是隐层节点的输出,



β
为输出权重,



T
为期望输出。




H(w1,...,wL,b1,...,bL,x1,...,xN)=g(w1x1+b1)g(w1xN+b1)g(wLx1+bL)g(wLxN+bL)N×Lβ=β1TβLTL×m T=t1TtNTN×m

为了能够训练单隐层神经网络,我们希望得到



wi^




bi^




βi^
,使得




||H(wi^,bi^)β^T||=minw,b,β||H(wi,bi)βT||

其中,



i=1,2,...,L
,这等价于最小化损失函数




E=j=1N||i=1Lβig(wixj+bi)tj||22

2.学习方法

传统的一些基于梯度下降法的算法,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重

wi
和隐层的偏置

bi
被随机确定,隐层的输出矩阵

H
就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统:

Hβ=T
。并且输出权重可以被确定



β^=HT

其中,



H
是矩阵



H




MoorePenrose
广义逆矩阵。且可证明求得的解



β^
的范数是最小的并且唯一。


实现代码

代码下载:http://download.csdn.net/detail/ws_20100/9230271

输入的训练数据,格式为一个

N×(1+n)
矩阵,其中每行代表一个样本(共有

N
行)。每行的第一个元素为该样本的“回归的期望值”或“分类的类别号”(对应于

tj
),后面的n个元素为该样本的输入数据(对应于

xjRn
)。测试数据的格式也类似。

对于回归应用,一个例子为:

[TrainingTime, TestingTime, TrainingAccuracy, TestingAccuracy] = elm('sinc_train', 'sinc_test', 0, 20, 'sig')

对于分类应用,一个例子为:

elm('diabetes_train', 'diabetes_test', 1, 20, 'sig')

这两个训练和测试集在黄广斌教授的网站上都可以下载。


参考资料:

[1] G.-B. Huang, Q.-Y. Zhu, and C.-K. Siew, “Extreme learning machine: A new learning scheme of feedforward neural networks,” in Proc. Int. Joint Conf. Neural Networks, July 2004, vol. 2, pp. 985–990.

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/167918.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • vdbench 参数详解[通俗易懂]

    vdbench 参数详解[通俗易懂]HD:主机定义如果您希望展示当前主机,则设置hd=localhost。如果希望指定一个远程主机,hd=label。system=IP地址或网络名称。clients=用于模拟服务器的正在运行的客户端数量。SD:存储定义sd=标识存储的名称。host=存储所在的主机的ID。lun=原始磁盘、磁带或文件系统的名称

  • c语言pow对函数调用不明确(c语言i++和++i)

    pow()函数用来求baix的y次幂,x、y及函数值都是double型,其原型du为:zhidoublepow(doublex,doubley)。实例代码如下:#include<stdio.h>#include<math.h>voidmain(){doublex=2,y=10;printf(“%f\n”,pow(x,y));return0;}结果:1024扩展bai资料:在调用pow函数时,可能导致错误.

  • 扩充NetCMS的功能:添加{TM:Repeater}{/TM:Repeater}标签[通俗易懂]

    扩充NetCMS的功能:添加{TM:Repeater}{/TM:Repeater}标签[通俗易懂]本文档为{TM:Repeater}{/TM:Repeater}标签的说明文档,创建的目标是打算制造一个系列文档的索引,索引的目标是关于这个标签的相关文档。简要说明:NetCMS1.7(以下简称NT)并非十分完善,里面包含了数量众多的BUG不说,功能上也带着一些欠缺。比如说这次之所以添加新标签的念头,就是原有的网站结构不完善。NT的是三级网站结构:“首页-列表页—详细页”。而实际…

  • 整除计算器_整除

    整除计算器_整除原题链接这里所谓的“光棍”,并不是指单身汪啦~ 说的是全部由1组成的数字,比如1、11、111、1111等。传说任何一个光棍都能被一个不以5结尾的奇数整除。比如,111111就可以被13整除。 现在,你的程序要读入一个整数x,这个整数一定是奇数并且不以5结尾。然后,经过计算,输出两个数字:第一个数字s,表示x乘以s是一个光棍,第二个数字n是这个光棍的位数。这样的解当然不是唯一的,题目要求你输出最小的解。提示:一个显然的办法是逐渐增加光棍的位数,直到可以整除x为止。但难点在于,s可能是个非常大的数 ——

  • CSS鼠标悬浮及其样式

    CSS鼠标悬浮及其样式hover鼠标悬浮的使用和定义用法示例选择鼠标指针浮动在其上的元素,并设置其样式:.box:hover{background-color:red;}定义和用法:hover选择器用于选择鼠标指针浮动在上面的元素。提示:hover选择器可用于所有元素:link选择器设置指向未被访问页面的链接的样式,:visited选择器用于设置指向已被访问的页面…

  • pycharm怎么添加项目_pycharm 其他

    pycharm怎么添加项目_pycharm 其他pycharm项目添加,在使用pycharm的过程中,有时想要在项目列表中展示多个项目需求第一种情况:原有项目的同级别目录展示另一个项目,如下面的截图操作路径:文件–打开–选择要添加的项目–点附加第二种情况:在原来的项目的主目录下添加拧一个项目,如下面的截图操作路径:文件–设置–项目–项目结构–添加内容根注意:以上两种添加方式:项目的根目录都是第一个项目创建时的根目录,查勘方式,点终端就会显示路径,这个路径也项目的…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号