机器学习中的数学——激活函数(六):Parametric ReLU(PReLU)函数

机器学习中的数学——激活函数(六):Parametric ReLU(PReLU)函数PReLU也是ReLU的改进版本:PReLU(x)={x,x>0αix,x≤0PReLU(x)=\left\{\begin{aligned}x&\quad,x>0\\\alpha_ix&\quad,x\leq0\\\end{aligned}\right.PReLU(x)={xαi​x​,x>0,x≤0​PReLU函数中,参数α\alphaα通常为0到1之间的数字,并且通常相对较小。如果αi=0\alpha_i=0αi​=0

大家好,又见面了,我是你们的朋友全栈君。

分类目录:《机器学习中的数学》总目录
相关文章:
· 激活函数:基础知识
· 激活函数(一):Sigmoid函数
· 激活函数(二):双曲正切函数(Tanh函数)
· 激活函数(三): 线性整流函数(ReLU函数)
· 激活函数(四):Leaky ReLU函数
· 激活函数(五):ELU函数
· 激活函数(六):Parametric ReLU(PReLU)函数
· 激活函数(七):Softmax函数
· 激活函数(八):Swish函数
· 激活函数(九):Maxout函数
· 激活函数(十):Softplus函数
· 激活函数(十一):Softsign函数
· 激活函数(十二):高斯误差线性单元(GELUs)


PReLU 也是 ReLU 的改进版本:
P R e L U ( x ) = { x , x > 0 α i x , x ≤ 0 PReLU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha_i x & \quad , x\leq 0\\ \end{aligned} \right. PReLU(x)={
xαix,x>0,x0

PReLU函数中,参数 α \alpha α通常为0到1之间的数字,并且通常相对较小。

  • 如果 α i = 0 \alpha_i=0 αi=0,则PReLU(x)变为 ReLU。
  • 如果 α i > 0 \alpha_i>0 αi>0,则PReLU(x)变为Leaky ReLU。
  • 如果 α i \alpha_i αi是可学习的参数,则PReLU(x)为PReLU函数。

PReLU函数的特点:

  • 在负值域,PReLU的斜率较小,这也可以避免Dead ReLU问题。
  • 与ELU相比,PReLU 在负值域是线性运算。尽管斜率很小,但不会趋于0。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/151180.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 制作百度音乐标签页面html,百度音乐标签.html[通俗易懂]

    制作百度音乐标签页面html,百度音乐标签.html[通俗易懂]无标题文档全部歌手AAFineFrenzyAirSupplyAlnSpink安其拉安在旭安室奈美惠BBabyfaceBackstsktrrt..BandariBarbraStreisandBeeGss北京天使合唱团宝儿包包的音乐花园巴哈尔古丽巴桑布仁巴雅尔CChrisGarneauCheistinaAguileraChristina…

  • OSI七层_osi七层模型通俗解释

    OSI七层_osi七层模型通俗解释OSI七层

  • C-V2X 频点-频段简介[通俗易懂]

    C-V2X 频点-频段简介[通俗易懂]1.缩略语1.Bband频段一个频率的范围或者频谱的宽度2.ULUplink上行链路3.DLDownlink下行链路4.EARFCNE-UTRAAbsoluteRadioFrequencyChannelNumber载波频点号5.FULF_{UL}FUL​FrequencyUplink载频上行频率6.NULN_{UL}NUL​EARFCNUplink载频上行频点号7.FDLF_{DL}FDL​FrequencyDownlink 载频下行频率8.

  • 解决网页上内容不能复制的几种方法是什么_强制复制网页文字

    解决网页上内容不能复制的几种方法是什么_强制复制网页文字前言现在有很多网站不登陆或者不是会员不能复制内容,现在教大家几种方法来突破这个限制。通过快捷键ctrl+pctrl+p是打印的快捷键,一般的限制都可以通过这个方式来复制document.designModeF12/右键->检查,打开浏览控制台切换到console面板输入document.designMode=’on’document.body.contentEditableF12/右键->检查,打开浏览控制台切换到console面板输入document.bod

    2022年10月19日
  • JavaScript刷新当前页面的五种方式

    JavaScript刷新当前页面的五种方式转自:原文地址js刷新当前页面的5种方式1、reload:reload方法,该方法强迫浏览器刷新当前页面。语法:location.reload([bForceGet])   参数:bForceGet,可选参数,默认为false,从客户端缓存里取当前页。true,则以GET方式,从服务端取最新的页面,相当于客户端点击F5("刷新")reload()方法用于重…

  • django drf jwt_etc安装激活后怎么使用

    django drf jwt_etc安装激活后怎么使用DRF介绍DRF是DjangoRestFramework单词的简写,是在Django框架中实现RestfulAPI的一个插件,使用他可以非常方便的实现接口数据的返回。Django中也可以使用J

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号