机器学习中的数学——激活函数(六):Parametric ReLU(PReLU)函数

机器学习中的数学——激活函数(六):Parametric ReLU(PReLU)函数PReLU也是ReLU的改进版本:PReLU(x)={x,x>0αix,x≤0PReLU(x)=\left\{\begin{aligned}x&\quad,x>0\\\alpha_ix&\quad,x\leq0\\\end{aligned}\right.PReLU(x)={xαi​x​,x>0,x≤0​PReLU函数中,参数α\alphaα通常为0到1之间的数字,并且通常相对较小。如果αi=0\alpha_i=0αi​=0

大家好,又见面了,我是你们的朋友全栈君。

分类目录:《机器学习中的数学》总目录
相关文章:
· 激活函数:基础知识
· 激活函数(一):Sigmoid函数
· 激活函数(二):双曲正切函数(Tanh函数)
· 激活函数(三): 线性整流函数(ReLU函数)
· 激活函数(四):Leaky ReLU函数
· 激活函数(五):ELU函数
· 激活函数(六):Parametric ReLU(PReLU)函数
· 激活函数(七):Softmax函数
· 激活函数(八):Swish函数
· 激活函数(九):Maxout函数
· 激活函数(十):Softplus函数
· 激活函数(十一):Softsign函数
· 激活函数(十二):高斯误差线性单元(GELUs)


PReLU 也是 ReLU 的改进版本:
P R e L U ( x ) = { x , x > 0 α i x , x ≤ 0 PReLU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha_i x & \quad , x\leq 0\\ \end{aligned} \right. PReLU(x)={
xαix,x>0,x0

PReLU函数中,参数 α \alpha α通常为0到1之间的数字,并且通常相对较小。

  • 如果 α i = 0 \alpha_i=0 αi=0,则PReLU(x)变为 ReLU。
  • 如果 α i > 0 \alpha_i>0 αi>0,则PReLU(x)变为Leaky ReLU。
  • 如果 α i \alpha_i αi是可学习的参数,则PReLU(x)为PReLU函数。

PReLU函数的特点:

  • 在负值域,PReLU的斜率较小,这也可以避免Dead ReLU问题。
  • 与ELU相比,PReLU 在负值域是线性运算。尽管斜率很小,但不会趋于0。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/151180.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • jq 取 scrollHeight值

    jq 取 scrollHeight值jq取scrollHeight,$(“#tendersList”).scrollHeight拿不到$(“#tendersList”)[0].scrollHeight//取值scrollHeight$scope.initScroll=function($last){ if($last){ console.log($(“#tendersList”).height()…

  • eclipse安装gwt插件,浏览器安装gwt插件,eclipse启动gwt自带的工程,并在浏览器上访问,eclipse导入gwt工程「建议收藏」

    eclipse安装gwt插件,浏览器安装gwt插件,eclipse启动gwt自带的工程,并在浏览器上访问,eclipse导入gwt工程「建议收藏」eclipse安装gwt插件,浏览器安装gwt插件,eclipse启动gwt自带的工程,并在浏览器上访问,eclipse导入gwt工程

  • tfw格式图解[通俗易懂]

    tfw格式图解[通俗易懂]TFW格式,是关于TIFF影像坐标信息的文本文件。其它影像格式的坐标信息描述文件与其格式是一样的,后缀名可能不同。(bmp-bpw/png-pgw/jpg-jpw)话不多说,直接看图。上图中的UV坐标,实际上只的是图像的横向坐标和纵向坐标 。即图像的行和列坐标。 对于图上任意一个像素点(col,row)这个坐标,换算其地理坐标就十分简单。GeoX=1000.000+…

    2022年10月25日
  • web激活码【中文破解版】[通俗易懂]

    (web激活码)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~https://javaforall.cn/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~DB…

  • 官场迷情–横刀灬一笑[通俗易懂]

    官场迷情–横刀灬一笑[通俗易懂]无业游民沈宜修偷瞄上小loli依琳,而他的宅女老婆秋叶却毫不知情。一次偶然的机会,沈宜修见识了美女市长苏静美的风情万种。沈宜修也开始了在依琳、静美和秋叶之间的周旋。此时事业也有所发展的沈宜修,却被美女主编林曼琴给剽窃,想要讨回公…

  • 【第二篇】Spring-Session实现Session共享Redis集群方式配置教程

    循序渐进,由易到难,这样才更有乐趣!概述本篇开始继续上一篇的内容基础上进行,本篇主要介绍Spring-Session实现配置使用Redis集群,会有两种配置方式,一种是Redis-Cluster,一种是Redis-Sentinel,并通过一个简单的demo进行实例演示!对Redis-Cluster和Redis-Sentinel不太懂,或者不知道在Windows下面如何搭建的…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号