大家好,又见面了,我是你们的朋友全栈君。
分类目录:《机器学习中的数学》总目录
相关文章:
· 激活函数:基础知识
· 激活函数(一):Sigmoid函数
· 激活函数(二):双曲正切函数(Tanh函数)
· 激活函数(三): 线性整流函数(ReLU函数)
· 激活函数(四):Leaky ReLU函数
· 激活函数(五):ELU函数
· 激活函数(六):Parametric ReLU(PReLU)函数
· 激活函数(七):Softmax函数
· 激活函数(八):Swish函数
· 激活函数(九):Maxout函数
· 激活函数(十):Softplus函数
· 激活函数(十一):Softsign函数
· 激活函数(十二):高斯误差线性单元(GELUs)
PReLU 也是 ReLU 的改进版本:
P R e L U ( x ) = { x , x > 0 α i x , x ≤ 0 PReLU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha_i x & \quad , x\leq 0\\ \end{aligned} \right. PReLU(x)={
xαix,x>0,x≤0
PReLU函数中,参数 α \alpha α通常为0到1之间的数字,并且通常相对较小。
- 如果 α i = 0 \alpha_i=0 αi=0,则PReLU(x)变为 ReLU。
- 如果 α i > 0 \alpha_i>0 αi>0,则PReLU(x)变为Leaky ReLU。
- 如果 α i \alpha_i αi是可学习的参数,则PReLU(x)为PReLU函数。
PReLU函数的特点:
- 在负值域,PReLU的斜率较小,这也可以避免Dead ReLU问题。
- 与ELU相比,PReLU 在负值域是线性运算。尽管斜率很小,但不会趋于0。
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/151180.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...