大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺
一、一维梯度下降
算法思想:
我们要找到一个函数的谷底,可以通过不断求导,不断逼近,找到一个函数求导后为0,我们就引入了一个概念
学习率(也可以叫作步长),因为是不断逼近某个x,所以学习率过大会导致超过最优解,而学习率过小,会导致收敛速度过慢。
二、多维梯度下降
算法思想:
和一维梯度下降算法思想类似,只是导数由原来的一维变成现在的多维,算法思想本质没有变化,在计算导数的过程发生了变化,主要就是高数中的偏导数知识,然后通过一个方向向量,由于我们需要最小值,所以cosθ需要 = -1,所以θ = π 最后我们就推出了上面的式子
η为学习率
三、随机梯度下降算法
算法思想:
算法思想都比较一致,都是为了求极值,随机梯度下降算法是为了解决训练数据集比较大的情况,在数据集较大的情况,学习率会选择比较大,为了求出梯度,我们在每次迭代的时候通过随机均匀采样计算出梯度,求其平均值,就是最后的梯度
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/197871.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...