鞍点[通俗易懂]

鞍点[通俗易懂]关于“鞍点”的说法网上讲的乱七八糟,因此我特…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

关于“鞍点”的说法网上讲的乱七八糟,因此我特地上维基百科探查了鞍点的真相。

首先在高等数学里可能大家都还记得一个平面叫马鞍面,图形如下(粘贴自维基百科),那个红点就是三维空间中的鞍点。我们可以从正交的两个方面来看这个点,以平行于坐标轴XOZ平面和YOZ平面的过这个红点的两个平面对这个图形进行截取,可以发现,在一个方向上它是极大值,在另一个方向上它是极小值,这种点就叫鞍点(Saddle Point)。

值得注意的是,鞍点无论对各个方向求导(偏导),其导数(偏导数)都是0,但是它又不是极值点。
在这里插入图片描述

而在二维图像(曲线、曲面、超曲面)上,鞍点就是其驻点,所谓驻点也就是一阶导数为0的点。
在一维域中,鞍点既是驻点又是拐点,因而它不是也不可能是极值点。
(我才疏学浅觉得有点奇怪,一维为甚么有驻点或者拐点,我觉得应该是二维才对,或许它的意思不是说一维空间,而是在某一个维度上。原文如下,大家自行体会:In a domain of one dimension, a saddle point is a point which is both a stationary point and a point of inflection. Since it is a point of inflection, it is not a local extremum.)

关于二维空间中鞍点的举例,就可以拿y=x^3在x=0那一点来说了,下图同样摘自wiki。
在这里插入图片描述
包含一个或以上鞍点的面就叫做Saddle surface。

对于鞍点更数学一点的解释就是:
对某函数f,若其在某一点的Hessian matrix的值是indefinite的,那么它就是鞍点(我也不懂,原文如下)
在这里插入图片描述


了解了鞍点的概念,就要说到鞍点对Gradient Descent的影响了,在许多深度学习实验中,往往会有存在鞍点的可能,而若是鞍点较多,则会严重影响Gradient Descent的性能与正确率,而事实上即便在其他算法中,鞍点往往比Local minimum更令人头疼,而关于如何解决、或者说避开鞍点呢,请看这篇文章(Andrew Ng的导师写的):How to Escape Saddle Points Efficiently

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/167546.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号