极大似然、最小二乘和梯度下降

极大似然、最小二乘和梯度下降

今天学习回归算法的过程中,对于常见到的名词:极大似然、最小二乘以及梯度下降做一个总结

机器学习的基本框架大都是模型、目标和算法!

如何让模型尽可能好的拟合或者分类数据呢?那么就需要有目标函数,所以要定下模型的cost function,其中的获取损失函数的方法。

对于线性回归,可以采用他的似然函数、或根据最小二乘,写出他的损失函数。

对于逻辑回归,采用似然函数求他的损失函数。

 而采用何种优化算法,则可以使用最小二乘法、梯度下降法等。

问题1:最小二乘和最小均方误差的区别?

最小二乘:预测值和真实值差的平方和

均方误差:预测值和真实值差的期望<span>极大似然、最小二乘和梯度下降</span>,是一种加权最小二乘,权值为概率!

加权最小二乘:根据实际问题考虑每个求和项的重要程度,即加权值w,

<span>极大似然、最小二乘和梯度下降</span>

 

均方误差估计是针对概率模型,二乘估计是针对确定性模型

 

 问题2:为什么逻辑回归不用最小二乘?

主要是逻辑回归采用最小二乘获得损失函数的话,比较复杂,容易陷入局部最优

<span>极大似然、最小二乘和梯度下降</span>

<span>极大似然、最小二乘和梯度下降</span>

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/119463.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • SparkStreaming的介绍及原理

    SparkStreaming的介绍及原理一、SparkStreaming的介绍1.离线和流处理的区别1)离线处理是针对一个批次,这个批次一般情况下都比较大流处理对应的数据是连续不断产生,处理时间间隔非常短的数据2)离线处理程序,因为数据是有限的(bounded),所以会终止流数据因为是连续不断的产生,所以数据是无限的(unbounded)由于数据的特征,一般离线处理比较缓慢,流数据处理相对较快流处理:…

  • ABP vNext入门/Docker入门/.NET Core微服务入门——阅读目录

    ABP vNext入门/Docker入门/.NET Core微服务入门——阅读目录

    2020年11月20日
  • gcc编译器参数_gcc for c4droid

    gcc编译器参数_gcc for c4droid【转载】gcc使用中常用的参数及命令 本文转载自:http://www.cnblogs.com/yaozhongxiao/archive/2012/03/16/2400473.html如需转载,请注明原始出处。谢谢。—————————————————————-…

    2022年10月13日
  • VBS 代码合集(慎用,好玩)

    VBS 代码合集(慎用,好玩)玩玩就好啦记得关注哦一、你打开好友的聊天对话框,然后记下在你QQ里好友的昵称,把下面代码里的xx替换一下,就可以自定义发送QQ信息到好友的次数(代码里的数字10改一下即可).xx.vbs=>=—————————————————————————OnErrorResumeNextDimwsh,yesetwsh=createobject(“wscript.shell”)fori=1

  • 【mac】安装tree命令

    【mac】安装tree命令树形目录显示工具tree的安装和使用

  • 动态标题怎么写_网站主题

    动态标题怎么写_网站主题1.快并快乐着!2.共享世界,有你才精彩!3.你共享一小文件,对于你来说是一小文件,但对于世界上的骡友来说是一个大文件。4.分享互联网5.梦里寻她千百度,蓦然回首,那资源竟在VeryCD下载处。6.想象力比知识更重要。7.学历代表过去,学习力掌握将来。8.把自己当傻瓜,不懂就问,你会学的更多。9.学问和修持的力量,来使人受益,就等于欠了一份债。10.不是事业为了思想,而是思想为了事业。11.睡觉是为了踏实地工作,工作是为了踏实地睡觉。12.人生在世界是短暂的,对这短暂的人生,我们最好的报答就是工作。13.

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号