逻辑回归原理_逻辑回归分析

逻辑回归原理_逻辑回归分析逻辑回归原理

大家好,又见面了,我是你们的朋友全栈君。

来自:刘建平

 

逻辑回归是分类算法,可以处理二元分类和多元分类。

名字里有“回归”二字,但不是回归算法。为什么名字有“回归”这个误导词?因为它的原理有回归模型的影子。

 

1. 从线性回归到逻辑回归

线性回归模型是求Y和X之间的线性关系系数Θ,满足Y= XΘ。此时Y是连续的,所以是回归模型。

想要Y是离散的话,对Y再做一次函数转换,变为g(Y)。如果g(Y)结果类别是两种,就是二元分类模型。

 

2. 二元逻辑回归的模型

对线性回归的结果做函数g的转换,变为逻辑回归。g一般取sigmoid函数:

逻辑回归原理_逻辑回归分析

取sigmoid函数,主要因为两个性质:

  • 当z趋于正无穷时,g(z)趋于1,当z趋于负无穷,g(z)趋于0。
  • (导数性质)逻辑回归原理_逻辑回归分析

令g(z)中的z为:z = ,得到二元逻辑回归模型一般形式:

逻辑回归原理_逻辑回归分析

       其中x为样本输入,hΘ(x)为模型输出,可以是某一分类的概率大小。hΘ(x)和二元分类样本y(假设为0和1)有这样对应关系,如果hΘ(x)>0.5,即xΘ>0,则y为1。如果hΘ(x)<0.5,即xΘ<0,则y为0。y = 0.5是临界情况,此时xΘ=0,无法确定分类。

       hΘ(x)值越小,分类为0的概率越高;值越大,分类为1的概率越高。靠近临界点,分类准确率会下降。

 

模型的矩阵模式

逻辑回归原理_逻辑回归分析

其中hΘ(X)为模型输出,m*1维度。X为样本特征矩阵,为m*n维度。Θ为模型系数,为n*1的向量。

 

3. 二元逻辑回归的损失函数

线性回归是连续的,使用模型误差的平方和来定义损失函数。逻辑回归使用最大似然法定义损失函数。

样本输出是0或1两类,得到:

逻辑回归原理_逻辑回归分析

把两个式子写成一个式子:

逻辑回归原理_逻辑回归分析

其中y的取值是0或者1。

得到y的概率分布函数,就可以用似然函数最大化求解模型系数Θ。为了方便求解,用对数似然函数最大化,对数似然函数取反即为损失函数J(θ)其中,似然函数的代数表达式为:

逻辑回归原理_逻辑回归分析

损失函数表达式:

逻辑回归原理_逻辑回归分析

矩阵形式:

逻辑回归原理_逻辑回归分析

  • 为内积。

 

4. 二元逻辑回归的损失函数的优化方法

损失函数最小化, 最常见的有梯度下降法、坐标轴下降法、等牛顿法。

下面是推到梯度下降法中θ步骤:

逻辑回归原理_逻辑回归分析

 

5. 二元逻辑回归的正则化

逻辑回归也有过拟合问题,需要正则化,常见的L1正则化和L2正则化。

 

L1正则化:

逻辑回归原理_逻辑回归分析

超参数α是惩罚系数,||θ||1为θ的L1范数。

L1正则化损失函数的优化方法常用坐标轴下降法和最小角回归法。

 

L2正则化:

逻辑回归原理_逻辑回归分析

||θ||2为θ的L2范数。

L2正则化损失函数的优化方法和普通的逻辑回归类似(梯度下降法)。

 

6. 二元逻辑回归的推广:多元逻辑回归

 

 

 

 

 

 

 

 

hθ(x)

 

转载于:https://www.cnblogs.com/keye/p/10506641.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/106940.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Carson带你学Android:全面解析Android消息推送解决方案

    Carson带你学Android:全面解析Android消息推送解决方案前言鉴于现在运营需求的增强,消息推送在Android开发中应用的场景是十分常见如电商的活动宣传、资讯类产品进行新闻推送等等今天,我将全面介绍Android中实现消息推送的7种主流解决方案目录1.本质应用App主动向用户推送服务器最新消息实际上,是当服务器有新消息需推送给用户时,先发送给应用App,应用App…

  • 数组去重的5种方法[通俗易懂]

    数组去重的5种方法[通俗易懂]双重for循环去重 原理两两比较如果相等的话就删除第二个 例如:11132124 先让第一个1即arr[0]与后面的一个个比较如果后面的值等于arr[0]删除后面的值 第一次结束后的结果是13224删除了后面所有的1 同理第二次第三会删除与自己相同的元素详细介绍看代码注释1 2functionnoRepeat1(arr){…

  • MATLAB矩阵生成

    MATLAB矩阵生成MATLAB矩阵生成

  • RSA 加密算法原理简述

    RSA 加密算法原理简述概述本文旨在说明RSA加密算法的原理及实现,而其相关的数学部分的证明则不是本文内容。版权说明著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。作者:Q-WHai发表日期:2016年2月29日本文链接:http://blog.csdn.net/lemon_tree12138/article/details/50696926来源:CSDN…

  • pycharm使用技巧及常用快捷键_单元格设置的快捷键是什么

    pycharm使用技巧及常用快捷键_单元格设置的快捷键是什么1.下载安装PyCharm官方下载地址:https://www.jetbrains.com/pycharm/download/index.html#section=windows安装完成后在弹出的界面中选择新建一个工程:2.首次使用首次使用需要配置一下控制台,才能正常调试python点击灰色的倒三角,选择“EditConfigur…

  • 基于python-scrapy框架的爬虫系统[通俗易懂]

    基于python-scrapy框架的爬虫系统[通俗易懂]爬虫简单介绍需要毕设的同学可以联系我:609997553/wechat:wwj901521一、爬虫:就是抓取网页数据的程序二、爬虫如何抓取:网页三大特征:网页都有自己唯一的URL(统一资源定位符)来进行定位网页都使用HTML(超文本标记语言)来描述页面信息。网页都使用HTTP/HTTPS(超文本传输协议)协议来传输HTML数据。爬虫的设计思路:首先确定需要爬取的网页URL…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号