朴素贝叶斯(Naive Bayes)原理+编程实现拉普拉斯修正的朴素贝叶斯分类器

朴素贝叶斯(NaiveBayes)原理+编程实现拉普拉斯修正的朴素贝叶斯分类器,以西瓜数据集3.0为训练集,对“测1”样本进行判别。

大家好,又见面了,我是你们的朋友全栈君。

1.生成模型与判别模型

  在概率生成模型(Probabilistic Generative Model)与朴素贝叶斯(Naive Bayes)中大概学习了一下概率生成模型以及朴素贝叶斯,今天在这里再总结一下生成模型与判别模型。
在这里插入图片描述
  上面这张图可以清楚的解释二者的差别。前面我们讲到, 所谓的机器学习模型,本质上是一个函数,其作用是实现从一个样本 x x x 到样本的标记值 y y y 的映射,即 f ( x ; θ ∗ ) → y f(x;\theta ^{*})\rightarrow y f(x;θ)y,或者求得标签的条件概率:
在这里插入图片描述
  例如有C1以及C2两种类别,我们需要判断样本属于哪一个class:

  • 判别式模型:要确定一个样本是属于C1还是C2,用判别模型的方法是从历史数据中学习到模型,然后通过提取该样本的特征来预测出该样本属于C1的概率以及C2的概率。
  • 生成式模型:根据C1的特征首先学习出一个C1的模型,然后根据C2的特征学习出一个C2的模型,然后从该样本中提取特征,放到C1模型中看概率是多少,然后再放到C2模型中看概率是多少,哪个大就是哪个。
  • 判别模型之所以称为判别模型,就是因为它只是简单地判别就好了。根据样本X来判别它所属的类别,直接就求出了 p ( y ∣ x ) p(y|x) p(yx)的大小
  • 而生成模型,在概率生成模型(Probabilistic Generative Model)与朴素贝叶斯(Naive Bayes)中我们可以看到,我们要求:
    在这里插入图片描述
    P(C1)与P(C2)很好求,我们要求的是P(x|C1)以及P(x|C2),也就是说我们要先求得C1与C2的具体分布,也就是上面说的,分别根据C1与C2的特征学得两个模型,得到模型之后代入,若P(C1|x)>P(C2|x)那x就属于C1,否则属于C2。

2.贝叶斯

2.1贝叶斯公式

在这里插入图片描述
  学过概率论的都应该对上面这个公式很熟悉,这里就不再细讲了。这里需要注意的点是注意区分先验概率、后验概率、联合概率三个概念。

2.2贝叶斯方法

  机器学习的最终目的就是回归 or 分类,这里二者都可以理解为预测,回归很好理解,分类也可以理解为预测属于某一类的概率是多少。 我们把上述贝叶斯公式中的X理解为“具有某特征”,把Y理解成“类别标签”,那么贝叶斯公式就可以表示为:
P(“属于某类”|“具有某特征”)=P(“具有某特征”|“属于某类”)P(“属于某类”)/P(“具有某特征”)

  贝叶斯方法把计算“具有某特征条件下属于某类(就是分类)”的概率转化为需要计算“属于某类条件下具有某特征(分别训练模型)”的概率,属于有监督学习。

3朴素贝叶斯

  我们以垃圾邮件识别来引出朴素贝叶斯。
在这里插入图片描述
  我们要做的是判断上面那个邮件:“我司可办理正规发票(保真)17%增值税发票点数优惠”是否属于垃圾邮件。我们不能直接判断一整个邮件是否属于垃圾邮件,我们首先想到的应该是“分词”,所谓分词就是把邮件拆成一个个的词语,通过该词语是否属于训练样本中的垃圾邮件来做出进一步判断:
在这里插入图片描述
前面我们提到:
  贝叶斯方法把计算“具有某特征条件下属于某类(就是分类)”的概率转化为需要计算“属于某类条件下具有某特征(分别训练模型)”的概率,属于有监督学习。 也就是说,我们现在要计算的是:正常邮件 or 垃圾邮件中具有上述那些词语的概率。

3.1条件独立性假设

  引入条件独立假设:
在这里插入图片描述
  我们把求某一类邮件中包含上述那些词语的概率等同于某一类邮件中包含每一种词语概率的乘积!!这其实就是朴素贝叶斯的实质,也是条件独立假设的实质。
  既然如此,那每一项都变得特别好求解了:
在这里插入图片描述
要算P(x1|C),那就直接在训练集中统计一下,看看x1在类别c1中出现的概率是多少即可。

3.2朴素贝叶斯Naive在何处?

  1. 加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法(Naive Bayes)
  2. 由于乘法交换律,朴素贝叶斯中算出来交换词语顺序的条件概率完全一样

  上述2的意思是:对于朴素贝叶斯模型来讲,“我司可办理正规发票”与“正规发票可办理我司”是一样的,会给出相同的判别结果,这点应该很好理解,因为你有了条件独立假设,abc与cba肯定大小是一样的,自然概率也是一样的,判别结果也就一样了。

3.3朴素贝叶斯的三种模型

  1. 多项式模型
    在这里插入图片描述
    多项式模型跟我们思维是一样的,例如在上述条件概率中,“发票”一词语出现了三次,那利用条件独立假设条件之后,自然应该出现三次方,这就是多项式模型。

  2. 伯努利模型
    在这里插入图片描述
    在伯努利模型中我们可以看到,即使“发票”一词出现三次,但是我们在最终计算时只算一次。

  3. 混合模型
    在这里插入图片描述
    在混合模型中,我们计算句子概率时不考虑重复词语出现的次数,但在统计计算词语概率时考虑重复次数。
    一张图概括三种模型:
    在这里插入图片描述

3.4平滑技术

  我们先来看这样一种可能:我们在求P(“正规发票”|S)时,通常的做法就是在训练集中遍历,看看“正规发票”一词出现了多少次,但是好巧不巧,该词在训练集中一次都没有出现过,那概率不就是0了么,然后条件独立假设相乘。。。于是整个概率都变成了0,这显然是极不合理的,但是这种情况却不少见。
  于是我们引入了平滑技术这一概念来解决这个问题:
在这里插入图片描述
这样,上述概率就不为0了,方便后续判断。

3.5朴素贝叶斯优缺点

优点:

  1. 对待预测样本进行预测,过程简单速度快
  2. 对于多分类问题也同样有效,复杂度也不会有大程度地上升。
  3. 在分布独立这个假设成立的情况下,贝叶斯的分类效果很好,会略胜于逻辑回归,我们需要的样本量也更少一点。
  4. 对于类别类的输入特征变量,效果非常好。对于数值型变量特征,我们默认它符合正态分布。

缺点:

  1. 如果测试集中的一个类别变量特征在训练集里面没有出现过,那么概率就是0,预测功能就将失效,平滑技术可以解决这个问题
  2. 朴素贝叶斯中有分布独立的假设前提,但是在现实生活中,这个条件很难满足。

3.6朴素贝叶斯的应用与代码实现

  作业:编程实现拉普拉斯修正的朴素贝叶斯分类器,并以西瓜数据集3.0为训练集,对“测1”样本进行判别。
数据集长这样:
在这里插入图片描述
代码实现:

import pandas as pd
def readfile():
datasets = pd.read_csv(r'E:\Program Files\PyCharm 2019.2\machinelearning\homework\西瓜3.0.csv', encoding="gbk")
del datasets['编号']
del datasets['好瓜']
return datasets
def NaiveBayes(test):
data = readfile()
data = data.values.tolist()
goodMelon = [];badMelon = []
for i in range(len(data)):
if data[i][8] == 1:
goodMelon.append(data[i])
else:
badMelon.append(data[i])
# 计算p(x|C1)=p1与p(x|C2)=p2
p1 = 1.0;p2 = 1.0
for j in range(len(test)):
x=0.0
for k in range(len(goodMelon)):
if goodMelon[k][j] == test[j]:
x = x + 1.0
p1 = p1 * ((x + 1.0) / (len(goodMelon) + 2.0))  # 拉普拉斯平滑
for j in range(len(test)):
x=0.0
for k in range(len(badMelon)):
if badMelon[k][j] == test[j]:
x = x + 1.0
p2 = p2 * ((x + 1.0) / (len(badMelon) + 2.0))  # 拉普拉斯平滑
pc1 = len(goodMelon) / len(data)
pc2 = 1 - pc1
#贝叶斯公式
p_good = p1*pc1;p_bad=p2*pc2
if p_good > p_bad:
print('好瓜')
else:
print('坏瓜')
if __name__ == '__main__':
test=['青绿','蜷缩','浊响','清晰','凹陷','硬滑',0.697,0.460]
NaiveBayes(test)

结果:好瓜,分类正确。
在这里插入图片描述
  欢迎大家关注我的微信公众号:KI的算法杂记,有什么问题可以直接发私信。

在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/126759.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • Flipping Game(枚举)

    Flipping Game(枚举)

  • 数据结构之队列建议收藏

    一C++标准库queue(1)成员函数(2)示例二C++实现队列

    2021年12月19日
  • Buzzcast_buzz killer

    Buzzcast_buzz killerEpisode49ofTheSitePointPodcastisnowavailable!ThisweekyourhostsareStephanSegraves(@ssegraves),BradWilliams(@williamsba),andKevinYank(@sentience).SitePointPodcast的第49集现已发布!本周…

    2022年10月15日
  • 记录一次C#使用JWT单点登录

    记录一次C#使用JWT单点登录好久没更新了,最近确实比较忙,现在弄完后,第一时间来记录一下最近学到的一些东西JWT单点登录一、简单介绍 JWT全称是JSONWebToken,是一种是目前最流行的跨域身份验证解决方案。为了网络应用环境间传递声明而执行的一种基于JSON的开发标准(RFC7519),该token被设计为紧凑且安全的,特别适用于分布式站点的单点登陆(SSO)场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息,以便于从资源服务器获取资源,该token也可直接被用于认证,也可被加.

  • 简单易懂的softmax交叉熵损失函数求导

    简单易懂的softmax交叉熵损失函数求导来写一个softmax求导的推导过程,不仅可以给自己理清思路,还可以造福大众,岂不美哉~softmax经常被添加在分类任务的神经网络中的输出层,神经网络的反向传播中关键的步骤就是求导,从这个过程也可以更深刻地理解反向传播的过程,还可以对梯度传播的问题有更多的思考。softmax函数softmax(柔性最大值)函数,一般在神经网络中,softmax可以作为分类任务的输出层。其实可…

  • idea快速查找快捷键_idea快捷键汇总

    idea快速查找快捷键_idea快捷键汇总1、Ctrl+N按名字搜索类相当于eclipse的ctrl+shift+R,输入类名可以定位到这个类文件,就像idea在其它的搜索部分的表现一样,搜索类名也能对你所要搜索的内容多个部分进行匹配,而且如果能匹配的自己写的类,优先匹配自己写的类,甚至不是自己写的类也能搜索。2、Ctrl+Shift+N按文件名搜索文件同搜索类类似,只不过可以匹配所有类型的文件了。3、Ctrl+H查看类的继承关系,例如HashMap的父类是AbstractMap,子类则有一大堆。4、Ctrl+Alt+B查看

    2022年10月21日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号