贝叶斯分类器[通俗易懂]

贝叶斯分类器[通俗易懂]实验名称:贝叶斯分类器一、实验目的和要求目的:掌握利用贝叶斯公式进行设计分类器的方法。要求:分别做出协方差相同和不同两种情况下的判别分类边界。二、实验环境、内容和方法环境:windows7,m

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

实验名称:贝叶斯分类器

 

一、实验目的和要求

目的

掌握利用贝叶斯公式进行设计分类器的方法。

 

要求

分别做出协方差相同和不同两种情况下的判别分类边界。

 

二、实验环境、内容和方法

环境:windows 7,matlab R2010a

内容:根据贝叶斯公式,给出在类条件概率密度为正态分布时具体的判别函数表达式,用此判别函数设计分类器。数据随机生成,比如生成两类样本,每个样本有两个特征,每类有若干个(比如20个)样本点,假设每类样本点服从二维正态分布,随机生成具体数据,然后估计每类的均值与协方差,在两类协方差相同的情况下求出分类边界。先验概率自己给定,比如都为0.5。如果可能,画出在两类协方差不相同的情况下的分类边界。画出图形。

 

三、实验基本原理

条件概率:

贝叶斯分类器[通俗易懂]表示事件B已经发生的前提下,事件A发生的概率,叫做事件B发生下事件A的条件概率。其基本求解公式为:贝叶斯分类器[通俗易懂]

贝叶斯定理之所以有用,是因为我们在生活中经常遇到这种情况:我们可以很容易直接得出P(A|B)P(B|A)则很难直接得出,但我们更关心P(B|A),贝叶斯定理就为我们打通从P(A|B)获得P(B|A)的道路。

下面不加证明地直接给出贝叶斯定理:

贝叶斯分类器[通俗易懂]

朴素贝叶斯分类是一种十分简单的分类算法,叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素,朴素贝叶斯的思想基础是这样的:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。朴素贝叶斯分类的正式定义如下:

1、设贝叶斯分类器[通俗易懂]为一个待分类项,而每个ax的一个特征属性。

2、有类别集合贝叶斯分类器[通俗易懂]

3、计算贝叶斯分类器[通俗易懂]

4、如果贝叶斯分类器[通俗易懂],则贝叶斯分类器[通俗易懂]

那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做:

1、找到一个已知分类的待分类项集合,这个集合叫做训练样本集。

2、统计得到在各类别下各个特征属性的条件概率估计。即贝叶斯分类器[通俗易懂]

3、如果各个特征属性是条件独立的,则根据贝叶斯定理有如下推导:

贝叶斯分类器[通俗易懂]

因为分母对于所有类别为常数,因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的,所以有:

贝叶斯分类器[通俗易懂]

根据上述分析,朴素贝叶斯分类的流程可以由下图表示(暂时不考虑验证):

贝叶斯分类器[通俗易懂]

对于具有多个特征参数的样本,其正态分布的概率密度函数可定义为

贝叶斯分类器[通俗易懂]

式中,贝叶斯分类器[通俗易懂]贝叶斯分类器[通俗易懂]维行向量,贝叶斯分类器[通俗易懂]贝叶斯分类器[通俗易懂]维行向量,贝叶斯分类器[通俗易懂]贝叶斯分类器[通俗易懂]维协方差矩阵,贝叶斯分类器[通俗易懂]贝叶斯分类器[通俗易懂]的逆矩阵,贝叶斯分类器[通俗易懂]贝叶斯分类器[通俗易懂]的行列式。

由其判决规则,如果使贝叶斯分类器[通俗易懂]对一切贝叶斯分类器[通俗易懂]成立,则将贝叶斯分类器[通俗易懂]归为贝叶斯分类器[通俗易懂]类。

我们根据假设:类别贝叶斯分类器[通俗易懂],i=1,2,……,N的类条件概率密度函数贝叶斯分类器[通俗易懂],i=1,2,……,N服从正态分布,即有贝叶斯分类器[通俗易懂]~贝叶斯分类器[通俗易懂],那么上式就可以写为

贝叶斯分类器[通俗易懂]

对上式右端取对数,可得

贝叶斯分类器[通俗易懂]

上式中的第二项与样本所属类别无关,将其从判别函数中消去,不会改变分类结果。则判别函数贝叶斯分类器[通俗易懂]可简化为以下形式

贝叶斯分类器[通俗易懂]

 

四、实验过程描述

 

1.产生第一类数据:

x1是第一类数据,x2 是第二类数据,每一列代表一个样本(两个特征)

x1(1,:) = normrnd(14,4,1,20); x1(2,:) = normrnd(20,4,1,20);

x2(1,:) = normrnd(16,4,1,20); x2(2,:) = normrnd(10,4,1,20);

2.均值的估计为贝叶斯分类器[通俗易懂]

协方差的估计为贝叶斯分类器[通俗易懂]

两类协方差相同的情况下的分类边界为:

贝叶斯分类器[通俗易懂]贝叶斯分类器[通俗易懂]

贝叶斯分类器[通俗易懂]

两类协方差不相同的情况下的判别函数为:

贝叶斯分类器[通俗易懂]

 

五、实验结果

 

协方差相同的情况下,判别分类边界其实就是线性分类器产生的边界。在协方差不同的情况下的二次线性分类边界有时会出现奇怪的形状。

贝叶斯分类器[通俗易懂]

 

六、附录代码

%main.m

 

clear;clc;

randseed;

x1(1,:) = normrnd(12,4,1,20);%生成高斯分布的随机序列

x1(2,:) = normrnd(20,4,1,20);%均值,标准差,m×n随机向量

 

plot(x1(1,:),x1(2,:),’ro’,…

‘LineWidth’,1,…

‘MarkerEdgeColor’,’k’,…

‘MarkerFaceColor’,[1 0 0],…

‘MarkerSize’,7)

x2(1,:) = normrnd(18,4,1,20);

x2(2,:) = normrnd(10,4,1,20);

pw1=0.5;

pw2=0.5;

hold on; %新画图像之后不覆盖原图

plot(x2(1,:),x2(2,:),’bo’,…

‘LineWidth’,1,…

‘MarkerEdgeColor’,’k’,…

‘MarkerFaceColor’,[0 0 0.5],…

‘MarkerSize’,7)

u1 = sum(x1,2)/20;

u2 = sum(x2,2)/20;

x1count = size(x1,2);

x1t = x1-kron(u1,ones(1,x1count));

S1t = x1t * x1t’ / x1count;

 

x2count = size(x2,2);

x2t = x2-kron(u2,ones(1,x2count));

S2t = x2t * x2t’ / x2count;

 

St = (S1t+S2t)/2;

w = St^(-1) * (u1-u2);

% Y= inv(X) returns the inverse of the square matrix X矩阵求逆

x0 = (u1+u2)/2 – log(pw1/pw2)/((u1-u2)’*inv(St)*(u1-u2)) *(u1-u2);

k=-w(1)/w(2);

b = x0(2)-k*x0(1);

x=[5,23];

plot(x,k*x+b,’g-.’,’LineWidth’,3);

S1tinv = inv(S1t);

S2tinv = inv(S2t);

W1=-1/2 * S1tinv;

W2=-1/2 * S2tinv;

w1=S1tinv*u1;

w2=S2tinv*u2;

%d = det(X) returns the determinant of the square matrix X.矩阵行列式

w10=-1/2 * u1’*S1tinv*u1 – 1/2 *log(det(S1t)) + log(pw1);

w20=-1/2 * u2’*S2tinv*u2 – 1/2 *log(det(S2t)) + log(pw2);

t2=[]

for t1=1:23

%Solve system of nonlinear equations求解非线性方程组

tt2 = fsolve(‘bayesian_fun’,5,[],t1,W1,W2,w1,w2,w10,w20);

t2=[t2,tt2];

end

plot(1:23,t2,’b’,’LineWidth’,3);

 

 

% f=bayesian_fun.m

function f=bayesian_fun(t2,t1,W1,W2,w1,w2,w10,w20)

x=[t1,t2]’;

f=x’*W1*x+w1’*x+w10 – (x’*W2*x+w2’*x+w20);

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/166899.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • SpringCloud之服务网关Gateway[通俗易懂]

    SpringCloud之服务网关Gateway[通俗易懂]前言SpringCloud是微服务中的翘楚,最佳的落地方案。SpringCloudGateway是SpringCloud新推出的网关框架,之前是NetflixZuul。网关通常在项目中为了简化前端的调用逻辑,同时也简化内部服务之间互相调用的复杂度;具体作用就是转发服务,接收并转发所有内外部的客户端调用;其他常见的功能还有权限认证,限流控制等等。…

  • 单元测试用例概述

    单元测试用例概述测试的覆盖种类       1.语句覆盖:语句覆盖就是设计若干个测试用例,运行被测试程序,使得每一条可执行语句至少执行一次。       2.判定覆盖(也叫分支覆盖):设计若干个测试用例,运行所测程序,使程序中每个判断的取真分支和取假分支至少执行一次。       3.条件覆盖:设计足够的测试用例,运行所测程序,使程序中每个判断的每个条件的每个可能取值至少执行一次。       4.判定—

  • 讲二重、三重缓冲的「建议收藏」

    讲二重、三重缓冲的「建议收藏」https://www.anandtech.com/show/2794

  • typescript类型定义_typescript数据类型

    typescript类型定义_typescript数据类型基础类型TypeScript支持与JavaScript几乎相同的数据类型,此外还提供了实用的枚举类型方便我们使用。布尔值最基本的数据类型就是简单的true/false值,在JavaScri

  • Java获取当前年月日、时间[通俗易懂]

    Java获取当前年月日、时间[通俗易懂]两种方法,通过Date类或者通过Calendar类。Date类比较简单,但是要得到细致的字段的话Calendar类比较方便。importjava.text.DateFormat;importjava.text.SimpleDateFormat;importjava.util.Calendar;importjava.util.Date;importjava.util.L

    2022年10月21日
  • SQL Server如何备份数据库?完整数据库备份方式

    SQL Server如何备份数据库?完整数据库备份方式第一次写博客嘿嘿,喜欢或是觉得对您有帮助,请帮忙给我点个赞哦!您的认可就是对我最大的支持~蟹蟹

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号