机器学习 F1-Score, recall, precision

机器学习 F1-Score, recall, precision在机器学习,模式识别中,我们做分类的时候,会用到一些指标来评判算法的优劣,最常用的就是识别率,简单来说,就是acc=Npre/Ntotalacc=N_{pre}/N_{total}这里的NpreN_{pre}表示预测对的样本数,NtotalN_{total}表示测试集总的样本数。识别率有的时候过于简单,不能全面反应算法的性能,除了识别率,还有一些常用的指标,就是我们要介绍的

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

在机器学习,模式识别中,我们做分类的时候,会用到一些指标来评判算法的优劣,最常用的就是识别率,简单来说,就是
A c c = N p r e / N t o t a l Acc=N_{pre}/N_{total} Acc=Npre/Ntotal
这里的 N p r e N_{pre} Npre表示预测对的样本数, N t o t a l N_{total} Ntotal表示测试集总的样本数。

识别率有的时候过于简单, 不能全面反应算法的性能,除了识别率,还有一些常用的指标,就是我们要介绍的
F1-score, recall, precision.

在介绍这些概念之前,我们先来看一个二分类的问题,给定一组训练集:
D = { ( x i , y i ) ∣ x i ∈ R n , y i ∈ { 0 , 1 } } i = 1 N D=\{ (x_{i}, y_{i}) | x_{i} \in R^{n}, y_{i} \in \{0, 1\} \}_{i=1}^{N} D={
(xi,yi)xi
Rn,yi{
0,1}}i=1N

这里假定 y i = 1 y_{i}=1 yi=1 对应正样本, y i = 0 y_{i}=0 yi=0 对应负样本。假设我们建立了一个分类模型 H H H, 对每一个输入的样本 x i x_{i} xi 会输出一个预测值 H ( x i ) H(x_{i}) H(xi), 那么将预测值 H ( x i ) H(x_{i}) H(xi) 与样本对应的实际值 y i y_{i} yi做比较,会得到以下四种情况:

H ( x i ) = 1 , y i = 1 H(x_{i})=1, y_{i}=1 H(xi)=1,yi=1
H ( x i ) = 1 , y i = 0 H(x_{i})=1, y_{i}=0 H(xi)=1,yi=0
H ( x i ) = 0 , y i = 1 H(x_{i})=0, y_{i}=1 H(xi)=0,yi=1
$H(x_{i})=0, y_{i}=0 $

第一种情况,预测为正,实际也为正,我们称为 true positive (TP),第二种情况,预测为正,实际为负,我们称为 false positive (FP),第三种情况,预测为负,实际为正,称为false negative (FN),最后一种情况,预测为负,实际也为负,称为 true negative (TN),每一个样本只可能属于这四种情况中的某一种,不会有其它的可能。
很显然,给定一个测试集,我们可以得到如下的关系:
N p r e = T P + T N N_{pre}=TP+TN Npre=TP+TN
N t o t a l = T P + T N + F P + F N N_{total}=TP+TN+FP+FN Ntotal=TP+TN+FP+FN
如果我们定义一个测试集中,正样本个数为 P P P, 负样本个数为 N N N, 那么我们可以知道: P = T P + F N P=TP+FN P=TP+FN, N = T N + F P N=TN+FP N=TN+FP
所以,我们常用的识别率 a c c acc acc 其实就等于
A c c = T P + T N T P + T N + F P + F N = T P + T N P + N Acc=\frac{TP+TN}{TP+TN+FP+FN}=\frac{TP+TN}{P+N} Acc=TP+TN+FP+FNTP+TN=P+NTP+TN
进一步,我们可以定义 recall ,precision, F1-score 如下所示:
R e c a l l = T P T P + F N = T P P Recall=\frac{TP}{TP+FN}= \frac{TP}{P} Recall=TP+FNTP=PTP
P r e c i s i o n = T P T P + F P Precision=\frac{TP}{TP+FP} Precision=TP+FPTP
F 1 = 2 T P 2 T P + F N + F P = 2 ⋅ P r e c i s i o n ⋅ R e c a l l P r e c i s i o n + R e c a l l F1=\frac{2TP}{2TP+FN+FP}=\frac{2 \cdot Precision \cdot Recall}{Precision+Recall} F1=2TP+FN+FP2TP=Precision+Recall2PrecisionRecall

可以看到,recall 体现了分类模型 H H H对正样本的识别能力,recall 越高,说明模型对正样本的识别能力越强,precision 体现了模型对负样本的区分能力,precision越高,说明模型对负样本的区分能力越强。F1-score 是两者的综合。F1-score 越高,说明分类模型越稳健。

比如我们常见的雷达预警系统,我们需要对雷达信号进行分析,判断这个信号是飞行器(正样本)还是噪声 (负样本), 很显然,我们希望系统既能准确的捕捉到飞行器信号,也可以有效地区分噪声信号。所以就要同时权衡recall 和 precision这两个指标,如果我们把所有信号都判断为飞行器,那 recall 可以达到1,但是precision将会变得很低(假设两种信号的样本数接近),可能就在 0.5 左右,那F1-score 也不会很高。

有的时候,我们对recall 与 precision 赋予不同的权重,表示对分类模型的偏好:

F β = ( 1 + β 2 ) T P ( 1 + β 2 ) T P + β 2 F N + F P = ( 1 + β 2 ) ⋅ P r e c i s i o n ⋅ R e c a l l β 2 ⋅ P r e c i s i o n + R e c a l l F_{\beta}=\frac{(1+\beta^{2})TP}{(1+\beta^{2})TP+\beta^{2}FN+FP}=\frac{(1+\beta^{2}) \cdot Precision \cdot Recall}{\beta^{2} \cdot Precision+Recall} Fβ=(1+β2)TP+β2FN+FP(1+β2)TP=β2Precision+Recall(1+β2)PrecisionRecall

可以看到,当 β = 1 \beta=1 β=1,那么 F β F_{\beta} Fβ就退回到 F 1 F1 F1了, β \beta β 其实反映了模型分类能力的偏好, β > 1 \beta>1 β>1 的时候,precision的权重更大,为了提高 F β F_{\beta} Fβ,我们希望precision 越小,而recall 应该越大,说明模型更偏好于提升recall,意味着模型更看重对正样本的识别能力; 而 β < 1 \beta<1 β<1 的时候,recall 的权重更大,因此,我们希望recall越小,而precision越大,模型更偏好于提升precision,意味着模型更看重对负样本的区分能力。

参考来源:
https://en.wikipedia.org/wiki/Receiver_operating_characteristic
https://en.wikipedia.org/wiki/F1_score

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/183272.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 微信小程序带参数跳转页面(小程序跳转第三方网页)

    //wxml&lt;textwx:for="{{titles}}"wx:key="{{index}}"bindtap=’changeClassify’data-id="{{index}}"&gt;{{item.name}}&lt;/text&gt;//jsfunctionchangeClassify(e){//letid=e.currentTarget.da…

  • spring中过滤器和拦截器_springboot拦截器顺序

    spring中过滤器和拦截器_springboot拦截器顺序拦截器与过滤器的区别:1、过滤器和拦截器触发时机不一样,过滤器是在请求进入容器后,但请求进入servlet之前进行预处理的。请求结束返回也是,是在servlet处理完后,返回给前端之前。如下图:2、拦截器可以获取IOC容器中的各个bean,而过滤器就不行,因为拦截器是spring提供并管理的,spring的功能可以被拦截器使用,在拦截器里注入一个service,可以调用业务逻辑…

  • html css制作404页面,一款纯css3实现的漂亮的404页面

    html css制作404页面,一款纯css3实现的漂亮的404页面实现的代码。html代码:404ERRORLost?MaybeIcanhelp.required/>SearchMySuggestions.HomePortfoliocss3代码:body{background-color:#0A7189;color:#fff;font:100%”Lato”,sans-serif;font-size:1.8r…

  • 如何求原根_求模47的所有原根

    如何求原根_求模47的所有原根说这种最好就是举个例子比如说求81的所有原根 先说欧拉函数通式:通式:φ(x)=x(1-1/p1)(1-1/p2)(1-1/p3)(1-1/p4)…..(1-1/pn),其中p1,p2……pn为x的所有质因数,x是不为0的整数。φ(1)=1(唯一和1互质的数(小于等于1)就是1本身)。(注意:每种质因数只一个。比如12=2*2*3那么φ(12)=12*(1-1/2)*(1-1/…

    2022年10月28日
  • linux+tar怎样解压zip文件内容,linux tar压缩解压文件[通俗易懂]

    linux+tar怎样解压zip文件内容,linux tar压缩解压文件[通俗易懂]时间:2016-08-30作者:admin阅读:次-c:建立压缩档案-x:解压-t:查看内容-r:向压缩归档文件末尾追加文件-u:更新原压缩包中的文件这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。下面的参数-f是必须的-f:使用档案名字,切记,这个参数是最后一个参数,后面只能接档案名。#tar-cf…

  • 各种常用不等式汇总「建议收藏」

    各种常用不等式汇总「建议收藏」对数学中常用的不等式进行了汇总,目前只有结论,没有证明

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号