深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]mAP评估

大家好,又见面了,我是你们的朋友全栈君。

基本概念

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

P-R曲线中,P为图中precision,即精准度,R为图中recall,即召回率。

Example

下面通过具体例子说明。

首先用训练好的模型得到所有测试样本的confidence  score,每一类(如car)的confidence   score保存到一个文件中(如comp1_cls_test_car.txt)。假设共有20个测试样本,每个的id,confidence  score和ground  truth  label如下:​​

ground  truth  label通过预测的bbox与ground  truth的iou确定为正样本或负样本。

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

接下来对confidence  score排序,得到:

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

P-R曲线:

我们得到top-5的结果,前score最高的前5个样本,预测label为1,即:

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

此例中采用top-5评估,也可采用其他评估,如AP50,即当预测框与真实框的IoU值大于这个阈值时,该预测框才被认定为真阳性(True Positive, TP),反之就是假阳性(False Positive,FP)。

在这个例子中,true   positives就是指第4和第2张图片,false   positives就是指第13,19,6张图片。是相对于方框内的元素而言,在这个例子中,confidence   score排在top-5之外的元素为false   negatives和true  negatives,即:

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

其中,false   negatives是指第9,16,7,20张图片,true   negatives是指第1,18,5,15,10,17,12,14,8,11,3张图片。

那么,这个例子中Precision=2/5=40%,意思是对于car这一类别,我们选定了5个样本,其中正确的有2个,即准确率为40%;Recall=2/6=30%,意思是在所有测试样本中,共有6个car,但是因为我们只召回了2个,所以召回率为30%。此时为下图中第5个样本点。同理图中第一个样本点:P=1,R=1/6,第二个样本点,考虑前两个样本,P=1,R=2/6=1/3。。。

这个例子的precision-recall曲线如下:

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

实际多类别分类任务中,我们通常不满足只通过top-5来衡量一个模型的好坏,而是需要知道从top-1到top-N(N是所有测试样本个数,本文中为20)对应的precision和recall。显然随着我们选定的样本越来也多,recall一定会越来越高,而precision整体上会呈下降趋势。把recall当成横坐标,precision当成纵坐标,即可得到常用的precision-recall曲线。

AP计算:

接下来说说AP的计算,此处参考的是PASCAL  VOC  CHALLENGE的2010年之前计算方法。首先设定一组阈值,[0, 0.1, 0.2, …, 1]。然后对于recall大于每一个阈值(比如recall>0.3),我们都会得到一个对应的最大precision。这样,我们就计算出了11个precision。AP即为这11个precision的平均值。这种方法英文叫做11-point interpolated average precision。​

当然PASCAL VOC CHALLENGE自2010年后就换了另一种计算方法。新的计算方法假设这N个样本中有M个正例,那么我们会得到M个recall值(1/M, 2/M, …, M/M),对于每个recall值r,我们可以计算出对应(r’ >= r)的最大precision,然后对这M个precision值取平均即得到最后的AP值。计算方法如下:​

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

相应的Precision-Recall曲线(这条曲线是单调递减的)如下:​

深度学习-目标检测评估指标P-R曲线、AP、mAP[通俗易懂]

AP衡量的是学出来的模型在每个类别上的好坏,mAP衡量的是学出的模型在所有类别上的好坏,得到AP后mAP的计算就变得很简单了,就是取所有AP的平均值。

参考:https://blog.csdn.net/zdh2010xyz/article/details/54293298

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/148106.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • rstudio安装后打不开_r语言和rstudio的安装

    rstudio安装后打不开_r语言和rstudio的安装1、r语言的下载地址TheComprehensiveRArchiveNetwork​cran.r-project.org2、安装:按着提醒直接下一步,路径不用改,默认的就可以,但是不可以出现中文,64位系统就全选,32位系统不能选64位系统,一个是32位一个是64位。3、下载RStudio安装包RStudio​www.rstudio.com免费的4、安装rstudio跟着提醒点击下一步,安…

  • Android Studio中Intel HAXM的那些坑「建议收藏」

    Android Studio中Intel HAXM的那些坑「建议收藏」最近用过两台电脑折腾AndroidStudio,都是windows的系统,不知道为什么连着踩了两个坑。第一台我结束了qemu-system-i386.exe这个倒霉的进程导致我开启模拟器的时候一直提示我没有安装IntelHAXM,没办法咯,只好再安装一遍,然后奇葩的事情就发生了,出现了以下问题。Excuseme?我CPU虚拟化是开启的呀。这是什么鬼?安装了一次,不…

  • ROC曲线理解

    ROC曲线理解ROC(receiveroperatorcharacteristiccurve,ROC)曲线:即受试者工作特征曲线,是反映敏感度和特异度连续变量的综合指标,用作图法展示两度之间的关系。作图方法:在相关临床研究报告中,若有一个ROC曲线图,将会给人深刻印象,具体做法是:实验结果为计量资料即连续变量,至少计算5个临界点的指标,以敏感度(真阳性率)为Y轴,1-特异度(假阳性率)为X轴,将各点连成…

  • 基于知识图谱的知识推理

    基于知识图谱的知识推理这基于知识图谱的知识推理基本概念、定义推理方法分为三类:知识图推理的相关应用基于规则的推理基于表示学习的推理基于神经网络和强化学习的推理基本概念、定义人工智能算法必须具有推理能力,推理过程必须依赖于知识工程时代的先验知识和经验,大量知识图(KGs),如YAGO(Suchanek,Kasnki,2008),WordNet(Miller,1995),Freebase(Bollacker,Evans、Paritosh、Sturge和Taylor,2008)已经开发。KGs包含大量的先验知识,同时也能有效地组织

  • IPV6 DNS服务器地址列表

    IPV6 DNS服务器地址列表教育网DNS服务器:北京邮电大学DNS服务器2001:da8:202:10::362001:da8:202:10::37北京科技大学DNS服务器2001:da8:208:10::6加入”GoogleOverIPv6”计划的DNS:HurricaneElectricDNSordns.he.net

  • 视频直播基础技术总结1

    视频直播基础技术总结1-视频直播基础技术总结11.视频直播**视频直播的5个关键的流程:录制->编码->网络传输->解码->播放视频直播平台一般包括推流端,后台系统和客户端。通常包括直播内容采集、直播后台系统和直播内容播放三个模块。1)内容采集:采集的方式有很多,从一般几十块PC摄像头到几十万的专业录制编码设备,还有移动端的手机前后置摄像头;分布式推

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号