论文DepthTrack: Unveiling the Power of RGBD Tracking阅读及代码讲解[通俗易懂]

论文DepthTrack: Unveiling the Power of RGBD Tracking阅读及代码讲解[通俗易懂]最近终于有了一篇的顶会像样的RGBDtracking的论文了:ICCV2021:DepthTrack:UnveilingthePowerofRGBDTrackingGithub:https://github.com/xiaozai/DeT数据集简介这边看完就随手记录一下关键的部分:主要是创建了个大规模的RGBDtrackingbenchmark:DepthTrack(有数据集之后才能促进算法的研究),当然随之也搞了个baselinetracker—DeT,这也是现在搞d

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

最近终于有了一篇的顶会像样的RGBD tracking的论文了:
ICCV2021: DepthTrack: Unveiling the Power of RGBD Tracking
Github: https://github.com/xiaozai/DeT

数据集简介

这边看完就随手记录一下关键的部分:主要是创建了个大规模的RGBD tracking benchmark: DepthTrack (有数据集之后才能促进算法的研究),当然随之也搞了个baseline tracker—DeT, 这也是现在搞dataset contribution的基本套路。
在这里插入图片描述
新创建的数据集DepthTrack比以往的RGBD Tracking的数据集具有以下的特点:

  1. 序列数较多: 训练和测试训练分别有150和50个(github上提供了修改后的151个训练序列),训练集有218,201帧,测试集有76,390帧
  2. 场景有40个,目标有90个,数据多样性方面显得更加丰富了,采自intel realsense415,自动模态同步,分辨率为640×360, 30fps
  3. DepthTrack视频平均帧数为1473,可以看做是一个长时的跟踪数据集(因为短时的RGB tracker现在已经基本解决了,特别是最近出现的transformer-based的已经到达RGB的天花板了。所以新出的RGBD不能太简单,否则直接用RGB信息就刷爆了;再者评价指标用的也是和VOT LT一样的P-R曲线和F-Score)
  4. 该数据集的测试集曾作为VOT2021 RGBD的隐藏集来选出最终该赛道的冠军

数据集为了对RGB Tracker更具有挑战性,也为了突出Depth信息真的有助于RGBD Tracker的学习,部分序列会针对RGB Tracker中还存在的几方面的属性进行收集。比如黑暗场景,目标和背景颜色纹理相似,形变物体,相似物体。确实,这才是多模态数据提出来更主要的意义。(据我了解,轻微的遮挡对于transformer-based 的RGB Tracker已经不是太大问题了)

baseline性能

先放几张VOT RGBD2021的结果图,上边的是在公开集CDTB上测出来的,下面是选出在公开集上的前三名和组委会自己选的几个往年好的tracker在隐藏集上(也就是现在的DepthTrack的测试集)的性能,这里面的算法多半只是把depth信息当做一个sidekick,但是会用很多个tracker一起融合出结果,比较sophisticated
在这里插入图片描述
然后是论文里面的baseline DeT的性能:
主要看Sequence-based的评测就好了,这个是和上面用的一样的方法。但是还是有点尴尬,似乎不及上面的冠军,也只能排个第二,但是毕竟人家只是一个simple baseline,还有发挥的空间。
在这里插入图片描述

DeT代码

先放几张框架图
在这里插入图片描述
在这里插入图片描述
具体代码和原初ATOM和DIMP代码是差不多的。就是增加了对depth image的backbone特征提取,在代码用的color image和rgb image合并成一个6通道的输入到backbone里面,然后merge两个模态下的reference和test特征,具体就是max或者mean或者mul,这几个操作都是element-wise的,所以得到的tensor就是和原初ATOM和DIMP的是一样的,所以送入后面进行iou预测过程就都一样了,整体改动是比较容易的。基本还是延续了benckmark+baseline=paper的模式,说明还是有很大提升空间的。具体请看ltr/models/bbreg/atom.py文件即可清楚

DepthTrack的test评估

说到这个的评估,不得不说到CDTB(也就是VOT RGBD2019和VOT RGBD2020的公开集,当时也没有隐藏集,所以冠军也是通过在其上评估排名得到的),像RGBD都是one pass evaluation的(也就是rgbd-unsupervised),所以可以先跑完再用toolkit进行评估。
我评估出来和论文里面的值是一模一样的:
在这里插入图片描述
我自己跑出来的结果:
在这里插入图片描述

评估很简单,只要做好下面几方面:

  • 下载好CDTB数据集(不会下的可以去看我的这篇博客,把它放在你创建的workspace下的sequences文件夹里面,或者直接去这里面获取下载链接)
  • 从上面的github里面获得在CDTB上的结果,把它放在你创建的workspace下的results文件夹里下
  • 编写trackers.ini,内容如下(command任意不用管):
    [DeT_ATOM_MC]  # <tracker-name>
    protocol = traxpython
    command = jjjjj
    [DeT_ATOM_Max]  # <tracker-name>
    protocol = traxpython
    command = jjjjj
    [DeT_ATOM_Mean]  # <tracker-name>
    protocol = traxpython
    command = jjjjj
    [DeT_DiMP50_DO]  # <tracker-name>
    protocol = traxpython
    command = jjjjj
    [DeT_DiMP50_MC]  # <tracker-name>
    protocol = traxpython
    command = jjjjj
    [DeT_DiMP50_Max]  # <tracker-name>
    protocol = traxpython
    command = jjjjj
    [DeT_DiMP50_Mean]  # <tracker-name>
    protocol = traxpython
    command = jjjjj
    [DiMP50]  # <tracker-name>
    protocol = traxpython
    command = jjjjj
    

    然后运行vot analysis --workspace <your_workspace_dir> DeT_ATOM_MC DeT_ATOM_Max DeT_ATOM_Mean DeT_DiMP50_DO DeT_DiMP50_MC DeT_DiMP50_Max DeT_DiMP50_Mean DiMP50 --format html,就可以出结果了。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/194043.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • gtest参数化_gopro三折杆教程

    gtest参数化_gopro三折杆教程1前言使用gtest编写的测试案例通常本身就是一个可执行文件,因此运行起来非常方便。同时,gtest也为我们提供了一系列的运行参数(环境变量、命令行参数或代码里指定),使得我们可以对案例的执行进行一些有效的控制。2 基本介绍前面提到,对于运行参数,gtest提供了三种设置的途径:系统环境变量命令行参数代码中指定FLAG因为提供了三种途径,就会有优先级的问题,有一个原则是,最后…

  • 分布式系统的CAP原理及其应用

    分布式系统的CAP原理及其应用什么是分布式系统的CAP原理    在分布式系统中,一致性(C)指每一次读都得到最近的写数据,或者一个异常;可用性(A)指每一个请求都得到一个非异常的响应,而不保证取得最近的写数据;分区容错性(P)是指结点间网络异常时,系统仍然可以继续运行。原理指出,一个分布式系统最多只能提供CAP中的两个保障。  值得注意的是,CAP原理指的是在分区发生时,只能在保证一致性或可用性中二选其一。而非因为分区不…

  • 我自己实际操作安装MyCat水平分割之分片枚举和取模算法(二)

    我自己实际操作安装MyCat水平分割之分片枚举和取模算法(二)

  • 企业网站seo维护_seo怎么才能优化好

    企业网站seo维护_seo怎么才能优化好  一般说来,URL中包含关键词对网站优化确实会有所帮助。不过从品牌效果考虑,用品牌名称做域名应该是比较合适的。不要走急功近利误区。独立域名更能获得搜索引擎的认可。调查显示:大多数搜索引擎排名时对那些不具备独立域名的网站赋予较小的“重要性”。      网站优化的目的是用合理的手段(不是作弊),对网站源代码进行优化,使之对搜索引擎更友好,更符合排名规则一个站点的排名70%是靠网站优化

  • Centos7监控服务异常发送邮件通知

    Centos7监控服务异常发送邮件通知

  • Java中Scanner的用法:单行/多行输入

    Java中Scanner的用法:单行/多行输入Java的Scanner用法,主要用于算法笔试时的控制台输入问题:解决这种情况下的Scanner输入:单行,多行,数值,字符串最好解决的情况单行输入多个字符串多行输入多个字符串问题:解决这种情况下的Scanner输入:单行,多行,数值,字符串平时写程序一般不用Scanner,线上笔试的时候,各大公司热衷于Scanner输入。平时用LeetCode刷题也不会用到,结果多次在笔试时候卡在Scan……

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号