3DCNN论文阅读

3DCNN论文阅读3DCNN应用范围:视频动作识别、医疗图像诊断、高光谱图像(HSI)分类等

大家好,又见面了,我是你们的朋友全栈君。

3DCNN应用范围:视频分类和动作识别、医疗图像诊断、高光谱图像(HSI)分类等

1. 视频分类和动作识别

1.1《Learning Spatiotemporal Features with 3D Convolutional Networks》

2015年CVPR

这篇论文应该是3DCNN的鼻祖,对于视频数据来说,作者认为3D ConvNet非常适合于时空特征学习,这里也就是视频分析任务上。
摘要:
我们提出了一种简单而有效的时空特征学习方法,该方法使用在大规模有监督视频数据集上训练的深层三维卷积网络(3D ConvNets)。我们的发现有三个方面:1)与2D ConvNet相比,3D ConvNet更适合时空特征学习;2)具有小的3×3×3卷积核的同质结构是3D ConvNet中性能最好的结构之一;3)我们学习的特征,即C3D(卷积3D),在4个不同的基准上优于最先进的方法,并在其他2个基准上与当前最好的方法相媲美。此外,特征紧凑:在只有10维的UCF101数据集上达到了52.8%的准确率,而且由于ConvNets的快速推理,计算效率也很高。最后,它们在概念上非常简单,易于培训和使用。

3D卷积与2D卷积的区别:
在这里插入图片描述
对于视频分析任务而言,3D卷积核与2D卷积核相比,其多了时间维度的卷积:
2DCNN的卷积核大小是[C,W,H],
3DCNN的卷积核大小是[T,C,W,H],
C是卷积核通道数,W是卷积核的宽,H是卷积核的高,T是时间长度。
在这里插入图片描述上图来源

C3D的网络结构:
在这里插入图片描述

C3D的不足之处:
输入图像分辨率较低,该网络结构较浅,参数数量过多。

1.2 《A novel micro-expression detection algorithm based on BERT and 3DCNN》

中科院三区:Image and Vision Computing
这篇是用在微表情检测上的。
在这里插入图片描述

1.3 《Hand Gesture Recognition for Sign Language Using 3DCNN》

中科院三区:IEEE Access

摘要:
最近,由于两个主要原因,自动手势识别变得越来越重要:聋人和听力受损人口的增长,以及基于视觉的应用程序和无处不在的设备上的非接触式控制的发展。由于手势识别是手语分析的核心,因此强大的手势识别系统应同时考虑空间和时间特征。不幸的是,为手势序列找到有区别的时空描述符并不是一项简单的任务。在这项研究中,我们提出了一种有效的深度卷积神经网络方法来进行手势识别。所提出的方法采用迁移学习来克服大型标记手势数据集的稀缺性。我们使用来自彩色视频的三个手势数据集对其进行了评估:这些数据集中使用了 40、23 和 10 个类别。对于签名者依赖模式,该方法在三个数据集上分别获得了 98.12%、100% 和 76.67% 的识别率。对于签名者无关模式,它在三个数据集上分别获得了 84.38%、34.9% 和 70% 的识别率。

单个基于 3DCNN 的结构:
在这里插入图片描述
输入是16张图片。

融合并行3DCNN结构:

在这里插入图片描述
输入是32张图片,分成了前16张,中间的16张,和最后的16张输入并行3DCNN结构中,最后全连接层融合,这里相邻的输入图像有50%的重叠。

2. 医疗图像诊断

2.1《3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation》

3D U-Net原理与U-Net差不多,就是2D卷积核变成了3D卷积核。U-Net主要就是用来做医疗图像分割的。

U-Net和3D U-Net如下图:

在这里插入图片描述

在这里插入图片描述

3. 高光谱图像分类

3.1 《Multiscale Feature Fusion Network Incorporating 3D Self-Attention for Hyperspectral Image Classification》

中科院二区:remote sensing

摘要:
近年来,基于深度学习的高光谱图像(HSI)分类方法取得了巨大成功,卷积神经网络(CNN)方法在HSI分类任务中取得了良好的分类性能。然而,卷积操作仅适用于局部邻域,并且在提取局部特征方面是有效的。长距离的交互特征难以捕捉,在一定程度上影响了分类的准确性。同时,来自 HSI的数据具有三维、冗余和噪声的特点。 为了解决这些问题,我们提出了一种集成了 3D 多头自注意力的 3D自注意力多尺度特征融合网络(3DSA-MFN)。 3DSA-MFN首先使用不同大小的卷积核提取多尺度特征,对特征图的不同粒度进行采样,有效融合特征图的空间和光谱特征。然后,我们提出了一种改进的 3D 多头自注意力机制,为自注意力分支提供局部特征细节,并充分利用输入矩阵的上下文。为了验证所提出方法的性能,我们将其与三个公共数据集上的六种当前方法进行了比较。实验结果表明,所提出的3DSA-MFN实现了有竞争力的分类并突出了HSI分类任务。
在这里插入图片描述
3DSA-MFN 网络框架。该方法通过降维和窗口裁剪对原始数据进行预处理,然后将处理后的数据发送到多尺度特征融合、3DCOV_attention等模块进行特征提取,最后在多个全连接层上输出分类结果。

3.2 《Multiple Spectral Resolution 3D Convolutional Neural Network for Hyperspectral Image Classification》

中科院二区:remote sensing

摘要:
近年来,得益于深度学习技术在计算机视觉领域的快速发展,高光谱图像(HSI)分类的研究也取得了长足的进步。但是,与普通的 RGB 图像相比,HSI 更像是 3D 立方体;因此,探索适合 HSI 非常特殊的数据结构的分类方法是必要和有益的。在本文中,我们提出了用于 HSI 分类任务的多光谱分辨率 3D 卷积神经网络 (MSR-3DCNN)。在MSR-3DCNN中,我们将多尺度特征融合和空洞卷积的思想从空间维度扩展到光谱维度,将3D卷积和残差连接结合起来;因此,它可以更好地适应高光谱数据的3D立方形式,并有效利用不同波段的光谱信息。四个基准数据集的实验结果表明,与一些最先进的 (SOTA) HSI 分类方法相比,该方法的有效性及其优越性。
在这里插入图片描述

在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/136461.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • Java免费的开发工具有哪些?分享这15个!

    Java免费的开发工具有哪些?分享这15个!随着Java行业需求增加,Java工程师岗位薪资节节升高,很多小伙伴想要通过快速的方式掌握Java技能。对于初学Java的小伙伴来说了解一些免费的Java开发工具让我们工作、学习更顺畅,那么免费Java开发工具有哪些?针对这点我汇总了一些,可供参考。1、Java免费开发工具:JDK(Java开发工具包)如果你打算用Java开发一些小程序和应用程序,那么首先得给自己准备一个类似于JDK的工具,…

  • 查询接口调用成功,但未查询到数据_dde怎么看

    查询接口调用成功,但未查询到数据_dde怎么看DTU轮询采集指令YeeCOMDTU提供了22组周期串口轮询,1组定时串口查询功能,根据配置规则自动输出串口指令,可实现自动采集外设数据并上报服务器,替代服务器的轮询,减小服务器开销。注1:第1组串口轮询最多可配置6条,单条最大长度28;第2组串口轮询最多可配置4条;单条最大长度28;1组固定时间,最多可以配置5条;单条最大长度20;如还不够或特殊需求可以由服务器下发指令或定制DTU版本。注2:轮询指令可灵活配置,常见

    2022年10月14日
  • C语言的printf输出格式

    C语言的printf输出格式1、控制小数点后有多少位:printf(“%.10lf\n”,f_a); //将浮点数f_a输出时,输出其小数点后10位,默认是输出小数点后6位。2、控制一共(小数点前后以及小数点)输出多少位:printf(“%10.7f\n”,f_b); //将浮点数f_b输出时,输出其小数点前2位,小数点后7位(加上小数点共10位)。3、输出时让正数带”+”号,负数带”-“号:printf(“%+f\

  • LARS(最小角回归)

    LARS(最小角回归)优缺点LARS是一个适用于高维数据的回归算法。优点: 特别适合于特征维度n远高于样本数m的情况。 算法的最坏计算复杂度和最小二乘法类似,但是其计算速度几乎和前向选择算法一样 可以产生分段线性结果的完整路径,这在模型的交叉验证中极为有用 缺点:由于LARS的迭代方向是根据目标的残差而定,所以该算法对样本的噪声极为敏感。…

  • win10快捷图标小箭头怎么恢复_win10恢复快捷方式小箭头

    win10快捷图标小箭头怎么恢复_win10恢复快捷方式小箭头regadd”HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\ShellIcons”/v29/d”%systemroot%\system32\imageres.dll,197″/treg_sz/f  taskkill/f/imexplorer.exe  attrib-s…

    2022年10月18日
  • 2021.7goland激活码【2021.7最新】

    (2021.7goland激活码)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号