3D点云实例分割_3d点云标注软件

3D点云实例分割_3d点云标注软件3D点云实例分割3D语义分割区分场景中各类对象,3D实例分割区分场景中各类别中的各种个体。近两年来,3D实例分割的关注度越来越高,相应的方法也被接连提出。众多方法的思想主要分为两类:基于候选区域的实例分割(proposal-based)和免候选区域的实例分割(proposal-free)。其中,proposal-based先获取场景中的感兴趣的候选区域,如:3Dboundingboxes等…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

3D点云实例分割

3D语义分割区分场景中各类对象,3D实例分割区分场景中各类别中的各种个体。近两年来,3D实例分割的关注度越来越高,相应的方法也被接连提出。众多方法的思想主要分为两类:基于候选区域的实例分割(proposal-based)和免候选区域的实例分割(proposal-free)。其中,proposal-based先获取场景中的感兴趣的候选区域,如:3D bounding boxes等,并在候选区域内对3D数据进一步预测得到实例标签。考虑到proposal-based 实例分割通常需要2个过程(先得到候选区域,再实例分割),分割过程繁琐,则proposal-free则摒弃了基于候选区域的方式,直接通过数据特征或者结合语义分割结果,得到实例分割结果。下面根据这两个方向总结现有的实例分割方法。

(一) proposal-based

[1] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud _ Li Yi

3D点云实例分割_3d点云标注软件

本文思路:

先通过GSPN得到目标候选区域(object proposal),在利用R-PointNet 细化proposal得到实例分割结果。

创新点:

GSP&R-PointNet

介绍:

一种得到候选区域的办法就是简单估计物体的近似几何形状,比如3D bounding boxes,但是bounding boxes不太需要对底层对象的几何结构有很强的的理解,这可能导致boxes中包含了多物体或者单个物体的部分,本文采用analysis-by-synthesis策略,从含有噪音的场景中重建出外形得到 object proposals。另外,R-PointNet很像2D图像领域的Mask-RCNN,包含了候选区域提取和候选区域分类, R-PointNet能直接处理点云数据并给予目标候选区域得到实例标签。

[2] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation _ Weiyue Wang

3D点云实例分割_3d点云标注软件

本文思路:

通过计算点云的相似矩阵(similarity matrix)和对应的置信值(confidence map)得到候选区域(group proposals),并结合语义分割结果得到实例标签

创新点:

新的候选区域方法(similarity matrix + confidence map)

介绍:

本网络利用PointNet/PointNet++来提取点云的特征,然后在这些点云特征上操作分类,后端有三个模块:similarity matrix, confidence map 和sematic map,三者的作用不用。其中,similarity matrix 的作用是计算group proposals 直接获取精确的实例分割结果,confidence map即置信区间,加入置信值,起到优化的作用;semantic map 的作用是充当逐点分类器的作用。

[3] 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans _ Ji Hou

3D点云实例分割_3d点云标注软件

本文思路:

先目标检测得到proposal,再在propoasl中mask prediction得到实例分割结果

创新点:

结合了2D和3D数据的特征,框架新颖。

介绍:本文思想比较简单。通过神经网络学习RGB和点云特征(这里的点云是通过RGBD中的深度信息恢复得到,并不是雷达点云),将通过2D卷积网络提取得到2D特征,反投影到对应的3D场景网格上,2D和3D特征的融合能够很大程度上提高proposal 获取的精度。在proposal中进一步预测得到实例标签。

[4] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang

3D点云实例分割_3d点云标注软件

本文思路:

先获bounding box,再mask prediction

创新点:

计算效率高

介绍:

本文提出了3D-BoNet网络,遵循了逐点的多层感知机的简单基本原理,该网络对所有实例个体进行3D bounding box的回归, 同时对每个实例个体的点云进行逐点mask预测。本网络包括两个并行的网络,1)边界框回归和2)点云mask预测。亮点就是计算效率高,不需要任何的后处理过程。(这个论文思想就是站在巨人肩膀上,利用现有网络得到全局和局部特征,后续的的proposal和prediction就很简单了)

(二) proposal-free

[1] 3D Instance Segmentation via Multi-task Metric Learning_Jean Lahoud

3D点云实例分割_3d点云标注软件

本文思路:

直接获得数据的特征,直接实例分割

创新点:

一种可获取数据的两种主要特征的算法

介绍:

不像传统的实例分割方法的思想:用语义标签提升实例标签。本文的技术通过聚类方法专注于实例标签。本网络将语义信息作为局部线索从中获得便利,另外将3D维度信息和3D联系纳入其中。本文的亮点在于提出了一种算法,该算法可以直接处理3D网格并学习得到两类主要的特征:针对每一个实例对象的独有的特征描述;指向实例对象中心的方向。(基于SSCNet这个网络框架改进的,大家可以重点关注一下这个网路,在ScanNet数据集中,SSCNet网路的语义分割结果评比第二)

[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang

3D点云实例分割_3d点云标注软件

本文思路:

通过实例分割和语义分割相互提升分割精度

创新点:

ASIS

介绍:

实际情况下,实例分割和语义分割的目的是不同的,前者在同一类中精确区分不同的个体,后者是将它们赋予同一个标签。然而,两种任务之间是可以相互合作共赢的,语义分割将点云按不同类别区分,这仅仅是实例分割的一个目标(不同类别的点云一定属于不同个体的)。实例分割对同一实例个体赋予同一标签,这与语义分割是保持一致的(同一个体的点云一定属于同一类别)。本文利用这层关系实现两种任务的共赢。并设计了ASIS模块,实现精度的相互提升。

[3] JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields_Quang Hieu Pham

3D点云实例分割_3d点云标注软件

本文思路:

通过网络获取语义标签和实例标签,通过后续优化融合两种标签,达到共赢(和上文的不同在于,一个在前端融合,一个在后端融合)

创新点:

MT-PNet+MV-CRF

介绍:

本文提出了一种多任务逐点处理的网络,同时实现两种任务:预测点云的语义类别;将点云转换为高维向量,致使相同实例的点云有着近似的表达。另外,本文提出了多值条件随机场去协调语义和实例标签。(语义分割和实例分割,这两个问题通常被单独处理,实例分割是语义分割的后续处理步骤,然而,两者之间是相互作用的,对于实例分割,实例的外形和容貌特征提取有助于区分物体种类,另一方面,不同类别的点云是不可能属于同一个实例的。这篇文章和上面有一篇论文很像。)

[4] MASC: Multi-scale affinity with Sparse Convolution for 3D Instance Segmentation Technical Report_Chen Liu

3D点云实例分割_3d点云标注软件

本文思路:

基于语义分割结果,实现实例分割

创新点:

多尺度的数据的关联性预测

介绍:

文章利用U-Net和submanifold sparse convolutions卷积处理整个室内场景点云,对每个点类别预测(语义分割)。另外,对不同尺度下相邻体素之间的关联性预测,结合语义标签,利用简单而有效的聚类算法得到点云的实例标签。

[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang

3D点云实例分割_3d点云标注软件

本文思路:

语义分割和实例分割结合

创新点:

新颖的损失函数

介绍:

利用SSCNet得到语义标签和实例标签,并在该网络后增加GCN网络,对实例分割结果细化。

[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich

3D点云实例分割_3d点云标注软件

本文思路:

语义分割和实例分割结合

创新点:

2D和3D结合

介绍:

本文的有点在于展现了2D和3D结合的网络框架用于联合语义和实例分割;同时展现了如何实现规则的2D特征和不规则的3D点云特征的融合。

注:补充网络(来源于ScanNet)

Occipital-SCS:

DPC-instance

Seg-cluster

MaskRCNN proj.

参考文献

Proposal-based

[1] Yi L , Zhao W , Wang H , et al. GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud[J]. 2018.

[2] Wang W , Yu R , Huang Q , et al. SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation[J]. 2017.

[3] Hou J , Dai A , Nießner, Matthias. 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans[J]. 2018.

[4] Yang B , Wang J , Clark R , et al. Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds[J]. 2019.

Proposal-free

[1] Lahoud J , Ghanem B , Pollefeys M , R.Oswald M. 3D Instance Segmentation via Multi-task Metric Learning[J]. 2019.

[2] Wang X , Liu S , Shen X , et al. Associatively Segmenting Instances and Semantics in Point Clouds[J]. 2019.

[3] Pham Q H , Nguyen D T , Hua B S , et al. JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields[J]. 2019.

[4] Liu C , Furukawa Y . MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation[J]. 2019.

[5] Liang Z , Yang M , Wang C . 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation[J]. 2019.

[6] Elich C , Engelmann F , Kontogianni T , Leibe B. 3D-BEVIS: Bird’s-Eye-View Instance Segmentation[J]. 2019

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/172410.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • String与StringBuffer的区别

    String与StringBuffer的区别String与StringBuffer的区别简单地说,就是一个变量和常量的关系。StringBuffer对象的内容可以修改;而String对象一旦产生后就不可以被修改,重新赋值其实是两个对象。StringBuffer的内部实现方式和String不同,StringBuffer在进行字符串处理时,不生成新的对象,在内存使用上要优于String类。所以在实际使用时,如果经常需要对一个字符串进行修改,例如插入、删除等操作,使用StringBuffer要更加适合一些。String:在String类中没有用来改变已有字

  • ckfinder的使用及了解config.xml的配置

    ckfinder的使用及了解config.xml的配置ckfinder的使用,根据官网向导(CKFinder_2.x/Developers_Guide)自己写的笔记1、将ckfinder_java_2.4.3\CKFinder-Java-2.4.3\ckfinder目录放到根目录下面,WEB-INF/lib中的jar文件全部放到项目中的lib下面2、将config.xml放到WEB-INF目录下面3、修改config.xml文件下的配置    &l…

    2022年10月28日
  • 实验设备管理系统C语言_实验室设备管理系统代码

    实验设备管理系统C语言_实验室设备管理系统代码这里写目录标题实验室设备管理系统题目要求源代码运行结果实验室设备管理系统题目要求实验设备管理系统设计实验设备信息包括:设备编号,设备种类(如:微机、打印机、扫描仪等等),设备名称,设备价格,设备购入日期,是否报废,报废日期等。主要功能:(1)能够完成对设备的录入和修改(2)对设备进行分类统计(3)设备的破损耗费和遗损处理(4)设备的查询要求:使用文件方式存储数据。源代码#define_CRT_SECURE_NO_WARNINGS#include<stdio.h>#i

    2022年10月13日
  • Java Web安全之代码审计

    Java Web安全之代码审计信息安全的75%发生在Web应用而非网络层。本文内容主要以JavaWeb安全-代码审计为中心展开。一、JavaWeb安全基础1.何为代码审计?通俗的说Java代码审计就是通过审计Java代码来发现Java应用程序自身中存在的安全问题,由于Java本身是编译型语言,所以即便只有class文件的情况下我们依然可以对Java代码进行审计。对于未编译的Java源代码文件我们可以直接阅读其…

  • Spidermonkey_typemonkey

    Spidermonkey_typemonkeyhttps://technotales.wordpress.com/2009/06/07/spidermonkey-introduction/https://developer.mozilla.org/en-US/docs/Mozilla/Projects/SpiderMonkey/JSAPI_User_Guidehttps://developer.mozilla.org/en-…

  • BP神经网络原理及实现

    BP神经网络原理及实现BP神经网络原理经典的BP神经网络通常由三层组成:输入层,隐含层与输出层.通常输入层神经元的个数与特征数相关,输出层的个数与类别数相同,隐含层的层数与神经元数均可以自定义.每个神经元代表对数据的一次处理:每个隐含层和输出层神经元输出与输入的函数关系为:其中Wij表示神经元i与神经元j之间连接的权重,Oj代表神经元j的输出,sigmod是一个特殊的函数用于将任意实数映射到(0,1)区间.上文中的sigmod函数称为神经元的激励函数(activationfunction),除了sig

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号