大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺
3D点云实例分割
3D语义分割区分场景中各类对象,3D实例分割区分场景中各类别中的各种个体。近两年来,3D实例分割的关注度越来越高,相应的方法也被接连提出。众多方法的思想主要分为两类:基于候选区域的实例分割(proposal-based)和免候选区域的实例分割(proposal-free)。其中,proposal-based先获取场景中的感兴趣的候选区域,如:3D bounding boxes等,并在候选区域内对3D数据进一步预测得到实例标签。考虑到proposal-based 实例分割通常需要2个过程(先得到候选区域,再实例分割),分割过程繁琐,则proposal-free则摒弃了基于候选区域的方式,直接通过数据特征或者结合语义分割结果,得到实例分割结果。下面根据这两个方向总结现有的实例分割方法。
(一) proposal-based
[1] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud _ Li Yi
本文思路:
先通过GSPN得到目标候选区域(object proposal),在利用R-PointNet 细化proposal得到实例分割结果。
创新点:
GSP&R-PointNet
介绍:
一种得到候选区域的办法就是简单估计物体的近似几何形状,比如3D bounding boxes,但是bounding boxes不太需要对底层对象的几何结构有很强的的理解,这可能导致boxes中包含了多物体或者单个物体的部分,本文采用analysis-by-synthesis策略,从含有噪音的场景中重建出外形得到 object proposals。另外,R-PointNet很像2D图像领域的Mask-RCNN,包含了候选区域提取和候选区域分类, R-PointNet能直接处理点云数据并给予目标候选区域得到实例标签。
[2] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation _ Weiyue Wang
本文思路:
通过计算点云的相似矩阵(similarity matrix)和对应的置信值(confidence map)得到候选区域(group proposals),并结合语义分割结果得到实例标签
创新点:
新的候选区域方法(similarity matrix + confidence map)
介绍:
本网络利用PointNet/PointNet++来提取点云的特征,然后在这些点云特征上操作分类,后端有三个模块:similarity matrix, confidence map 和sematic map,三者的作用不用。其中,similarity matrix 的作用是计算group proposals 直接获取精确的实例分割结果,confidence map即置信区间,加入置信值,起到优化的作用;semantic map 的作用是充当逐点分类器的作用。
[3] 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans _ Ji Hou
本文思路:
先目标检测得到proposal,再在propoasl中mask prediction得到实例分割结果
创新点:
结合了2D和3D数据的特征,框架新颖。
介绍:本文思想比较简单。通过神经网络学习RGB和点云特征(这里的点云是通过RGBD中的深度信息恢复得到,并不是雷达点云),将通过2D卷积网络提取得到2D特征,反投影到对应的3D场景网格上,2D和3D特征的融合能够很大程度上提高proposal 获取的精度。在proposal中进一步预测得到实例标签。
[4] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang
本文思路:
先获bounding box,再mask prediction
创新点:
计算效率高
介绍:
本文提出了3D-BoNet网络,遵循了逐点的多层感知机的简单基本原理,该网络对所有实例个体进行3D bounding box的回归, 同时对每个实例个体的点云进行逐点mask预测。本网络包括两个并行的网络,1)边界框回归和2)点云mask预测。亮点就是计算效率高,不需要任何的后处理过程。(这个论文思想就是站在巨人肩膀上,利用现有网络得到全局和局部特征,后续的的proposal和prediction就很简单了)
(二) proposal-free
[1] 3D Instance Segmentation via Multi-task Metric Learning_Jean Lahoud
本文思路:
直接获得数据的特征,直接实例分割
创新点:
一种可获取数据的两种主要特征的算法
介绍:
不像传统的实例分割方法的思想:用语义标签提升实例标签。本文的技术通过聚类方法专注于实例标签。本网络将语义信息作为局部线索从中获得便利,另外将3D维度信息和3D联系纳入其中。本文的亮点在于提出了一种算法,该算法可以直接处理3D网格并学习得到两类主要的特征:针对每一个实例对象的独有的特征描述;指向实例对象中心的方向。(基于SSCNet这个网络框架改进的,大家可以重点关注一下这个网路,在ScanNet数据集中,SSCNet网路的语义分割结果评比第二)
[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang
本文思路:
通过实例分割和语义分割相互提升分割精度
创新点:
ASIS
介绍:
实际情况下,实例分割和语义分割的目的是不同的,前者在同一类中精确区分不同的个体,后者是将它们赋予同一个标签。然而,两种任务之间是可以相互合作共赢的,语义分割将点云按不同类别区分,这仅仅是实例分割的一个目标(不同类别的点云一定属于不同个体的)。实例分割对同一实例个体赋予同一标签,这与语义分割是保持一致的(同一个体的点云一定属于同一类别)。本文利用这层关系实现两种任务的共赢。并设计了ASIS模块,实现精度的相互提升。
[3] JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields_Quang Hieu Pham
本文思路:
通过网络获取语义标签和实例标签,通过后续优化融合两种标签,达到共赢(和上文的不同在于,一个在前端融合,一个在后端融合)
创新点:
MT-PNet+MV-CRF
介绍:
本文提出了一种多任务逐点处理的网络,同时实现两种任务:预测点云的语义类别;将点云转换为高维向量,致使相同实例的点云有着近似的表达。另外,本文提出了多值条件随机场去协调语义和实例标签。(语义分割和实例分割,这两个问题通常被单独处理,实例分割是语义分割的后续处理步骤,然而,两者之间是相互作用的,对于实例分割,实例的外形和容貌特征提取有助于区分物体种类,另一方面,不同类别的点云是不可能属于同一个实例的。这篇文章和上面有一篇论文很像。)
[4] MASC: Multi-scale affinity with Sparse Convolution for 3D Instance Segmentation Technical Report_Chen Liu
本文思路:
基于语义分割结果,实现实例分割
创新点:
多尺度的数据的关联性预测
介绍:
文章利用U-Net和submanifold sparse convolutions卷积处理整个室内场景点云,对每个点类别预测(语义分割)。另外,对不同尺度下相邻体素之间的关联性预测,结合语义标签,利用简单而有效的聚类算法得到点云的实例标签。
[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang
本文思路:
语义分割和实例分割结合
创新点:
新颖的损失函数
介绍:
利用SSCNet得到语义标签和实例标签,并在该网络后增加GCN网络,对实例分割结果细化。
[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich
本文思路:
语义分割和实例分割结合
创新点:
2D和3D结合
介绍:
本文的有点在于展现了2D和3D结合的网络框架用于联合语义和实例分割;同时展现了如何实现规则的2D特征和不规则的3D点云特征的融合。
注:补充网络(来源于ScanNet)
Occipital-SCS:
DPC-instance
Seg-cluster
MaskRCNN proj.
参考文献
Proposal-based
[1] Yi L , Zhao W , Wang H , et al. GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud[J]. 2018.
[2] Wang W , Yu R , Huang Q , et al. SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation[J]. 2017.
[3] Hou J , Dai A , Nießner, Matthias. 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans[J]. 2018.
[4] Yang B , Wang J , Clark R , et al. Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds[J]. 2019.
Proposal-free
[1] Lahoud J , Ghanem B , Pollefeys M , R.Oswald M. 3D Instance Segmentation via Multi-task Metric Learning[J]. 2019.
[2] Wang X , Liu S , Shen X , et al. Associatively Segmenting Instances and Semantics in Point Clouds[J]. 2019.
[3] Pham Q H , Nguyen D T , Hua B S , et al. JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields[J]. 2019.
[4] Liu C , Furukawa Y . MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation[J]. 2019.
[5] Liang Z , Yang M , Wang C . 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation[J]. 2019.
[6] Elich C , Engelmann F , Kontogianni T , Leibe B. 3D-BEVIS: Bird’s-Eye-View Instance Segmentation[J]. 2019
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/172410.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...