3D Semantic-点云相关

Introduction

3D Semantic主要关注的问题是如何在3D空间中表示语义，根据3D表示的不同，语义的表示也会有所不同。例如3D表示可能包括点云表示、NeRF表示以及3D Gaussian表示等。

本系列主要关注Open Vocabulary Semantic相关工作，当然可能会混入一些其他的语义类任务，例如Closed Set Semantic Segmentation等。

作为系列开始的第一篇，首先记录一些相关资源地址：

• Open☀️3D：Open3D研讨会，其中包含相关论文的记录
• Chuan-10/awesome-language-embedded-3D-representations：3D语义嵌入的相关论文

OpenMask3D(NeurIPS2023)

OpenMask3D旨在解决开放词汇的3D Instance分割问题。现有的方法通常对3D场景中的每个点学习一个特征，这种方式可以用于执行语义分割，但是无法分离多个对象实例。而OpenMask3D提出了一种基于Instance的特征提取方法，它构建了一个pipeline，来为场景中的实例提取特征。在这种方式中，特征是实例级别的，而不是点级别的。

模型架构

pipeline

OpenMask3D的输入是场景的RGB-D照片序列以及重建出的3D点云(假设相机参数已知)，输出则是预测出的一系列3D Instance Mask，以及每个Mask的特征。

OpenMask3D的Pipeline如下：

1. 首先，通过预训练的3D分割模型(3D Mask Proposal Network)可以得到类别无关的3D Instance Mask。-> 对应Class Agnostic Instance Mask Proposals
2. 然后需要为这些Instance Mask进行特征提取，主要分为Top K 视角提取、2D分割与裁剪、CLIP特征提取和聚合几个步骤。 -> 对应Mask-Feature Computation for Each Instance
3. 这样就得到了一系列Instance Mask以及每个Mask对应的特征

Pipeline的第一步是提取类别无关的3D Instance Mask。具体来说，这一步将点云输入3D Mask Proposal Network，得到$$个类别无关的Mask Proposal。这里使用的3D Mask Proposal Network实际上是一个预训练的3D Instance Segmentation Model，Mask3D，不过这个模型是在封闭词汇表上训练的。该模型的原始输出包括$$个Instance Mask以及每个Mask所属的类别标签(来自训练集的封闭词汇表)。OpenMask3D则只选取了其中的Instance Mask输出，而不需要其中的类别标签。

Pipeline的第二步是为每个3D Instance Mask提取对应的特征。这一步骤的目的是计算出可以用于开放词汇概念的特征表示。

对于每个Instance Mask Proposal，首先需要选择该Instance在哪些RGB-D帧中高度可见；然后对于这些RGB-D帧，采用SAM进行2D Mask分割，基于分割结果进行Multi-Scale的裁剪；接着利用CLIP Encoder获取这些裁剪图像对应的Embedding；最后将这些Embedding聚合成为最终的Mask特征。

对于每个Instance Mask，首先需要为其在RGB-D序列中选取代表帧构成的子集。OpenMask3D采用了一种基于可见度分数Visibility Score的方式来选择Top K Views。下面公式表示了第$$个Instance Mask在第$$个RGB-D帧上的可见度分数： $$ 其中$$表示第$$个Instance Mask在第$$帧上的可见点的数量。对于Instance Mask中的每个点，都可以根据第$$帧相关的相机参数将其投影到对应的图像坐标系下，得到齐次坐标表示$$。通过归一化的齐次坐标$$和图像长宽的对比，可以判断该点是否在图像上。但是简单通过这种方式计算，并没有考虑到遮挡关系，因此OpenMask还采用阈值过滤的方式来判断遮挡。对于每个3D点，通过点云可以得到深度$$，通过上面的计算可以得到计算深度$$，对比这两个深度，如果$$，则表示该点被遮挡。

• 为什么$$​可以表示深度？

参考摄像机几何与极几何 - EverNorif中的公式，得到图像坐标系中的齐次坐标最后一维就是摄像机坐标系中的深度。

通过可见度分数，我们可以为每个Instance Mask得到$$个RGB-D帧。我们需要从这些帧中提取到对应Mask的最佳图像裁剪。这一步使用SAM来完成。SAM接受prompt点作为输入，输出则是2D Mask以及相关置信度。OpenMask3D从Instance Mask的投影点中进行采样作为prompt点来运行SAM。通过SAM可以得到较好的2D Mask。然后基于这个2D Mask，OpenMask3D进行Mulit-Scale图像的剪裁。具体来说，将2D Mask的最紧密Bounding Box作为最低的Scale，然后进行多级scale处理，其他层级的Bounding Box逐渐变大，一共得到$$个level的裁剪图片。

经过上面的步骤，对于每个Instance Mask，就可以得到$$个(裁剪)图像。将这些图像输入CLIP的视觉编码器中，得到CLIP图像Embedding。之后以平均池化来聚合得到Instance Mask的特征。

CLIP，全称为Contrastive Language-Image Pre-Training，对比语言-图像预训练。该模型由OpenAI推出，在4亿级别图像-文本数据对上进行训练，意在学习出更好的图像和文本表征，实现图像和文本之间的深度理解和关联。

下游任务

OpenMask3D输入一组RGBD图像序列以及3D点云，得到一系列Proposal Instance以及每个Instance的类别无关特征。基于这个特征，可以进行下游任务，例如开放词汇3D Instance分割。

OpenMask3D已经有Instance Mask，要处理开放词汇问题，则需要将文本和Instance特征建立联系。具体来说，对于文本查询$$，OpenMask3D将其构造成类似"a {} in a scene"的提示，然后利用CLIP计算其文本Embedding，计算该文本Embedding和每个Instance特征的余弦相似度，相似度最高的Instance则作为该文本查询的返回。

简单总结

OpenMask3D提出了一个可用于开放词汇3D Instance分割的特征提取Pipeline，它能在给定RGBD序列以及点云的情况下，输出3D Instance Mask以及每个Mask的特征。OpenMask3D首先将点云进行Instance分割，然后对于每个Instance，选取RGBD序列中的某些相关度高的帧，对帧中该对象的2D裁剪图片进行CLIP特征的提取，将所有提取的特征进行聚合之后赋给对应Instance的点云。

OpenMask3D的项目地址：OpenMask3D/openmask3d

OVIR-3D(CoRL2023)

OVIR-3D提出了一种有效的开放词汇3D Instance检索方法。给定语言查询，OVIR-3D能够基于不同Instanc和文本查询之间的特征相似性返回一组排序的3D Instance。OVIR-3D利用2D来指导3D，利用在广泛资料上训练的2D开放词汇检测器来生成2D Instance区域Proposal，然后将2D实例特征融合到3D点云上，以实现开放词汇的3D实例分割。OVIR-3D的核心贡献就是这个2D-to-3D的融合模块，它将3D区域Proposal任务视为2D Proposal的融合问题。

模型架构

OVIR-3D的输入包括点云$$和RGB-D图像序列$$，其中相机参数均为已知。在推理阶段，对于给定的查询$$，OVIR-3D则返回一组按照顺序排列的Mask，每个Mask都是代表点云的一个子集Mask。$$。下图绘制了OVIR-3D的模型流程。

首先，对于每个图像帧$$，OVIR-3D使用预训练2D开放语言模型来进行开放语义分割，得到2D的区域Proposal $$，同时每个区域能够得到一个文本对齐的特征$$。OVIR-3D使用的预训练2D开放语言模型是Detic，该模型使用了多个大型数据集进行训练，在2D上能够做到较好的开放语义查询，并且在特征提取方面还是使用了CLIP。文本对齐的特征则从最终分类层之前的特征层中进行提取，最终分类的输出结果则被抛弃，只采用它的区域Proposal以及区域特征。

OVIR-3D适用的2D开放语义检测器不局限于Detic，还可以使用其他模型，不过它需要满足如下两个条件：

1. 能够生成像素级别的Mask
2. 能够为每个区域提供文本对齐的特征

(实际上也可以换成正常的分割模型+某种区域语义特征提取策略)

下一步，每个2D的Proposal区域都可以利用相机参数将其投影到3D点云上，得到投影3D区域$$。该3D区域可能对应的情况有两种，第一种情况是该区域能够匹配上点云中已有的3D Instance $$，第二种情况是该区域不属于已有的任何3D Instance。当然初始点云中任何3D Instance都没有，是随着过程慢慢累积的。点云中已有的3D Instance被存放统一的内存存储$$中，其中不仅存放了3D Instance $$，还存放了每个3D Instance对应的3D特征$$。

对于某个投影3D区域$$，它能否匹配上现有的3D Instance $$，是通过特征相似性$$以及交并比$$来进行的。其中每个3D Instance的特征实际上就是所有相关2D区域特征的平均，即$$。如果这两个指标都大于对应的阈值，则认为3D区域能够匹配3D Instance，此时会更新Bank $$中的3D Instance，匹配条件与更新操作如下： $$ 如果投影区域不能匹配上任何一个现有的3D Instance，那么它将作为一个新的3D Instance加入$$中。

上述的投影过程可能会生成冗余的3D Instance，导致低质量的分割以及不准确的数据关联。为了解决这个问题，OVIR-3D周期性(每$$帧)对$$中的3D Instance进行过滤和合并。过滤是针对3D Instance中的每个点进行的，对于每个点，可以计算其$$，该值表示这个点被视为实例的一部分的次数比上它可见的次数，该值越小，表示这个点约不可靠，因此OVIR-3D删除$$的点。合并则是针对3D Instance的，合并条件与上面的匹配条件相同。此外，对于两个3D Instance $$，如果$$并且$$，则认为$$大部分都包含在$$之中，并且两个instance具有相同的特征，也可以进行合并。

最后，OVIR-3D使用简单的后处理步骤来分离3D空间中孤立的Instance，以及过滤可能是噪声的片段。具体来说，OVIR-3D对每个Instance进行DBSCAN处理来找到聚类结果，如果某个Instance的聚类结果无法相连，则将其分裂成多个Instance。

在推理方面，首先使用CLIP文本Encoder对文本查询$$进行特征提取，在与每个3D Instance进行相似性比较的时候，OVIR-3D并没有采用所有相关2D区域特征的平均来代表3D Instance特征，而是对这些特征进行KMeans处理，选择其中K个聚类中心的特征来代表3D Instance的特征。最终的特征相似性，则是文本特征与这K个聚类中心的特征相似性的最大值。

简单总结

OVIR-3D输入点云和一组RGB-D图像，对于给定的查询，则可以输出一组按照相关性排序的点云Mask。它的核心在于将3D区域划分视作2D区域Proposal的合成，语义特征则来自2D区域，整个Pipeline的核心就在于2D-to-3D融合模块的设计。

OVIR-3D的局限性在于它并不是总能够合并非常大的Instance，对于较大的Instance，它可能会将其拆分成多个小Instance。另外，OVIR-3D也可能错过较为微小的物体，这是因为它们在过程中可能被视作噪声从而被移除。

OVIR-3D的项目地址为：shiyoung77/OVIR-3D

Open3DIS(CVPR2024)

Open3DIS的目标是解决3D场景中的开放词汇实例分割问题，它的对标前置工作是OpenMask3D和OVIR-3D。前者采用类别无关的分割网络来识别场景中的实例，后者则采用2D Proposal区域聚合的方式来获得3D区域Proposal。Open3DIS发现现存的方法很难识别较小尺寸的物体以及几何形状模糊的物体，它则融合了上面两个工作，提出改进的Pipeline，得到了更好的效果，解决了现有方法的局限性。这三个工作pipeline之间的对比如下：

模型架构

Open3DIS的Pipeline如下图所示，其中的核心在于如何得到最终的3D Instance Mask。它融合了两类方式，分别是通过预训练的3D实例分割网络得到3D Instance Proposal，和通过2D Proposal合并得到3D Proposal，最终将这两类方式的结果再进行融合得到最终的3D Proposal。

首先，Open3DIS使用ISBNet作为3D实例提议网络，直接输出3D点云的实例Mask，对应图中的$$​​。ISBNet是一种3D点云实例分割网络，它提出了一种实例感知的最远点采样方式对候选点进行采样，然后使用点聚合层对候选特征进行编码。作为对比，OpenMask3D使用的则是Mask3D。不过直接采用网络输出的3D Instance可能会导致丢失场景中的一些较小对象。

另一方面，Open3DIS提出了一个2D-guide-3D Instance Proposal模块，该模块能够更好地捕获场景中的较小对象。具体来说，该模块的输入包括点云$$，相关RGBD图像序列$$；输出则是一系列3D Instance Proposal，对应表示是多个Mask矩阵$$​。接下来介绍该模块的具体流程。

首先，Open3DIS会对点云进行预处理，将其分组为不同的Super point超点，假设超点的个数为$$，即$$​​。超点的引入能够提高后续流程的效率，后续的处理也基本都是基于超点进行的。接下来，Open3DIS采用与OVIR-3D类似的合并流程来得到初步的3D Instance Proposal。对于每帧的RGB图像，使用预训练的2D Instance分割器来对其进行分割，例如Grounding-DINO，SAM等分割模型，得到不同的2D Mask；同时对于3D点云，也使用点云的预训练网络(例如ISBNet，Mask3D)来进行特征提取。将2D Mask向点云上进行投影，计算其IoU来进行超点和Mask的对应。每个Mask取IoU最大的超点作为代表，然后利用点云特征之间的余弦相似度来进行超点之间的合并。这样对于每张Mask图都能够得到一个Mask相关的3D点云区域分割。

直接选择上面过程产生的3D区域作为3D Instance Proposal可能会导致结果的碎片化，为了解决这个问题，Open3DIS采用了一个自下而上的方式来合并来自不同帧的点云区域，以创建更加完整和连贯的3D Instance Proposal。首先，考虑帧内结果区域的合并，两个区域的合并同样基于IoU和特征相似性来进行，这样每个帧就得到一个对应的合并后的点云区域。接下来考虑帧间结果区域的合并。考虑两帧的结果区域分别为$$，合并后的结果区域为$$，其中$$。Open3DIS使用Agglomerative Clustering来进行合并的。根据下面的方式计算Cost矩阵$$： $$ 其中$$表示指示函数，$$表示and操作，$$分别表示IoU和特征相似性。整个agglomerative clustering则根据Cost矩阵来迭代的进行合并，直到不能继续合并，即$$中不再包含任何正元素。

agglomerative clustering是一种自底向上的聚类方法。在初始阶段，每个数据点被认为是单独的一个聚类，然后根据某种相似度度量来合并成更大的聚类，知道所有的数据点最终合并成为一个整体的聚类结构。

上面的操作可以得到两帧之间的合并结果，按照顺序次序或者分层次序进行全帧的合并，即可以得到最终的3D区域Proposal，对应图中的$$。

至此我们就得到了从两种不同方法得到的3D Proposal，将其进行简单合并，并利用非极大值抑制NMS来消除近似重复的Proposal，这样就得到最终的3D Instance Proposal。

在最后一个阶段，Open3DIS为每个3D Proposal提取语义特征。OpenMask3D采用选取top-k视图然后进行多尺度CLIP特征的提取，而Open3DIS则使用了一个更加合理的方案，核心思想是在top-k视图中更加频繁出现的点应该对最终的特征做出更多的贡献。具体来说，考虑$$是从第$$个视图对第$$个Mask抽取出的2D CLIP特征，$$是视图$$的可视图，$$则表示该Mask对应的3D Instance Proposal，最终该3D Instance对应的特征则提取为： $$

简单总结

Open3DIS结合了OpenMask3D和OVIR-3D两个工作的优点来构建了一个新的Pipeline，利用了两类3D Proposal，包括来自预训练的3D Instance分割网络的3D Proposal，以及从2D Mask出发合并得到的3D Proposal。

MaskClustering(CVPR2024)

解决开放词汇3D Instance分割问题的一种思路是使用来自2D模型的特征，根据几何和特征相似性等指标来合并2D Mask以生成3D Instance。但是现有的基于该指标的合并方式通常缺乏跨所有帧的全局最优性。MaskClustering主要关注如何获取高质量，zero-shot的3D Instance Mask，它提出了一种称为视图共识(view consensus)的新指标，能够更好地利用多视图信息。其中的核心思想是，假设有非常多来自其他视图的Mask同时包含了某两个mask，那么就可以认为这两个mask属于同一个Instance。

模型架构

MaskClustering的Pipeline流程如下图所示。

MaskClustering的核心过程是基于视图共识的2D Mask合并过程。MaskClustering的输入同样是RGBD序列图像$$以及点云$$。

首先使用类别无关的2D实例分割模型(例如CropFormer)来对每帧的图像进行分割，对图像$$进行分割可以得到$$个Instance，对应mask结果为$$。这里的分割结果是Instance级别的全景分割Mask，即每个像素都属于某个Mask。

为了进行Mask之间的融合，MaskClustering需要构建一个Mask Graph $$，其中每个结点$$表示某个Mask $$，每条边$$​则表示边上的两个Mask属于同一个Instance并且需要进行合并。判断两个Mask是否能够合并则会使用到论文提出的新指标，视图共识。建立了初始Mask Graph之后，就可以迭代地进行结点的合并(Mask的合并)以及边关系的更新(视图共识的更新)。最终产生的结果类似于聚类，每个聚类结果对应一个3D Instance，同时还包含了多个相关的2D Mask。基于这种3D Instance与2D Mask之间的对应关系，也就能够执行特征融合来得到最终3D Instance对应的语义特征。

论文的核心即是视图共识(view consensus)的计算方式。在介绍计算方式之前，先对一些前置定义和表示进行介绍。

对于给定的点云$$以及图像序列帧索引$$，我们首先可以得到2D Mask $$表示在第$$帧图像中的第$$个Mask，该Mask可以反投影到点云上得到对应区域$$。这样，图像帧$$对应的所有点云$$，即为该帧所有Mask对应点云区域的并集。显然有关系$$。

接下来是两个可见的概念。首先是点的可见性，如果点$$，那么就说点$$在图像帧$$上可见。然后是Mask的可见性。我们考虑帧$$的Mask $$在另一帧$$上的可见性，注意这里的帧$$表示不同帧。如果Mask $$对应的点云区域$$中有至少$$的点在帧$$上可见，那么就认为Mask $$在帧$$上可见，并且将可见的部分记为$$。考虑Mask $$在所有其他帧上的可见性，它所有可见的帧集合记为$$​。

最后是点云之间的近似包含关系。如果点云$$中有至少$$的点都在点云$$中，则称$$近似包含$$，记为$$。

引入视图共识的核心目的是判断两个Mask是否属于同一个实例。考虑两个Mask $$和$$，其中$$和$$可能代表相同的帧，也可能代表不同的帧。视图共识简单来说就是看在其他视图的角度下，这两个Mask是否属于同一个Instance。首先，我们找到能够同时对这两个Mask可见的所有帧，记为$$，这些帧被称为观察帧，观察帧的个数为$$。考虑观察帧中的每一帧$$，检查它是否支持这两个Mask的合并。如果在帧$$中，存在一个Mask $$，它对应的点云区域$$能够近似包含两个Mask对应在帧$$上的可见点云区域，即$$以及$$，那么就认为该帧$$支持这两个Mask的合并。遍历所有观察帧，得到所有支持合并的帧数，最终视图共识$$​就是支持的帧数/观察帧总帧数。

简单使用循环来计算视图共识的时间复杂度相对较高。为了加快速度，可以提前计算并存储中间结果来消除冗余计算。具体实现可以参考原始论文或者代码实现。

给定所有的Mask作为结点，两两计算视图共识来构造Mask Graph。MaskClustering会合并视图共识$$的那些Mask，实际上也就是断开不满足视图共识阈值的那些边。同时为了避免观察帧过少导致的结果不稳定，MaskClustering还会在每一次迭代过程$$中设定观察帧数目的阈值$$。该过程迭代进行，最终得到聚类结果。

在最终的聚类结果中，每一簇表示一个3D Instance，同时每个3D Instance也包含了对应的2D Mask。MaskClustering采用OpenMask3D对应的Top-K帧的方法来获取实例特征。

简单总结

MaskClustering提出了一种新颖的指标，称为视图共识。用这个指标，我们能够判断两个Mask是否属于同一个Instance。这种方法充分地利用了其他帧的信息，基本能够做到全局最优。

MaskClustering的项目地址为：PKU-EPIC/MaskClustering