跳转至

OneFormer3D: One Transformer for Unified Point Cloud Segmentation

论文

https://arxiv.org/abs/2311.14405v1

代码

https://github.com/filapro/oneformer3d

摘要

Cite

3D 点云的语义、实例和全景分割已使用不同设计的特定任务模型得到解决。因此，所有分割任务的相似性以及它们之间的隐含关系没有得到有效利用。本文提出了一个统一、简单且有效的模型，共同解决所有这些任务。 该模型名为 OneFormer3D，使用一组可学习内核一致地执行实例和语义分割，其中每个内核负责为实例或语义类别生成掩码。这些内核使用基于转换器的解码器进行训练，并以统一的实例和语义查询作为输入传递。 这样的设计使得能够在单次运行中端到端地训练模型，从而使其在所有三个分割任务上同时实现最佳性能。具体来说，我们的 OneFormer3D 在 ScanNet 测试排行榜中排名第一，并创下了新的最先进水平 (+2.1 mAP50)。 我们还展示了 ScanNet (+21 PQ)、ScanNet200 (+3.8 mAP50) 和 S3DIS (+0.8 mIoU) 数据集在语义、实例和全景分割方面的最新结果。

评论