Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling¶
论文¶
https://arxiv.org/abs/2111.14819
代码¶
https://github.com/lulutang0608/Point-BERT
摘要¶
Cite
我们提出了 Point-BERT，一种学习 Transformer 的新范式，将 BERT的概念推广到 3D 点云。受 BERT 的启发，我们设计了一个掩码点建模（MPM）任务来预训练点云 Transformer。具体来说，我们首先将点云划分为几个局部点块， 并设计带有离散变分自动编码器（dVAE）的点云标记器来生成包含有意义的局部信息的离散点标记。然后，我们随机屏蔽掉一些输入点云块并将它们输入主干 Transformer 中。预训练的目标是在 Tokenizer 获得的点标记的监督下恢复屏蔽位置处的原始点标记。 大量实验表明，所提出的 BERT 式预训练策略显着提高了标准点云 Transformer 的性能。配备我们的预训练策略后，我们证明纯 Transformer 架构在 ModelNet40 上达到了 93.8% 的准确率，在 ScanObjectNN 最困难的设置上 达到了 83.1% 的准确率，超越了精心设计的点云模型，而手工设计却少得多。我们还证明，Point-BERT 学习到的表示可以很好地转移到新的任务和领域，我们的模型在很大程度上推进了少样本点云分类任务的最新技术。 代码和预训练模型可在 https://github.com/lulutang0608/Point-BERT 获取。