ToothNet：Automatic Tooth Instance Segmentation and Identification from Cone Beam CT Images¶
论文地址¶
ToothNet: Automatic Tooth Instance Segmentation and Identification from Cone Beam CT Images
摘要¶
Cite
本文提出了一种利用深度卷积神经网络的方法，从CBCT（锥形束CT）图像中实现自动准确的牙齿实例分割和识别，用于数字牙科。 我们方法的核心是一个两阶段网络。在第一阶段，从输入的CBCT图像中提取边缘图，以增强沿形状边界的图像对比度。然后将该边图和输入图像传递到第二阶段。 在第二阶段，我们使用新颖的学习相似性矩阵在3D区域提案网络（RPN）上构建我们的网络，以帮助有效地删除冗余提议、加快训练速度并节省GPU内存。 为了解决识别任务中的歧义，我们将牙齿空间关系编码为识别任务中的附加特征输入，这有助于显着提高识别精度。我们的评估、比较和全面的消融研究表明， 我们的方法可自动产生准确的实例分割和识别结果，并且优于最先进的方法。据我们所知，我们的方法是第一个使用神经网络实现CBCT图像自动牙齿分割和识别的方法。
主要思路就是两阶段的网络，第一个阶段先检测牙齿的边界，再把边界信息输入到第二阶段的网络中，用于指导牙齿分割
方法¶
边缘检测网络¶
加了边缘检测网络的对比效果
相似性矩阵¶
提出了相似性矩阵用于解决传统NMS的问题。传统NMS只是使用IOU来去重，但是由于牙齿本身的形状较为复杂，IOU的阈值难以确定。设置的太高了重复的BOX太多，
设置的太低会导致丢失过多BOX。相似性矩阵用来对RPN提出的候选BOX相似性的回归，在训练过程中来学习NMS的方式。
上表是相似性矩阵（SM）的消融实验，可以看到两个结论
- 相比于传统NMS，SM效果更好
- ROI越大效果越好
相似性矩阵的做法是，每次RPN选出的BOX，选择得分最高的256个BOX出来，对于每个BOX去找IOU最大的一个gt BOX，然后计算相似性矩阵\(S\)，\(S\)的计算方式如下
- \(S_{ij} = 1\) if \(BOX_i\)和\(BOX_j\)与对应的gt BOX是同一个且IOU都大于0.2
- \(S_{ij} = 0\) if \(BOX_i\)和\(BOX_j\)与对应的gt BOX是不同的且IOU都大于0.2
- \(S_{ij} = -1\) \(BOX_i\)和\(BOX_j\)有一个与对应的gt BOX IOU小于0.2
训练的时候拿box的低层次和高层次特征拼在一起训练SM，测试的SM用于当做NMS来去重，看两个BOX在SM中的相似度，如果相似度大于0.5，就认为是重复的BOX，去掉得分低的那个BOX。
总结¶
Cite
在本文中，我们提出了第一个用于CBCT图像中精确牙齿实例分割和识别的深度学习解决方案。我们的方法是完全自动的，无需任何用户注释和后期处理步骤。 它通过利用新的学习边缘图、相似矩阵和不同牙齿之间的空间关系来产生优异的结果。如图所示，所提出的方法在定性和定量上显著优于所有其他现有方法。 我们新提出的组件使流行的基于RPN的框架适用于具有较低GPU内存和较少训练时间要求的3D应用，并且可以在未来推广到其他医学图像处理任务。