AI enabled Automatic Multimodal Fusion of Cone Beam CT and Intraoral Scans for Intelligent 3D Tooth Bone Reconstruction and Clinical Applications
论文地址¶
摘要¶
Cite
锥形束计算机断层扫描（CBCT）是牙科实践中使用最广泛的数字模型之一，用于虚拟治疗计划和患者管理。 虚拟治疗计划的一个关键步骤是用高保真度和准确的解剖信息准确描绘CBCT的所有牙骨结构。以前的研究已经建立了几种使用深度学习进行CBCT分割的方法。 然而，CBCT固有的分辨率差异以及咬合和牙列信息的丢失在很大程度上限制了其临床适用性。在这里，我们提出了一个深度牙科多模态分析（DDMA）框架， 包括CBCT分割模型，口内扫描（IOS）分割模型（最准确的数字牙科模型）和融合模型，以生成具有高保真度和准确咬合和牙列信息的3D融合冠根骨结构。 我们的模型使用具有503个CBCT和28，559个IOS网格的大型数据集进行训练，并由经验丰富的人类专家手动注释。 对于CBCT分割结果，我们使用五重交叉验证测试，每个测试有50个CBCT，我们的框架分别实现了93.99%和88.68%的平均骰子系数和IoU， 明显优于基线。对于IOS分割，我们的模型在200个IOS网格的测试数据集上实现了93.07%和95.70%的上颌骨和下颌骨的mIoU， 比最先进的方法高1.77%和3.52%。此外，我们的模型融合方法导致91%的成功注册率，远高于选定的基线（13.3%或6.67%）。 我们的DDMA框架按照顺序生成融合的3D网格模型大约需要20到25分钟，而人类专家则需要5个多小时。值得注意的是， 我们的框架已被一家清晰的矫正器制造商整合到软件中，真实世界的临床案例表明，我们的模型可以在整个正畸治疗过程中可视化冠根骨结构， 并可以预测裂开和开窗等风险。这些发现证明了多模态深度学习在提高数字牙科模型质量并帮助牙医做出更好的临床决策方面的潜力。
主要是CBCT和口扫模型（IOS模型）融合。文中提到的几篇关于牙齿分割的论文
Cite
5 Wang, H. et al. Multiclass CBCT Image Segmentation for Orthodontics with Deep Learning. J Dent Res 100, 943-949, doi:10.1177/00220345211005338 (2021).
6 Jang, T. J., Kim, K. C., Cho, H. C. & Seo, J. K. A fully automated method for 3D individual tooth identification and segmentation in dental CBCT. IEEE Trans Pattern Anal Mach Intell PP, doi:10.1109/TPAMI.2021.3086072 (2021).
7 Shaheen, E. et al. A novel deep learning system for multi-class tooth segmentation and classification on cone beam computed tomography. A validation study. J Dent 115, 103865, doi:10.1016/j.jdent.2021.103865 (2021).
8 Huang, J., Yan, H., Li, J., Stewart, H. M. & Setzer, F. in 2021 IEEE 37th International Conference on Data Engineering (ICDE). 2750-2755 (IEEE).
9 Cui, Z., Li, C. & Wang, W. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 6368-6377
方法¶
本文提出的DDMA框架包括三个模块：CBCT分割模型，IOS分割模型和融合模型。CBCT用的是基于Swin Transformer的特征提取模块，配合数据增强。 关于CBCT分割的实验部分，用来作为对比的几个基线网络是UNet、Unet++、Deeplabv3、FCN和标准Swin Transformer
Cite
26 Ronneberger, O., Fischer, P. & Brox, T. in International Conference on Medical image computing and computer-assisted intervention. 234-241 (Springer).
27 Zhou, Z., Siddiquee, M. M. R., Tajbakhsh, N. & Liang, J. Unet++: Redesigning skip connections to exploit multiscale features in image segmentation. IEEE transactions on medical imaging 39, 1856-1867 (2019).
28 Chen, L.-C., Papandreou, G., Schroff, F. & Adam, H. Rethinking atrous convolution for semantic image segmentation. arXiv preprint arXiv:1706.05587 (2017).
29 Liu, Z. et al. Swin transformer: Hierarchical vision transformer using shifted windows. Proceedings of the IEEE/CVF International Conference on Computer Vision. 10012-10022.
30 Long, J., Shelhamer, E. & Darrell, T. Fully convolutional networks for semantic segmentation. Proceedings of the IEEE conference on computer vision and pattern recognition. 3431-3440.