3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation¶
论文地址¶
https://arxiv.org/abs/1606.06650
代码¶
https://lmb.informatik.uni-freiburg.de/resources/opensource/unet.en.html
摘要¶
Cite
本文介绍了一种从稀疏标注的体积图像中学习的体积分割网络。我们列出了该方法的两个有吸引力的用例:(1)在半自动设置中,用户注释要分割的卷中的一些切片。 网络从这些稀疏注释中学习,并提供密集的3D分割。(2) 在完全自动化的设置中,我们假设存在一个代表性的、注释稀少的训练集。经过对该数据集的训练,网络密集地分割新的体积图像。 所提出的网络扩展了Ronneberger等人先前的u-net架构,将所有2D操作替换为3D操作。在训练过程中,实施动态弹性变形以有效地增强数据。它是从头开始端到端训练的, 即不需要预先训练的网络。我们在复杂的、高度可变的3D结构(爪蟾肾脏)上测试了所提出的方法的性能,并在两个用例中都取得了良好的结果。
关键词:3D分割、弹性形变
只需要一些2D切片上的标注数据用于训练,就可以得到在3D数据集上分割的模型。主要看一下弹性形变怎么做的。参考文献1中指出弹性形变有助于解决纤细物体分割时,
分割结果断裂的问题,关于弹性形变的详细解释,可以参考资料33。
方法¶
论文中指出,医学图像的一个特点就是可以使用很少的标注好的数据,就可以训练出效果不错的分割网络,是因为某一类别的医学图像大多都具有高度相似的结构。 还指出u-net的体系结构和数据扩充允许仅从少数注释样本中学习具有非常好的泛化性能的模型。它(u-net)利用了这样一个事实,即正确应用刚性变形和轻微的弹性变形仍然会产生生物学上合理的图像。
结论¶
Cite
我们引入了一种端到端的学习方法,该方法可以半自动和完全自动地从稀疏标注中分割3D体积。它为爪蟾肾脏的高度可变结构提供了精确的分割。 在半自动设置的3倍交叉验证实验中,我们实现了0.863的平均IoU。在完全自动化的设置中,我们展示了3D架构与等效2D实现的性能增益。网络是从零开始训练的, 并没有针对该应用进行任何优化。我们预计它将适用于许多其他生物医学体积分割任务。它的实现以OpenSource的形式提供。
推荐阅读¶
PyTorch中实现的RandomElasticDeformation