nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation¶
论文地址¶
https://arxiv.org/abs/1809.10486)
摘要¶
Cite
U-Net于2015年提出。凭借其简单而成功的架构，它迅速发展成为医学图像分割中常用的基准。然而，U-Net对新问题的适应包括几个自由度——确切的架构、 预处理、训练和推理。这些选择并非彼此独立，并且会严重影响整体性能。本文介绍了nnU-Net（“no-new-Net”）， 它指的是基于2D和3D原版U-Nets的强大和自适应框架。我们认为，我们有充分的理由去掉许多拟议网络设计中多余的花里胡哨的东西， 而是关注使方法的性能和可推广性的其余方面。我们在医学分割十项全能挑战的背景下评估了nnU-Net，该挑战赛衡量了十个学科的分割性能， 包括不同的实体，图像模式，图像几何形状和数据集大小，不允许在数据集之间进行手动调整。在提交稿件时，nnU-Net在所有类别和七个第一阶段任务 （BrainTumor的1类除外）中取得了最高的平均骰子分数
18年的论文，基于Unet进行改进，主要贡献就是Self-adapting。结论中指出，这种自适应能力的来源其实是构建了三个不同配置的Unet进行交叉验证然后选最好的效果。 目前医学图像分割中存在的一个很大的问题就是很多网络都有独特的结构和训练技巧，这导致一些网络只能在特定的数据集上表现好，这极大的限制了可用性。 十项全能挑战赛就是针对这个问题提出，包括十个医学图像分割数据集，开发阶段可以使用其中七个数据集，然后确定了网络之后在剩下的三个数据集上进行测试来测试网络的泛化能力。 本文提出了nU-Net (”no-new-Net”)，依赖于三个UNet。
方法¶
相当于搞了三个网络，2D Unet，3D Unet和级联3D Unet，用的时候哪个效果好用哪个。打比赛的时候直接三个网络选两个ensembling，试一遍挑最好的组合，结果见下图
对于级联3D Unet
分为阶段1和阶段2。在阶段1，使用3D Unet对数据进行下采样得到低分辨率的图然后分割，然后在阶段2将阶段1的粗分割结果和原始图像concate到一起用3D Unet提特征分割。
由于不同的数据图像差异较大，patch size和卷积层参数的大小需要动态调整，文中给定一个策略用于动态调整。
结论¶
Cite
在本文中，我们提出了用于医疗领域的nnU-Net分割框架，该框架直接围绕原始U-Net架构构建，并动态地适应任何给定数据集的具体情况。 基于我们的推测，非架构修改可能比最近提出的一些架构修改更加有效，该框架的本质是对自适应预处理、训练方案和推理的全面设计。 适应新的分割任务所需的所有设计选择都是以全自动方式完成的，无需手动交互。对于每个任务，nnU-Net会自动对三个不同的自动配置U-Net 模型运行五重交叉验证，并选择具有最高平均前景骰子分数的模型（或融合）进行最终提交。在医学细分十项全能的同文中， 我们证明了nnU-Net在7个高度不同的医学数据集的测试集上具有竞争力，在提交手稿时，所有任务的所有类别（BrainTumor数据集中的1类除外） 在在线排行榜上获得了最高的平均骰子分数。我们承认，训练三个模型并为每个数据集独立选择最佳模型并不是最干净的解决方案。给定更大的时间尺度， 人们可以研究适当的启发式方法，以便在训练之前确定给定数据集的最佳模型。我们目前的趋势倾向于U-Net级联（或3D U-Net，如果不能应用级联）， 唯一（关闭）例外是前列腺和肝脏任务。此外，我们的许多设计选择的额外好处，例如使用Leaky ReLU而不是常规ReLU，以及我们的数据增强参数， 在应对这一挑战的背景下没有得到适当的验证。因此，未来的工作将侧重于通过消融研究系统地评估所有设计选择。