UNETR：Transformers for 3D Medical Image Segmentation.md¶
论文¶
https://arxiv.org/abs/2103.10504
代码¶
https://github.com/Project-MONAI/research-contributions/tree/main/UNETR
摘要¶
Cite
具有收缩和扩展路径的完全卷积神经网络（FCNNs）在过去十年中已在大多数医学图像分割应用中显示出突出优势。在FCNN中， 编码器通过学习全局和局部特征以及上下文表示来发挥不可或缺的作用，这些特征可用于解码器的语义输出预测。尽管它们取得了成功， 但FCNN中卷积层的位置限制了学习长距离空间相关性的能力。受自然语言处理变压器（NLP）最近在远程序列学习中的成功启发， 我们将体积（3D）医学图像分割任务重新表述为序列到序列预测问题。我们引入了一种新的架构，称为UNEt变换器（UNETR）， 该架构利用变换器作为编码器来学习输入体积的序列表示，并有效地捕获全局多尺度信息，同时还遵循编码器和解码器的成功“U形”网络设计。 变换器编码器通过不同分辨率的跳过连接直接连接到解码器，以计算最终的语义分割输出。我们已经验证了我们的方法在多器官分割的多图谱标记超越颅库 （BTCV）数据集和脑肿瘤和脾脏分割任务的医学分割十项全能（MSD）数据集上的性能。我们的基准测试在BTCV排行榜上展示了最先进的性能。
UNet、Transformer、VIT，集大成，U-Transformer？
方法¶
总结¶
Cite
本文介绍了一种新的基于变换器的体系结构，称为UNETR，用于体积医学图像的语义分割，将该任务重新表述为一维序列到序列预测问题。 我们建议使用变压器编码器来提高模型学习长期依赖性的能力，并在多个尺度上有效地捕获全局上下文表示。我们在CT和MRI模式中验证了UNETR对不同体积分割任务的有效性。 UNETR在BTCV排行榜上的多器官分割标准和自由竞赛中都取得了最新的最先进的性能，并在MSD数据集上超过了脑肿瘤和脾脏分割的竞争方法。总之， UNETR已显示出有效学习医学图像中所表示的关键解剖关系的潜力。该方法可为医学图像分析中一类新的基于变压器的分割模型奠定基础