Focused Decoding Enables 3D Anatomical Detection by Transformers

论文地址

https://arxiv.org/abs/2207.10774

代码

https://github.com/bwittmann/transoar

摘要

Cite

检测Transformers表示基于Transformer编码器-解码器架构的端到端对象检测方法，利用全局关系建模的注意力机制。 尽管Detection Transformers提供的结果与基于CNN的2D自然图像高度优化的同类产品相当，甚至优于后者， 但其成功与获取大量训练数据密切相关。然而，这限制了在医学领域使用检测Transformer的可行性，因为对注释数据的访问通常受到限制。 为了解决这个问题并促进医学检测Transformer的出现，我们提出了一种用于3D解剖结构检测的新型检测Transformer，称为聚焦解码器。 聚焦解码器利用解剖区域图集中的信息，同时部署查询锚点，并将交叉注意力的视野限制在感兴趣的区域，这允许对相关解剖结构进行精确聚焦。 我们在两个公开可用的CT数据集上评估了我们提出的方法，并证明了聚焦解码器不仅提供了强大的检测结果，从而减轻了对大量注释数据的需求， 而且通过注意力权重显示了异常和高度直观的结果解释能力。我们的代码可从github.com/bwittman/transoar获取

应该是跟Detr一个路线的方法

评论