Deep Residual Learning for Image Recognition¶
论文地址¶
https://arxiv.org/abs/1512.03385
摘要¶
Cite
更深层的神经网络更难训练。我们提出了一个残差学习框架,以简化网络的训练,这些网络比以前使用的网络深度更大。 我们明确地将层重新表述为参考层输入的学习残差函数,而不是学习未引用的函数。我们提供了综合的经验证据,表明这些残差网络更容易优化, 并且可以从显著增加的深度中获得精度。在ImageNet数据集上,我们评估了深度高达152层的残余网,比VGG网深8倍,但仍具有较低的复杂度。 这些残余网络的集合在ImageNet测试集上实现3.57%的误差。该结果在ILSVRC 2015分类任务中获得第一名。 我们还对100层和1000层的CIFAR-10进行了分析。表示的深度对于许多视觉识别任务至关重要。 仅由于我们非常深入的表示,我们在COCO对象检测数据集上获得了28%的相对改进。深度残留网络是我们提交ILSVRC和COCO 2015比赛的基础, 在那里我们还获得了ImageNet检测、ImageNet局部化、COCO检测和COCO分割任务的第一名
摘要的第一句话就写出了本文核心解决的问题,就是如何使得训练更深层次的网络成为可能。
上图中表达的是用56层和20层的网络来训练,结果发现56层的网络反而比20层的效果要差,即使是train loss也是如此,说明了网络不是越深效果就越好。
残差块¶
学习目标从目标变成了差值,使得在训练过程中最差也就退化到跟浅层网络一样,而不至于比浅层网络还差。