Real-Time High-Resolution Background Matting¶
论文¶
https://arxiv.org/abs/2012.07810
项目主页¶
https://grail.cs.washington.edu/projects/background-matting-v2/
代码¶
https://github.com/PeterL1n/BackgroundMattingV2
摘要¶
Cite
我们介绍了一种实时、高分辨率的背景重新放置技术，在现代GPU上，4K分辨率为30fps，HD分辨率为60fps。我们的技术基于背景遮片，其中捕获了背景的附加帧， 并用于恢复阿尔法遮片和前景层。主要的挑战是在实时处理高分辨率图像的同时，计算高质量的阿尔法遮片，保留头发层次的细节。为了实现这一目标，我们使用了两个神经网络； 基础网络计算低分辨率结果，该结果由在选择性补丁上以高分辨率操作的第二网络细化。我们介绍了两个大型视频和图像抠图数据集：VideoMatte240K和PhotoMatte13K/85。 与之前最先进的背景抠图相比，我们的方法产生了更高的质量结果，同时在速度和分辨率方面都有了显著提高。
方法¶
总结¶
Cite
我们提出了一种实时、高分辨率的后台替换技术，其工作速度为4K 30fps和HD 60fps。我们的方法只需要输入图像和预先捕获的背景图像，这在许多应用中很容易获得。
我们提出的架构仅在高分辨率下有效地重新定义了容易出错的区域，这减少了冗余计算，并使实时高分辨率抠图成为可能。我们引入了两个新的大规模抠图数据集，
帮助我们的方法推广到现实场景中。我们的实验表明，我们的方法在背景抠图上设置了新的最先进性能。我们通过将结果流式传输到Zoom来演示我们方法的实用性，
并实现更真实的虚拟电话会议。
道德规范：我们的主要目标是通过视频通话中的后台替换，实现创造性应用，并为用户提供更多隐私选择。然而，我们认识到，图像编辑也可以用于负面目的，
这可以通过在本工作的商业应用中使用水印和其他安全技术来缓解