论文:NAFSSR: Stereo Image Super-Resolution Using NAFNet 代码:https://github.com/megvii-research/NAFNet/ 赛题简介 图像恢复(Image Restoration) 任务,旨在将降质的图像(如带噪声的,模糊的,低分辨率的...)恢复成清晰的图像。而本次的赛题,双目超分辨率任务,目标是用低分辨率的一对左右视角的立体图像来重建高分辨率的立体图像。与单张图像的超分辨率任务不同,双目超分辨率可以利用场景的左右两个视角提供的互补信息,从而提升图像恢复质量。 旷视夺冠算法介绍 对于双目超分辨率任务,最直接的想法是将左右视角的两张图片独立的恢复成清晰图像,互不影响。而我们的工作,Nonlinear Activation Free Network for Image Restoration [2] (以下简称:NAFNet)在单张图像恢复领域提供了一个简单且强有力的基线。其效果如下图所示: 受此启发,我们直接利用 NAFNet 进行单张图像的超分辨率重建。虽然已经能取得不错的性能,但是这样的做法忽略了双目任务的特殊性:没有充分利用两个视角提供的互补信息。为此,我们在使用 NAFNet 分别提取左右两个视角的单图像特征之外,引入了立体交叉注意力模块(Stereo Cross Attention Module, 以下简称: SCAM)来融合左右视角的图像特征。我们称该方法为 NAFSSR: Stereo Image Super-Resolution Using NAFNet (以下简称:NAFSSR),其总体结构如下图所示: 其中 NAFBlock 直接采用了 NAFNet 的模块,而 SCAM 细节如下图所示: 图3. SCAM 它用于融合 NAFNet 提取到的左右视图特征。 可视化结果如下图所示: [1] NAFSSR: Stereo Image Super-Resolution Using NAFNet [2] Simple Baselines for Image Restoration [3] Revisiting Global Statistics Aggregation for Improving Image Restoration |
|
来自: mynotebook > 《待分类》