📔 基础信息
🔴 Abstract图像恢复任务需要在恢复图像时在空间细节和高级上下文信息之间实现复杂的平衡。在本文中，我们提出了一种新颖的协同设计，可以最佳地平衡这些相互竞争的目标。我们的主要提议是一个多阶段架构，它逐步学习退化输入的恢复函数，从而将整个恢复过程分解为更易于管理的步骤。具体来说，我们的模型首先使用编码器-解码器架构学习上下文特征，然后将它们与保留本地信息的高分辨率分支相结合。在每个阶段，我们引入了一种新颖的每像素自适应设计，利用原位监督注意力来重新加权局部特征。这种多阶段架构的一个关键要素是不同阶段之间的信息交换。为此，我们提出了一种双向方法，其中信息不仅从早期到后期按顺序交换，而且特征处理块之间也存在横向连接以避免任何信息丢失。由此产生的紧密互连的多阶段架构称为 MPRNet，在包括图像去雨、去模糊和去噪在内的一系列任务中，在十个数据集上提供了强大的性能提升。 🔵 The main contributions
🟣 论文实验数据集
🟡 Conclusion在这项工作中，我们提出了一种多阶段的图像恢复体系架构，通过在每个阶段注入监督来逐步改善退化的输入。我们为我们的设计制定指导原则，要求在多个阶段进行互补的特征处理，并在它们之间进行灵活的信息交换。为此，我们提出 contextually-enriched and spatially accurate stages ，对一组不同的特征进行统一编码。为了确保交互阶段之间的协同作用，我们提出了跨阶段的特征融合和从早期阶段到后期阶段的注意力引导输出交换。我们的模型在众多基准数据集上取得了显著的性能提升。此外，我们的模型在模型大小方面重量轻，在运行时方面效率高，这对于资源有限的设备来说非常有意义。 📕 环境搭建
conda create -n torch11 python=3.7.5 conda activate torch11 pip install torch==1.1.0 pip install torchvision==0.3.0## 或者（建议使用 conda 来安装）conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch## 或者(根据你的 Cuda 版本来决定安装命令)conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm
conda activate torch11git clone https://github.com/swz30/MPRNet.gitcd MPRNet-maincd pytorch-gradual-warmup-lr/ python setup.py install
running installrunning bdist_egg running egg_info...... Installed /home/zql/anaconda3/envs/torch11/lib/python3.6/site-packages/warmup_scheduler-0.3-py3.6.egg Processing dependencies for warmup-scheduler==0.3Finished processing dependencies for warmup-scheduler==0.3 📗 预训练模型和测试数据🟧 预训练模型🟨 设置测试数据
📘 测试🔴 去模糊测试python demo.py --task Deblurring --input_dir ./samples/GOPR0384_11_00/blur --result_dir ./samples/output/
# GPU 占用 10209MiBFiles saved at ./samples/output/
🔵 去雨测试
python demo.py --task Deraining --input_dir ./samples/Rain100H/input/ --result_dir ./samples/Rain100H/output/
# GPU 占用 1461MiBFiles saved at ./samples/Rain100H/output/
🟣 去噪测试python demo.py --task Denoising --input_dir ./samples/noise/ --result_dir ./samples/denoise
# GPU 占用 2087MiBFiles saved at ./samples/denoise
|
|
|
