🔥
Real-CUGAN🔥 全名Real Cascade U-Nets for Anime Image Super Resolution,是一个使用百万级动漫数据进行训练的,结构与Waifu2x兼容的通用动漫图像超分辨率模型。它支持
2x\3x\4x倍超分辨率,其中2倍模型支持4种降噪强度与保守修复,3倍/4倍模型支持2种降噪强度与保守修复。
1. 效果对比
| Waifu2x(CUNet) | Real-ESRGAN(Anime6B) | Real-CUGAN |
---|
训练集 | 私有二次元训练集,量级与质量未知 | 私有二次元训练集,量级与质量未知 | 百万级高清二次元patch dataset | 推理耗时(1080P) | Baseline | 2.2x | 1x | 效果(见对比图) | 无法去模糊,artifact去除不干净 | 锐化强度最大,容易改变画风,线条可能错判, 虚化区域可能强行清晰化 | 更锐利的线条,更好的纹理保留,虚化区域保留 | 兼容性 | 大量windows-APP使用,VapourSynth支持, Caffe支持,PyTorch支持,NCNN支持 | PyTorch支持,VapourSynth支持,NCNN支持 | 同Waifu2x,结构相同,参数不同,与Waifu2x无缝兼容 | 强度调整 | 仅支持多种降噪强度 | 不支持 | 已完成4种降噪程度版本和保守版,未来将支持调节不同去模糊、 去JPEG伪影、锐化、降噪强度 | 尺度 | 仅支持1倍和2倍 | 仅支持4倍 | 已支持2倍、3倍、4倍,1倍训练中 |
2. Win使用简介
修改config.py配置参数,双击go.bat运行
搬运自https://github.com/bilibili/ailab/blob/main/Real-CUGAN/README.md
3. 实际操作
-
模型存放: 将 updated_weights.zip 下载后新建 weights_v3 文件夹,将模型解压进去 -
修改参数: 打开config.py,修改参数,里面的备注写的很清楚了,一般只用修改scale、tile、nt三个参数,文件夹路径自己输入即可,想使用别的model的话直接修改即可,以下是我的修改结果。
#超分倍率
scale=4
#参数路径,可更换
model_path2 = r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\weights_v3\up2x-latest-no-denoise.pth"
# model_path2 = "weights_v3/up2x-latest-denoise3x.pth"e
model_path3 = r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\weights_v3\up3x-latest-denoise3x.pth"
model_path4 = r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\weights_v3\up4x-latest-no-denoise.pth"
#超分模式,视频or图像文件夹
mode="image"#video#image
#早期显卡开半精度不会提速,但是开半精度可以省显存。
half=True
#tile分为0~4一共5个mode。0在推理时不对图像进行切块,最占内存,mode越提升越省显存,但是可能会降低GPU利用率,降低推理速度
tile=4
#超图像设置
device="cuda:0"#0代表卡号,多卡的话可以写不同config并行开,显存多的话一张卡也可以开多个
input_dir=r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\picture"#输入图像路径
output_dir=r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\output"#超分图像输出路径
#超视频设置
inp_path="../东之伊甸4raw-clip10s.mp4"
opt_path="../东之伊甸4raw-clip10s-2x.mp4"
#线程数:6G显存<=720P可写2,6G显存+1080P写1,12G可写2,24G可写4,边缘显存量爆显存降低线程数
nt=2
#显卡数
n_gpu=1
#别乱动
p_sleep=(0.005,0.012)
decode_sleep=0.002
#编码参数,不懂别乱动;通俗来讲,crf变低=高码率高质量,slower=低编码速度高质量+更吃CPU,CPU不够应该调低级别,比如slow,medium,fast,faster
encode_params=['-crf', '18', '-preset', 'medium']
-
运行模型: 将要超分的图片放入picture文件夹中,运行go.bat,如果显存没超的话,运行完如下图所示。 ps:我的3060爆了好多次显存,等开学了用3080跑一下试试。 最后的对比图来啦: 原图: 超分后:
4. 总结
最后的成图确实惊艳到我了,不得不说叔叔还是懂大家,现在坐等更新新的模型。
|