【原】提升Diffusion模型生成效果#FreeU

本文提出了一种名为FreeU的方法，它在不增加训练、参数和内存或采样时间的情况下，显著提高了扩散模型样本的质量。该方法适用于Diffusion U-Net，能够生成高质量的样本。研究结果表明，使用FreeU可以改善视频到视频的样本生成效果。

精华：

• 提出了FreeU，这是一种在没有额外成本的情况下，显著提高扩散模型样本质量的方法。

• FreeU适用于Diffusion U-Net，可以生成高质量的样本。

• 实验结果表明，使用FreeU可以改善视频到视频的样本生成效果。

为了更好地理解论文，我们通过模拟作者的角度来问答。

#Mixcopilot 角色功能

Q：

freeU是怎么做到增强unet模块的？

A：

FreeU通过重新加权U-Net的跳跃连接和主干特征图的贡献来增强U-Net模块。具体而言，FreeU利用了U-Net架构的两个组成部分的优势，将其贡献进行策略性的重新加权。这样可以充分利用U-Net的主干模块进行去噪，并将高频特征引入解码器模块，从而改善生成质量。通过调整两个缩放因子，FreeU可以在不进行额外训练或微调的情况下实现对U-Net模块的增强。

Q：

具体是什么样的技术？

A：

在传统的扩散模型中，生成新的像素点是通过对已有像素点进行随机扩散和更新来实现的。然而，这种方法可能会导致生成的像素点不够真实或存在模糊的问题。

而FreeU通过引入一种名为Rerender的操作来改进扩散模型的采样质量。Rerender操作可以看作是一种重新渲染的过程，它使用已有的像素点和一些额外的信息来生成更加真实和清晰的像素点。

FreeU通过在扩散模型的每个扩散步骤后引入Rerender操作，来提高生成像素点的质量。利用已有的像素点和一些额外的信息，例如颜色、纹理等，来重新计算每个像素点的值。

在ComfyUI里，也有FreeU的组件，使用非常简单，只要把model接上，然后再拉出来使用就行了。

欢迎加入AI创作者社群

最近开通了comfyui社群