|
原创 开山怪 火星AIGC 2024-04-15 17:01 四川 听全文 腾讯旗下的天琴实验室刚刚开源了AI数字人MuseV项目，项目全称是：基于视觉条件并行去噪的无限长度和高保真虚拟人视频生成（MuseV: Infinite-length and High Fidelity Virtual Human Video Generation with Visual Conditioned Parallel Denoising）。MuseV和其稍后发布的MuseTalk视频唇形同步是一套完整的AI数字人解决方案。随着这两个项目的开源我们可以免费制作不限时长的AI数字人了。先看看官方demo 项目特点1.不限时长2.文本到视频生成3.视频到视频生成4.兼容 Stable Diffusion文生图生态系统，包括基础模型、Lora、Controlnet等 5.支持多参考图像技术，例如IPAdapter、ReferenceOnly、IPAdapterFaceID等 技术图示模型结构示意图 并行去噪算法示意图 使用方法目前MuseV开源项目有四种使用方法。1.根据技术说明，自行克隆部署。项目地址： github.com/tmelyralab/musev 2.官方在抱抱脸上开启了了Demo试用。Demo地址： huggingface.co/spaces/AnchorFake/MuseVDemo 3.Windows本地部署一键运行。这个是B站大神“十字鱼”做的一键运行整合包，直接下载解压就可以一键运行。 地址网盘: https://www./s/Pf5Yjv-Bb9W3.html 网盘里有两个文件，另一个是MuseTalk，下载后解压MuseV这个文件，然后点“01运行程序”这个文件。 除了Video Length视频时长外，其他参数都可以不变，默认每秒6帧，时长12就代表生成2秒视频。 默认 W&H 为 -1，使用参考图像的尺寸。目标视频的大小为( W ,H ）。图像尺寸越短，运动幅度越大，视频质量越低。W&H越长，运动幅度越小，视频质量越高。注意事项：最好放在C盘全字母的文件夹；运行前开启魔法网络，因为还要自动下载几个模型；12G显存以上显卡，越大越好。4.SD Comfyui运行。在管理器中安装节点页面搜索“MuseV”，然后点安装 下载工作流导入Comfyui。 工作流下载地址：github.com/chaojie/ComfyUI-MuseV 整体来说效果不错，目前可控制的部分很少，图像越大，动作幅度越小，推荐不要超过1024。图像越大越吃显存，耗时也比较长，我生成一个1024*1536的10秒视频花了1个多小时，用的2080Ti 22G显存。下次再讲另一个MuseTalk唇形对准项目，这个更好玩。 |
|
|
