实战：让人物口型完美匹配音频的AI魔法，轻松制作AI数字替身

/原文链接查看

Wav2Lip：制作教程

Wav2Lip 是一个使用深度学习技术将人物口型与给定音频同步的开源项目。它基于 PyTorch 实现，可以处理实时视频和图像序列。Wav2Lip 的优势在于它可以处理各种说话风格和语言，同时生成自然且准确的口型同步效果。本教程将指导您完成 Wav2Lip 的安装和使用过程。

准备工作

在开始之前，请确保您的计算机上安装了以下软件和库：

• Python 3.6 或更高版本

• ffmpeg

• git

• opencv-python

• opencv-contrib-python

我这里实验使用的环境如下：

操作系统：Ubuntu 18.04 64位

CPU ：intel Xeon(R) E5-2682 V4@2.5GHz *1

内存RAM：32GB

显卡： 英伟达Tesla P4   8G GDDR5

第 1 步：下载 Wav2Lip 项目

首先，克隆 Wav2Lip 项目的 GitHub 仓库：

git clone https://github.com/Rudrabha/Wav2Lip.git

接下来，导航到项目文件夹：

cd Wav2Lip

第 2 步：安装依赖项

安装项目所需的 Python 依赖项。首先，创建一个虚拟环境：

python3 -m venv venv

激活虚拟环境（Windows 用户请运行 venv\Scripts\activate）：

source venv/bin/activate

使用 pip 安装依赖项：

pip install -r requirements.txt

这里安装的时候可能会因为requestments.txt中标注的opencv以及torch的版本过低报错：

                                              openCV报错

torch报错

所以这里需要修改一下requestments.txt为如下内容，安装OpenCV和TORCH的时候可能需要等待挺长时间，根据你的电脑配置以及网速来决定。我到这里就很慢，等了很久。如果安装不上的库，就得独立安装一下。

requestments.txt

librosa==0.7.0numpy==1.17.1opencv-contrib-python>=4.2.0.34opencv-python==4.1.0.25torch==1.1.0torchvision==0.3.0tqdm==4.45.0numba==0.48

第 3 步：下载预训练模型

从项目的 发布页面 下载预训练的 Wav2Lip 模型。将下载的文件解压缩到 Wav2Lip/checkpoints 文件夹中。

https://www./downloads/python-fan/s3fd-619a316812.pth

第 4 步：准备输入文件

为了使用 Wav2Lip，您需要准备一个视频文件（包含说话者的画面）和一个音频文件（包含要同步的音频）。确保视频和音频文件的长度相匹配。

第 5 步：运行 Wav2Lip

使用以下命令运行 Wav2Lip：

python inference.py --checkpoint_path checkpoints/wav2lip.pth --face input_video.mp4 --audio input_audio.wav --outfile output_video.mp4

其中：

• --checkpoint_path：预训练模型的路径。

• --face：输入视频文件的路径。

• --audio：输入音频文件的路径。

• --outfile：输出视频文件的路径。

运行此命令后，Wav2Lip 将开始处理输入文件并生成输出视频。

显存不够多线程时候会报错

经过耐心等待，输出训练后的视频

第 6 步：查看结果

在完成生成后，您可以使用任何视频播放器查看 output_video.mp4 文件。您应该会看到说话者的口型与输入音频完美同步。

结束语

恭喜！您现在已经成功使用 Wav2Lip 生成了一个口型与音频同步的视频。您可以尝试使用。因为这台服务器显卡不太行，就只做了一个比较短的demo仅供大家参考：

00:19

最后再加一个自我介绍

01:19

李连活