分享

一款可实现视频自动翻译配音为其他语言的开源项目!-

 风声之家 2024-04-17 发布于江苏

原创 予墨致远 予墨致远 2024-04-17 07:30  听全文

PyVideoTrans简介


    PyVideoTrans 可将一种语言发音的视频,翻译为另一种语言发音的视频,并嵌入该语言的字幕。 

比如一个英文视频,它的发音是英文,也没有中英文字幕,如果你用这个软件处理后,该视频就可以转成不仅带有中文字幕,并且还带有中文配音。

    PyVideoTrans 还有非常多音视频和字幕的相关处理工具,非常强大。 

    PyVideoTrans的核心是将FFmpeg的强大功能封装到易于使用的Python库中。FFmpeg是一个广泛认可的跨平台命令行工具,可以进行音视频的转换、合并、分割等操作。通过PyVideoTrans,你可以无需直接操作FFmpeg命令行,而是利用Python代码实现这些功能,提高了开发效率。

主要用途和使用方式


【翻译视频并配音】根据需要设置各个选项,自由配置组合,实现翻译和配音、自动加减速、合并等

【识别字幕不翻译】选择视频文件,选择视频源语言,则从视频【语音中识别出文字】并自动导出字幕文件到目标文件夹

【提取字幕并翻译】选择视频文件,选择视频源语言,设置想翻译到的目标语言,则从【视频语音中识别出文字】并翻译为目标语言,然后导出双语字幕文件到目标文件夹

【字幕和视频合并】选择视频,然后将已有的字幕文件拖拽到右侧字幕区,将源语言和目标语言都设为字幕所用语言、然后选择配音类型和角色,开始执行

【为字幕创建配音】将本地的字幕文件拖拽到右侧字幕编辑器,然后选择目标语言、配音类型和角色,将生成配音后的音频文件到目标文件夹

【音视频识别文字】将视频或音频拖拽到识别窗口,将识别出文字并导出为srt字幕格式

【将文字合成语音】将一段文字或者字幕,使用指定的配音角色生成配音

【从视频分离音频】将视频文件分离为音频文件和无声视频


【音视频字幕合并】音频文件、视频文件、字幕文件合并为一个视频文件

【音视频格式转换】各种格式之间的相互转换

【文字字幕翻译】将文字或srt字幕文件翻译为其他语言

【人声背景乐分离】将视频中的人声和背景音乐分别分离出来,生成2个音频文件

应用场景


PyVideoTrans适用于多个领域:

教育与科研:在数据分析和计算机视觉项目中,视频预处理是必不可少的一环。

多媒体开发:构建视频编辑应用程序时,可以用PyVideoTrans作为后端处理引擎。

人工智能:在训练模型时,需要将大量视频数据转换成一致的格式。

个人项目:轻松处理个人视频集合,例如转换格式、压缩大小等。

源码部署


1.配置好 python 3.10->3.11 环境,建议3.10


2.git clone 

https://github.com/jianchang512/pyvideotrans 

3.cd pyvideotrans


4.python -m venv venv


5.win下执行 %cd%/venv/scripts/activate,linux和mac执行 source ./venv/bin/activate


6.pip install -r requirements.txt,如果遇到版本冲突报错,请使用 pip install -r requirements.txt --no-deps


7.windows 和 linux 如果要启用cuda加速,继续执行 pip uninstall -y torch 卸载,然后执行pip install torch==2.1.2 --index-url 

https://download.pytorch.org/whl/cu121 

。(必须有N卡并且配置好CUDA环境)


8.Linux 如果要使用 CUDA 加速,还需要额外执行安装 pip install nvidia-cublas-cu11 nvidia-cudnn-cu11


9.win下解压 ffmpeg.zip 到根目录下 (ffmpeg.exe文件),linux和mac 请自行安装 ffmpeg,具体方法可"百度 or Google"


10.python sp.py 打开软件界面


11.如果需要支持CUDA加速,需要设备具有 NVIDIA 显卡,具体安装防范见下方 CUDA加速支持


12.Ubuntu 下可能还需要安装 Libxcb 库,安装命令

sudo apt-get update

sudo apt-get install libxcb-cursor0


13.Mac下可能需要执行 brew install libsndfile 安装libsndfile


最后


    无论是对于抱持浓厚兴趣的视频剪辑业余玩家,还是久经沙场的专业开发人员,PyVideoTrans均能凭借其出色的性能,提供一种前所未有的高效便捷视频编辑体验。但要注意的是,由于PyVideoTrans使用机器翻译和语音合成技术,因此对于某些复杂或专业领域的文本,可能存在一定的误差或不足之处。用户在应用时需自行校验和修正,并且,对于大型视频文件,翻译和配音可能需要较长时间。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多