分享

释放双手!阿里达摩开源的AI全自动剪辑神器-FunClip

 风声之家 2024-04-30 发布于江苏

原文地址链接:

https://mp.weixin.qq.com/s/Vtvh9Ufv5spsNt_uS9-9EQ 

释放双手!阿里达摩开源的AI全自动剪辑神器-FunClip

大地 AGI科技前沿 2024-04-28 13:03 广西 2人听过

FunClip是什么

FunClip是阿里达摩院推出的一款完全开源、本地部署的自动化视频剪辑工具,通过调用阿里巴巴通义实验室的FunASR Paraformer系列模型实现视频的自动化语音识别。用户可以根据识别结果,选择文本片段或特定说话人,快速裁剪出所需视频片段。FunClip的特色包括集成高精度的中文ASR模型、支持热词定制化、说话人识别,以及提供Gradio交互界面,使得视频剪辑变得简单方便。此外,它还支持多段剪辑,并能自动生成SRT字幕文件。

FunClip的主要功能

自动化语音识别:利用阿里巴巴通义实验室的FunASR Paraformer系列模型,对视频进行语音识别,将语音转换成文字。

热词定制化:通过集成的SeACo-Paraformer模型,用户可以指定一些实体词、人名等作为热词,以提升特定词汇的识别准确率。

说话人识别:集成CAM++说话人识别模型,允许用户根据自动识别的说话人ID裁剪出特定说话人的视频段落。

命令行调用:除了图形界面,FunClip还支持通过命令行进行视频识别和裁剪,提供了更灵活的使用方式。

自动生成字幕:剪辑后的视频可以自动生成全视频和目标段落的SRT字幕文件,方便用户添加或编辑字幕。

多段剪辑支持:FunClip支持用户对视频进行多段剪辑,提供了灵活的编辑能力。

Gradio交互界面:通过Gradio实现的交互界面,简化了视频剪辑的操作流程,用户可以在服务端搭建服务并通过浏览器进行剪辑。

视频裁剪:用户可以选择识别结果中的文本片段或指定说话人,通过点击裁剪按钮获取对应视频片段。

FunClip的官网入口:

官方GitHub源码地址:

https://github.com/alibaba-damo-academy/FunClip.git 

ModelScope魔搭社区在线Demo:

https:///studios/iic/funasr_app_clipvideo/summary 

如何使用FunClip

方法一:本地部署Gradio版本

首先确定电脑上已安装Python和Git,然后打开终端依次输入并运行以下命令:

git clone

https://github.com/alibaba-damo-academy/FunClip.git 

cd FunClip && pip install -r ./requirments.txt

python funclip/launch.py

最后浏览器访问localhost:7860即可体验FunClip

方法二:在线体验魔搭社区Demo

访问魔搭社区提供的在线Demo,然后按照下方的步骤操作:

上传视频或音频文件(或使用下方的用例体验),点击「识别」按钮

复制识别结果中所需的文字至右上方,或者右设置说话人标识,设置偏移与字幕配置(可选)

点击「裁剪」按钮或「裁剪并添加字幕」按钮获得结果

方法三:命令行运行相关指令

打开终端依次输入并运行以下命令

https://github.com/alibaba-damo-academy/FunClip.git 

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多