【原】快让想象力跟上AI的发展！Meta AI 推出文本生成视频模型 #Make-A-Video

AI 已经能让 “一句话” 诞生出巨大的生产力了。

#

文本-图像、文本-3D模型、文本-视频......

Meta AI 发布了文本生成视频模型 Make-A-Video

#

未来的编剧就是导演？

真的看到任何人都能落地自己想象力的时代来临了

小杜

Make-A-Video 可以让我们仅用几句话或几行文本生成异想天开、独一无二的视频。促进想象力变为现实的AI工具包发展得越来越多样了～

Make-A-Video

Meta AI 提出的 Make-A-Video 是一种将文本到图像 (T2I) 生成方面取得的巨大进展直接转化为文本到视频 (T2V) 的方法。

Make-A-Video 具有三个优点：
1. 它加速了 T2V 模型的训练（它不需要从头开始学习视觉和多模态表示）
2. 它不需要成对的文本视频数据
3. 生成的视频继承了当今图像生成模型的广泛性（审美多样性、奇幻描绘等）。

目前 Make-A-Video 支持哪些视频类型的生成？ 

Mixlab

小杜

项目网站中介绍的 Make-A-Video 支持「超写实主义」、「现实主义」、「风格化」类型的视频生产

不同风格的生成视频

除了文本生成视频，Make-A-Video 还支持哪些视频生成的创意玩法？

Mixlab

小杜

Make-A-Video 也支持单张图片生成视频，或者两张图片合成视频。

视频生成创意玩法-图片合成视频

小杜

除了文本/图片到视频生成， Make-A-Video 甚至支持输入视频后再进行AI的创意DIY输出！

视频生成创意玩法-视频DIY

看来以后真就能靠一张嘴输出一整套创意视频了

Mixlab

小杜

目前 Make-A-Video 展示的生成视频质量还不高，期待模型后续的迭代，感兴趣的同学也可以在项目网站进行内测申请哦～

Make-A-Video 画廊

项目地址：
makeavideo.studio

CogVideo 也是文本生成视频的模型

#

CogVideo 是目前最大的通用领域文本到视频生成预训练模型，含94亿参数。CogVideo将预训练文本到图像生成模型（CogView2）有效地利用到文本到视频生成模型，并使用了多帧率分层训练策略。

我也找到了一个文本生成视频的模型 Imagen Video ，虽然创意玩法上没有 Make-A-Video 丰富，但生成视频质量上要优秀许多。

#

Imagen Video 是一个基于级联视频扩散模型的文本条件视频生成系统。给定文本提示，Imagen Video 会使用基本视频生成模型和一系列交错的空间和时间视频超分辨率模型生成高清视频。

小杜