从视频合成到配乐剪辑，全由AI操刀完成：首部AI科幻电影《创世纪》预告片震撼登场

天承办公室 2023-07-31 发布于江苏

展开全文

机器之心报道

编辑：杜伟、泽文

让我们看看，AI眼中的科幻电影《创世纪》是怎样的？

最近两天，一则时长不到一分钟的科幻电影预告片《Trailer: Genesis》（《创世纪》）在社交媒体上火了起来。

是不是很科幻呢？更「科幻」的是，从图像视频合成、音乐到剪辑，所有一切都是由 AI 完成的。

制作者 Nicolas Neubert 列出了对应的 AI 工具，其中 Midjourney 处理图像、Runway 处理视频、Pixabay 处理音乐、CapCut 剪辑视频。

Midjourney 是大家熟悉的 AI 绘图神器，目前已经更新到了 5.2 版本。Runway 是基于 AI 的视频制作生成工具，目前 Gen-2 已经开启免费试用。CapCut 剪辑工具对所有人免费，不过也可以选择在 Adobe Premier 或 Final Cut Pro 中剪辑。

推特 @iamneubert

据了解，Neubert 花了 7 个小时，Midjourney 生成了 316 条提示、放大了 128 张图像，Runway 生成了 310 个视频，还有一个带有文本的视频，预告片中共使用了 44 个视频。

今天，Neubert 更是撰写了一篇长文，详细介绍了《创世纪》的制作过程，包含了具体流程、如何使用上述 AI 工具。我们一一来看。

关于电影想法，他表示自己反乌托邦主题的想法来自自己看过的几部电影，并以它们为基础编写了一个故事。

正式制作的第一步是构建世界和故事。

对于预告片《创世纪》的故事情节，Neubert 想一步步地增强紧张感。因此定义了以下 3 个阶段：

设置场景
引入威胁
CTA 中的高潮

具体地讲，Neubert 先制作预告片的第一个文案草稿，包括「分享一切、承担后果然后呼吁人类采取行动」。

这样定义了整体基调后，他开始围绕这些主题生成相应的场景。Neubert 滚动了大量有关环境、军事科技、战斗主题的人类和科幻剪辑，然后从中收集到一个故事。

同时为了增加一些深度，他添加了三个带有发光护身符的孩子的镜头，暗示了更深层次的故事情节。

第二步是在 Midjourney 中生成连续的图像。

这里要特别注意提示（prompt）。Neubert 对自己在以往帖子中获得的稳定提示进行了优化，创建了一个模板，这样在预告片的每个镜头中都能重复使用它。模板如下：

___________，星球大战、风格为精细的人群场景、朴实的自然主义、青色和黄色、寒霜朋克、室内场景、cinestill 50d—ar 21:9— 原始风格

对于每个场景，他都会用自己想要的场景来填补空白，确保其他 tokens 最大限度地保持主题、颜色和照明的连贯性。

此外利用强变化（Strong Variations）功能，使得更容易创建不同的场景，同时保留之前的调色板。女战士的场景可以转变为普通公民、网络黑客或战斗的场景，无需生成新的提示。

第三步是在 Runway 中生成动画图像。

Neubert 发现这一步是最简单的。在设置上，他总是尝试激活放大（Upscaled）模式。不过该模式常常遇到面部问题，所以针对人物镜头，他通常使用标准质量。

值得注意的是，他没有使用文字提示与图像提示相结合的方式，而是拖放一张图像并重新生成它，直到得到自己满意的结果。

最后一步是在 CapCut 后期剪辑。

在 Midjourney 和 Runway 生成输出的同时，Neubert 首先放置自己知道将发挥重要作用的关键场景。就预告片而言，他认为外景镜头将成为开场。

接着开始计划文本。当根据音乐来定位文本时，时间轴中没有任何剪辑，这是有可能的。他在不到一个小时的时间里就按照时间线编好了内容并定了位。这对生成图像很有帮助，你需要一个额外的固定点来考虑仍然缺少了哪些场景。

具体的步骤变得很简单，生成剪辑→ 将它们拉入 CapCut → 放置在时间轴上，然后慢慢拼凑故事。他还对 2 到 3 个编辑包进行了颜色匹配，让它们看起来更像宏大的电影场景。

使用 CapCut 唯一需要的技巧是对剪辑进行节拍的同步。当音乐中出现「BWAAA」时，他总是尝试连接剪辑内的动作或者排列后面的剪辑。这会令整个序列更有身临其境的感觉。

此外 Neubert 还考虑了如何在剪辑中加入大量的动作。这里他使用了两个技巧来增加动作。

第一个技巧：Runway 会接收一张图像，然后根据模型计算哪些部分应该进行动画处理。他对这个思路进行了逆向工程，尝试在 Midjourney 中输出暗示运动的图像。这意味着可以在镜头中加入运动模糊或者可以捕捉移动头部或人物的静止图像。

第二个技巧：当你分析 Runway 视频时会发现在 4 秒剪辑中，场景经常发生很大的变化。因此在预告片场景中，他只使用了完整的 4 秒剪辑两次。所有其他剪辑的长度均为 0.5-2 秒，并将剪辑的速度提高了 1.5- 3 倍。这样做的原因是，作为观看者，你只能看到时间很短的剪辑，因而会在场景中感知到更多运动，本质上是快进了该部分。

一番操作下来，最终呈现出给大家的就是开头的那个震撼的《创世纪》预告片。该预告片也得到盛赞，有人表示，这是自己至今为止看过的最好的 Runway 生成视频。