AI助力视频创作：从灵感到成片的一站式解决方案！

扫除AI绘画的迷雾，全面解读AIGC的秘密！

加入《AI绘画与AIGC实践之路》专栏，一睹究竟！

在数字化时代，人工智能的应用已经深刻地改变了我们的生活方式，我们不仅能够利用AI技术来提高生产效率，也能够利用它来创作艺术作品。如今，随着人工智能技术的不断发展，AI软件不仅能够帮助我们创作音乐、绘画、文学作品等，还能够帮助我们创作短视频。在本篇文章中，我将带领大家使用ChatGPT、Midjoureney、PixMotion、Gen2等AI软件来创建短视频，并分享一些技巧和注意事项。

一、创作故事

对于很多AI绘画者，经常遇到被一张Midjourney画出的图像打动的时刻，打动我们的也许是画面风格、也许是画面气氛、也许是画面中人物的表情、姿态等等，这些其实都包含在Midjourney的这句提示语中。

例如看到上面这张图片，你脑海中也许会浮现出一个故事情节，也许是怀旧的，也许是幽怨的，也许是王家卫风格闪现。

因此我编写了一个ChatGPT模板，可以根据已有的一个Midjourney提示语，快速创建故事情节、故事脚本、关键画面提示语的ChatGPT模板。我们把这句提示语输入给ChatGPT，AI即可根据我们的设定，完成一系列的工作，最重要的是可以保持这个系列生成图像的风格一致性。这篇文章用到的提示语中包含了王家卫风格，因此后续的图片、视频都以此风格在向王导致敬！

上面这个截图就是我编写的短视频创作模板，ChatGPT将会根据这个Prompt一次性的输出完整故事情节、画面构成、Midjourney提示语、故事标题，例如下面的示范输出：

二、绘制图像，添加台词

一旦我们有了Midjourney提示语，只需简单将提示语导入Midjourney，即可生成对应画面的图像，他们具有统一的风格、情感或某种内在的关联。接下来的步骤就是为每个画面添加台词脚本。我们可以再次给ChatGPT相应的Prompt，为每个画面生成对应的台词。这些台词可以是角色的对话，也可以是旁白的描述。

例如下面这个输出是每个画面对应的台词示范：

1. “曾经多少次，我幻想在这样的夜晚遇见你。”

2. “你还记得我吗？还记得那个曾让你心动的人？”

3. “那个夏天，那些梦一样的时光，是我们一起走过的吧？”

4. “我已不是曾经的我，而你也不再是当年那个清纯女孩。”

5. “风儿轻轻吹过，带走了我心中无法抚平的伤痕。”

6. “我仍无法忘记我们的爱，那如同烟花般短暂却刻骨铭心的爱。”

7. “或许，离开才是最好的结局，让一切成为过去的记忆。”

8. “记忆如同沉重的包袱，让我在这漫漫长夜无法前行。”

9. “夜，如同一张无尽的黑幕，淹没了我们曾经的美好。”

10. “风儿吹过，带走了那段曾经的爱恋，留下一片荒凉的街道。”

这些台词可以在后期使用AI从文本转换成语音，作为视频中的对白。

三、添加镜头移动方式

为了让视频更生动，我们需要为每个画面添加一个镜头移动方式。这个步骤需要再次给ChatGPT相应的Prompt，为每个画面生成参考的镜头移动方式。我使用了下面这样的ChatGPT提示语：

这些参考的镜头移动方式仅供我们参考，能否完全呈现也取决于对软件的掌握程度以及对电影的理解等更多专业知识。下面的示范输出可以参考一下：

1. 镜头缓慢推进，聚焦在两人的眼神交汇之处。

2. 镜头靠近女人的脸部，捕捉她期待的眼神。

3. 镜头跟随两人后视，展示他们相互依偎的身影。

4. 镜头在男人的脸部和女人失望的表情之间切换。

5. 镜头缓慢拉远，捕捉裙子随风飘动的画面。

6. 镜头聚焦在女人泪水闪烁的眼眸。

7. 镜头慢慢拉远，呈现出男人离去，女人瘫倒在地的画面。

8. 画面：镜头从她的脚开始，缓慢抬升至她的脸部，展现出她内心的挣扎。

9. 画面：镜头跟随女人的背影，逐渐拉远，直至她消失在黑暗之中。

10. 画面：镜头缓缓旋转，逐渐转向天空，风吹过的声音随之渐强。

四、视频特效制作

完成了以上步骤后，我们就可以将完成的图像导入到一些视频特效软件中添加视频特效。在这个环节中，我推荐三个不同的特效制作软件。

1、图像插帧渐变特效

目前通过在多张静态图像之间插帧，生成动态渐变视频的AI技术有多种，这里推荐其中一个项目的多个Colab，只需上传静态序列图像，即可渲染生成插帧动画。

https://colab.research.google.com/drive/1tbbbnQge0yb0LmnWNchEKNhjtBNC6jX-?usp=sharing

https://colab.research.google.com/drive/1NuaPPSvUhYafymUf2mEkvhnEtpD5oihs

https://colab.sandbox.google.com/github/pytti-tools/frame-interpolation/blob/main/PyTTI_Tools_FiLM-colab.ipynb#scrollTo=-7TD7YZJbsy_

2、2D图像转3D特效

推荐网站：https://convert./

只需简单的导入图像，选择运动方向等简单的参数，即可快速生成动态视频，参数调整都可以即时看到效果，没有任何难度，所以也不在详细介绍，直接上网站试用一下就理解了。

3、添加运动特效

目前有一些简单的手机软件可以为静态图像添加动态效果，例如：PixMotion、Motionleap等软件。

这里我不做详细介绍了，使用起来非常简单，只需添加红色的运动轨迹，以及橙色的固定点，即可快速生成背景光影流动的效果，这是此软件的主要功能，此外还有一些添加简单的环境动画的功能，感兴趣的可以下载自己试用一下。

五、视频剪辑

完成了以上步骤后，我们就可以将完成的图像、视频导入到剪辑软件中进行视频制作，这里可以使用你习惯的软件完成。在这个环节中包括后期的台词合成、文本转语音配音、画面运镜、添加视频特效等操作。

六、总结

通过以上步骤，我们使用ChatGPT、Midjourney等AI软件完成了从一句提示语，到完整的短视频全过程。AI软件的应用帮助我们在创作故事、添加台词和镜头移动方式、特效生成等多个环节有了更高的效率。当然，这些软件并不是万能的，我们还需要自己的创意和专业知识来制作出高质量的视频。

————————————————

补充：

这篇文章原本是打算昨天发，前面第四部分介绍了使用多款AI软件为静态图像添加动态效果，原因是当时直接文本生成视频技术还不够成熟，无法应用在视频创作中。不料Runway最新发布了Gen2的内测权限，我简单用了一下后感觉效果惊人，于是决定用Gen2重新生成一遍视频版，补录在这里。

七、Gen-2视频制作

昨天的文章《炸了！GEN-2正式公测！Runway带领我们进入AI视频新时代！》已经介绍了目前Gen-2接受的三种输入方式：文字、图片、文字+图片。

我将前两个环节中ChatGPT生成的提示语+Midjourney生成的图片，直接输入Gen-2，生成了新的十个视频片段，在Gen-2中图片提示可以保证新生成的所有短视频具有统一的风格，而文字提示可以发挥Gen-2的语义解读能力。最后用剪映添加字幕合成，成片看下面。

我只能说效果相当惊人，对于我这样一个视频创作的外行来说，能看到从一段文字变成这样的视频，其震撼程度如同去年Disco Diffusion刚发布时一样。我一直认为，对于新技术，不要看他缺点是什么，而是看他优点在哪里，这样你才能走的更快。目前我使用这套工作流创作了多个视频，而这个工作流上的每个环节都随时在快速的进化着，我也会随时更新这套工作流。

通过本篇文章的介绍，相信大家已经对使用AI软件来创作短视频有了一定的了解。当然，这只是AI技术在创作领域的一个方向，未来还会有更多有趣的应用。对这套工作流感兴趣的朋友，可以加入《2023 AIGC从入门到精通专栏》，试用这个ChatGPT短视频创作模板！