|
来源｜MIT Technology Review 文｜Will Douglas Heavenarchive 编辑｜杨雪涵 《Frost》这部电影最初几个镜头，展现出了神秘而令人不安的氛围。广阔的冰山、临时搭建的军事风格帐篷营地、一群围着篝火蜷缩的人，还有不停吠叫的狗。这些都是熟悉的元素，但又足够诡异，让人心生不安。总感觉有些不对劲。有人说：“把尾巴递给我。”随后镜头切换到一个男人在篝火旁咀嚼一块肉干的特写镜头，这画面令人作呕。他的嘴唇动作看起来不太正常，有一瞬间，他似乎正在咀嚼自己冻僵的舌头。“我们步入了一个阶段，不再追求准确性，开始追求 DALL-E 的怪异之处，”来自底特律的视频创作公司Waymark 的 Stephen Parker 说道。该公司制作了电影《Frost》。
《Frost》是一部时长12 分钟的电影。其中每一镜头都是由图像生成的AI创建。它可以称得上在奇怪新流派中最令人印象深刻且奇特的电影之一。为了制作《Frost》，Waymark采用了执行制片人兼导演Josh Rubin编写的剧本，并将其输入OpenAI的图像生成模型DALL-E 2。在一些试错以确保模型能够生成他们满意的图像后，制片人们使用DALL-E 2生成每一个镜头。然后，他们使用了D-ID，一种能够给静止图像添加动作的AI工具，来为这些镜头添加动画，这样，眼睛、嘴唇都能够动起来。“我们根据DALL-E反馈的内容构建了一个世界，”Rubin说道，“这是一种奇怪的美学，但我们欣然接受了它，它成为了电影的风格。”“这无疑是我看过的第一部风格一致的生成AI电影，”独立电影制片人兼Bell & Whistle创始人Souki Mehdaoui说道。“生成静态图像并操控它们，这赋予了它们一种有趣的拼贴感。”在过去几个月，《Frost》是使用各种生成AI工具制作而成的短片之一，最好的生成视频模型只能生成几秒钟的视频。因此，当前的这批电影展示了各种各样的风格和技巧，从像《Frost》中的静态图像序列到许多几秒钟视频片段的混合。在二三月，为视频制作提供人工智能工具的公司Runway 在纽约举办了一场AI电影节。其中的亮点包括由图像生成模型 Midjourney 生成的奇异的塑料包装海洋生物构成的超现实作品《PLSTC》；由Jake Oleson执导的梦幻作品《Given Again》，该作品使用NeRF技术，将2D照片转化为3D虚拟物体；以及Sam Lawton执导的超现实怀旧之作《Expanded Childhood》，其展示了Lawton的家庭老照片，他让DALL-E 2将其扩展到了边界之外，让他可以设计并延伸这些旧照片的模糊记忆细节。Lawton向他的父亲展示了这些图片，并在电影中记录下了他的反应：“有一些说不出来的不对劲的地方。难道是我记错了？” 快速而廉价通常，艺术家是首批尝试新技术的人。当下，广告行业正在塑造生成视频。Waymark制作了《Frost》以探索如何将生成AI集成到其产品中。该公司为寻求快速而廉价的商业广告制作商提供视频创作工具。Waymark是一家初创公司，与Softcube和Vedia AI等公司一道，为客户提供仅需几次点击即可定制的视频广告。Waymark年初推出了生成视频广告的解决方案，汇集了多种不同的AI技术，包括大型语言模型、图像识别和语音合成。Waymark还利用了大量的非AI生成广告的数据集。这些广告是为以前的客户拍摄的。“我们有数十万个视频，”首席执行官Alex Persky-Stern说。“我们从中挑选出最好的部分，提炼出好视频的特征，并围绕它们进行了专门的训练。”Waymark以每月25美元起的分层订阅服务的形式提供服务。用户只需提供一个企业名称和位置就可以使用它。该工具首先会从该企业的网站和社交媒体账户中提取文本和图像。然后，它使用这些数据生成广告，使用OpenAI的GPT-3编写脚本，由合成的声音在突出显示企业业务的图像上朗读。一则时长一分钟的精美广告可以在几秒钟内生成。用户可以根据需要，微调脚本，编辑图像，选择不同的声音等等。Waymark表示，迄今已有超过10万人使用了这一工具。问题在于，并非每家企业都设有网站或可供选择的图像，Parker表示：“会计师或心理治疗师可能根本没有可用于生成视频的任何数据资产。”Waymark的下一个想法是使用生成AI为那些没有图像和视频，或者不想使用他们已有的图像和视频的企业创建图像和视频。“这就是制作《Frost》的动力，”Parker说。“创造一个世界、一种氛围。”《Frost》确实有一种氛围，但它也有些不完美。“这绝不是一个完美的媒介，”Rubin说。“有时要从DALL-E那里获得某些东西，比如面部的情感反应，确实有点困难。但也有的时候，它让我们感到高兴。我们会惊叹道：'天哪，这就是在我们眼前发生的魔法。’”随着技术的不断改进，这种欣喜与失望交替出现的过程将会得到改善。Waymark用来制作《Frost》的DALL-E 2仅在一年前发布。而短视频生成工具，只出现了几个月。Rubin表示，该技术最具革命性的方面在于能够随时生成新的镜头。“只需15分钟的试错，你就能获得你想要的那个完美融入序列的镜头。”Rubin想起剪辑电影时需要特定的镜头，比如山坡上的靴子特写。有了DALL-E，他只需召唤它。“这令人震惊，”他说，“那时，作为一名电影制作人，我开始有了真正的启发。”Private Island的联合创始人Chris Boyle是伦敦一家制作短视频的初创公司，他也回忆起去年对图像生成模型的第一印象：“当时我有一种眩晕的感觉，我想这将改变一切。”Boyle和他的团队为一系列全球品牌制作了广告，包括Bud Light、Nike、Uber和Terry’s巧克力。他们还为《使命召唤》等大作制作了短游戏视频。几年前，Private Island开始在后期制作中使用AI工具，并在疫情期间加大了投入。“在疫情期间，我们非常忙碌，但无法按照以前习惯的方式拍摄。我们那时更多地依赖机器学习，”Boyle说。该公司采用了一系列使后期制作和呈现视觉效果更容易的技术，例如使用NeRF从2D图像创建3D场景，以及使用机器学习从现有镜头中提取动作捕捉数据，而不是从头开始收集数据。但生成AI是新的技术前沿。几个月前，Private Island在其Instagram账号上发布了一个恶搞啤酒广告，使用了Runway的视频制作模型Gen-2和Stability AI的图像生成模型Stable Diffusion。这个视频成为了一个慢热的病毒式热门。视频名为《合成夏日》，展示了一个典型的后院派对场景，年轻人在阳光下放松身心，品尝他们的饮料。但许多人没有嘴，喝酒时他们的啤酒罐会陷入头部，这真是一场恐怖的表演。Boyle说：“一开始看它——它只是一个非常普通的、平庸的美国场景，”“但你的潜意识或者说你的大脑却在说，'啊，他们所有人的脸都朝后了。’”“我们喜欢利用媒介本身来讲述故事，”他说。“我认为《合成夏日》是一个很好的例子，因为媒介本身非常诡异。它可视化了我们对AI的一些恐惧。” 各显其能现有工具的调色板十分有限。《Frost》和《合成夏日》都充分发挥了制作它们的技术的优势。《Frost》非常适合DALL-E 2的怪异美学。Boyle表示，因为像Gen-2这样一次只能生成几秒钟视频的视频工具，需要将它们拼接在一起，所以《合成夏日》有许多快速剪辑。对于一个混乱的派对场景来说，这样做是有利的。Mehdaoui表示，除了一些实验性艺术家和一些品牌，还没有多少人在使用这个技术。不断变化的状态也让潜在客户犹豫不决。“我与许多公司交谈过，他们似乎有兴趣，但因技术变化如此迅速，而犹豫不前，不愿投入资源开展项目，”她说。Boyle说，许多公司也围绕着使用受版权保护的图像进行训练，如Stable Diffusion等模型的数据集而发生的持续诉讼感到警惕。Mehdaoui表示，目前没有人确切知道这将走向何方：“现在有很多假设被抛出，但背后没有太多细致的考虑。”与此同时，电影制作人继续尝试这些新工具。受到她的朋友Jake Olseon的作品启发，Mehdaoui正在使用生成AI工具制作一部短纪录片，以帮助消除关于滥用药物的社会污名。Waymark计划拍摄《Frost》的续集，但对DALL-E 2并不十分满意。“我认为这更像是'拭目以待’的事情，”Persky-Stern说。“在我们制作下一个作品时，我们可能会使用一些新技术，看看它能做什么。”Private Island也在尝试其他电影。今年早些时候，它制作了一个由ChatGPT生成剧本并由Stable Diffusion生成图像的视频。现在，他们正在制作一部混合影片，由戴着Stable Diffusion设计的服装的实际演员扮演角色。“我们非常欣赏这种审美，”Boyle说。他解释道，这与数字文化中的主导图像不同，后者已经被简化为表情符号和故障效果。“看到新的审美将来自何处非常令人兴奋。生成AI就像是一面破碎的镜子。”
*本号系创业家&i黑马人工智能领域垂直号。黑智，人工智能领域产业服务平台，专注AI行业报道，探讨AI商业价值。
|
