分享

完蛋!我被美女包围了…我们可以用AI做100款类似的吗?

 Mixlab交叉学科 2023-10-29 发布于上海

几天,一部名为《 完蛋!我被美女包围了!》的游戏爆火了。这是一款全动态影像单人视觉小说游戏。

视觉小说,能否用生成式AI来制作?


我之前一直想测试#视觉小说工作流,今天抽空花了2个小时快速地验证下整体的流程。

主要使用了以下几种工具/技术:

Ren'Py
Ren'Py是一个开源的视觉小说引擎——帮助你使用文字、图像和声音来讲述互动故事。类似于Markdown语言,提供了易于使用的脚本语言,任何人都可以高效地撰写大型视觉小说。

LLM - ChatGPT
自发布以来,展示了非常强大的文字生成能力,可以根据规则和任务要求执行文本的生成任务。

MixCopilot
知识引擎,提供AI工作流编辑和执行功能,完成AI使用流程的自动化。

ComfyUI
基于Stable diffusion的节点式UI,低显存占用,完成SD使用流程的自动化。


测试的DEMO效果如下视频所示:



创建游戏
使用Ren'Py新建游戏,主要修改script.rpy文件。


visual code编辑器里安装插件


所涉及的语法,本次主要包括人物定义,对白,旁白,图像和转场。



把生成的文字粘贴到script.rpy 里,重新加载游戏,体验下效果:



接下来,填充视觉小说的剧情对白和图像。


# 编写prompt
设计prompt,实现故事的生成和格式化。

1 / 生成故事


2 / 让LLM学会输出renpy文件格式




# 搭建工作流
使用 MixCopilot 的用户输入和自定义 prompt 节点,完成文字生成工作流。


有了稳定的工作流,我们开始批量生产制作100款。

故事工作流:




# 图像生成工作流实现
使用 Comfyui 生成图像的工作流搭建,先把生成的故事,继续让 LLM 来描绘里面的画面,使用简单的 prompt,比如:“描绘下 medieval_forest 的画面”。把AI返回的图像描述粘贴到 Comfyui 的文字输入里,依次创建不同图像的生成流程。


    

本次实验耗时不多2小时完成了全部流程,整个流程还有很大的优化空间,主要包括:

renpy脚本生成的语法规则细化,比如人物出现在画面哪个位置这个语法的添加:

show xiaoming at right


人物表情的生成需要在脚本生成时考虑不同的表情,并输出图像的描述。


图像描述生成需要在脚本生成的时候,同时把涉及的场景、人物等图像描述,分类输出,供comfyui节点使用。



针对场景、人物的模型优化游戏风格、人物角色的一致性、场景细节等等需要分别优化。比如,针对人物,还需要优化抠图细节,避免破损等情况。





生成式人工智能让我们拥有了豪华的文案和具有创意的视觉团队,通过工作流的搭建,实现了流程的自动化,让创作具备了产品化的可能。如果你对工作流感兴趣,欢迎交流。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多