分享

Stable Diffusion|儿童绘本全流程制作分享

 命運之輪 2023-12-12 发布于北京

一个小想法

现在大部分的孩子或学生都会写作文,如果把孩子写的作文转化为一个生动的小视频,是不是能够提高他们的创作成就感,同时也能激发他们对阅读和写作的兴趣呢?

1

前期准备


本文将会用到“Stable Diffusion”、“极虎漫剪”、“剪映”以及一个Stable Diffusion的插件“Agent Scheduler”。对了,还有绘本内容,绘本内容可以用AI语言大模型生成,或者如果有现成也可以,然后直接复制粘贴到一个Word文档上即可。

Stable Diffusion以及剪映我就不介绍啦。

1. 极虎漫剪前面分享小说转视频的时候有分享过这个工具,感兴趣的可以去看看。(本文只用此工具里面的智能分镜以及关键词推理)

极虎漫剪下载地址:https://tiger./landing

极虎漫剪的使用方法以及介绍:

Stable Diffusion|小说转视频/小说推文全流程制作分享

图片

2. Agent Scheduler插件安装,Agent Scheduler是一个Stable Diffusion里面的一个批量生成图片的插件。

Github地址:https://github.com/ArtVentureX/sd-webui-agent-scheduler

有三种安装方法:

1. 启动“Stable Diffusion”,点击“扩展”—“可下载”—在点击“加载扩展列表”,搜索关键词“agent scheduler”,点击“安装“,安装完成之后,重启一下“Stable Diffusion”即可。

图片

2. 从网址安装,复制Github的URL,将插件的URL粘贴到“扩展的git仓库网址”上,在点击”安装“,安装完成之后,重启一下”Stable Diffusion“即可。

插件Github URL:https://github.com/ArtVentureX/sd-webui-agent-scheduler.git

图片

3. 插件安装包安装,在Github下载该插件的安装包并安装到“Stable Diffusion”目录中的“extensions”文件夹中即可。

2

绘本制作


安装好所有的插件以及工具之后,就可以开始之后绘本啦。

1. 首先,启动“Stable Diffusion”,并打开“极虎漫剪”。

图片

2. 打开“极虎漫剪”,没注册的可以点击右上角注册,已注册并登录的,点击“创作视频”,输入”项目名称”然后再点击“创建项目”。

图片

3. 点击中间的“脚本文件导入”,分镜标识符选择“通过“智能解析”分镜”然后点击“导入文件”选择准备好的绘本导入即可。如果自己已经分好镜了,建议使用“Excel”导入。

图片

4. 绘本导入了之后,它会自动帮我们进行智能分镜。分完镜之后,点击左上角的“推理关键词”按钮,关键词推理完之后,点击“下一步”即可。

图片

5. 到了“批量绘图”这一步之后,它就会将关键词翻译成英文,极虎漫剪就可以用到这里了,我们只需要这里的分镜以及关键词。如果想继续用“极虎漫剪”可以直接“开始绘图”。之前已经详细介绍了使用“极虎漫剪”的方法,本文将介绍使用Stable Diffusion的插件“agent scheduler”来进行制作。

图片

6. 打开刚刚已启动的Stable Diffusion,选择一个用于制作绘本的大模型。

图片

这里的大模型我选择的是“manmaruMix_v30”很适合做儿童绘本的大模型,可以在“liblib”和“Civitai”上下载此模型。(在这里感谢这位模型作者的分享,谢谢!)

图片

7. 输入正向提示词和反向提示词。反向提示词用一个通用的即可,正向提示词这里在最前面可以加一些质量的提示词,然后后面的加上刚刚用极虎漫剪推理出来的提示词。

图片

对了,差点忘了!,点击菜单栏上的“Agent Scheduler”插件,然后点击“暂停”,在我们还未添加完所有镜头的提示词之前,最好先暂停,以防止在参数未设置好的情况下就开始生成。

图片

8. 设置绘本生成的参数,这里根据自己的需求设置一下就行。

图片

9. 设置好以上参数之后,点击“生成”下面的“排队”,它就会将这第一镜的提示词以及参数,发送到“Agent Scheduler”插件里面,然后将“任务ID”改为1或者第一镜的内容,这样可以更清晰的看到每一镜的参数。

图片

对于剩余的镜头,只需将剩余镜头的提示词依次粘贴到正向提示词中,然后点击“排队”即可。生成参数可保持不变。

10. 将所有的镜头添加完之后,可以检查一下看还有没有遗漏的或者有没有需要改的参数,然后点击左上角的“Resumer”就开始生成啦。

图片

11. 当图片生成完成后,点击“任务历史”可以查看刚刚生成的所有图片。如果对结果不满意,可以双击列表并调整提示词和参数。在调整后,点击右侧操作区的重新生成按钮,即可重新生成该镜头的图片。对满意的图片可以,点击保存,将图片保存下来。

图片

图片都准备就绪之后,可以通过图片处理工具进行文字添加,由此,静态的绘本便得以呈现。对于希望将其转化为视频的,可以继续往下看。

3

视频合成


在制作视频之前,我们可以利用绘本内容生成一段音频,以便后续更便捷地生成字幕。

1. 打开“TTSMaker”,将绘本内容复制并粘贴到输入框中。接着,选择语言以及音色。如果要进行更多设置,可以点击“更多设置”;若对此保持默认,只需点击“转换为语音”,即可生成音频。

TTSMaker链接:https:///

图片

2. 生成完成之后,点击下载音频即可。

图片

3. 音频生成完之后,打开“剪映”,将刚刚准备好的图片以及音频导入到剪映。

图片

4. 导入完成之后,可以把音频的气口处理一下。例如,如果某些地方的气口过长,可以适当剪短一些,这样会使听感更加舒适。

图片

5. 处理完音频之后,就可以开始生成字幕了,点击左上角的“文本”-“智能字幕”-“文稿匹配”将绘本内容复制粘贴进去,然后点击开始匹配。

图片

6. 字幕生成完成之后,选中所有的字幕,然后点击右侧有个锁的图标,将字幕锁住。(锁住字幕可以更方便的将图片与音频对上)

图片

7. 这一步就比较繁琐了,需要将图片跟音频对上。可以一边看“极虎漫剪”生成分镜,然后一边手动的将图片对上音频(如果嫌麻烦,可以在“极虎漫剪”上完成)。

图片

8. 接下来可以将字幕颜色以及字体稍微调整一下,然后添加一个背景音乐。

图片

9. 将背景音乐剪到一个合适的长度,然后背景音乐的音量调整到“-13.0dB” 左右,然后配音的音量调整到“8.0dB”左右即可。确保背景音乐的声音不会超过配音的音量。

图片

10. 目前的图片还是静态的,这里可以让图片稍微动起来一些。例如,可以给每张图片添加上下或左右移动的关键帧,这样可以让整个视频在视觉上更加生动、有趣。

图片

这里我将每一张图片都放大到了120%,并且给每一张图片都打了上下移动的关键帧(第一张图片的起始帧为100,结束帧为-200;第二张图片的起始帧为-100,结束帧为200,以此类推)。

10. 到这里就制作完成啦,如果还想加点东西,可以稍微加一些音效、特效等等。调整完之后,点击左上方的“文件”-“导出”导出视频。

4

最后


以上就是今天的所有分享。现在大部分孩子或学生都具备写作的能力,如果将他们所写的作文转化为具有生动情节的绘本、小视频,或者以孩子或自己为主角生成绘本,将带来一种独特的代入感,使整个写作或阅读过程更加有趣。

如果本文对你有帮助或者给你带来了一些创作灵感,欢迎点赞、在看、转发,谢谢~

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多