分享

StoryDiffusion,一键生成动漫和视频的神器,我竟然现在才发现

 冲天香阵 2024-05-20 发布于甘肃

AI圆了我的动漫梦

小时候,我可喜欢看动漫了,电视剧上播放的动漫,我几乎都看过。

那个年代,陪伴我们度过童年的经典动漫太多了,比如《四驱兄弟》。

图片

那时候,一放学,到家把书包一甩,准点打开电视,听着熟悉的音乐“抬头望望天月亮在笑,低头看看地,浪花在跳,这个世界我们多么渺小...”,幸福就是如此简单。

看过那么多精彩动画片,我就想可不可以创作一个属于自己的动画片呢?

可惜我实在是没有绘画天赋和文学天赋。长大后也迫于生计,选择了计算机这个和动画片制作完全不相关的专业。

我本以为我的动漫梦永远也无法实现了,然而,AI的爆发,让我的动漫梦也有了一丝可能!

StoryDiffusion,漫画生成神器

传统的漫画创作对于我这种理科生来说,门槛是非常高的,其中,绘画的技术就是不可逾越的鸿沟。

不过现在好了,这些都不是问题!

今天要介绍的是开源、免费、生成连贯故事的神器--StoryDiffusion

这个工具是南开大学和字节跳动联合开发的故事生成软件,官方提供了huggingface的在线体验方式,我们也可以本地进行部署。

那么,StoryDiffusion能干什么?

我们一起来看看吧!

漫画生成

作为漫画生成的工具,在生成多幅图的时候,保持连贯性是非常重要的。从官方给的Demo来看(下方的图),StoryDiffusion是可以生成服饰一致、任务一致、并且剧情连贯的分格漫画。

图片

这个厉害了,目前,Stable Diffusion、midjourney、Dall-e3虽然也能生成风格一致的画,但是要多次调整提示词,很费时间,对于当今提倡效率为王的社会,这种低效的方式不是大家所推崇的。

除了这个例子之外,还有其他的例子,下面的这个例子主题是“Girl and Squirrel”,看起来很像是新海诚风格的漫画,总体感觉还不错。

图片

视频生成

漫画生成是我比较在意的功能,视频生成也是我关注的功能。

今年的AI发展太快了,视频生成能力今年已经又不少产品了,比如pika、runway gen-2,以及还没有面世的sora.

StoryDiffusion通过图像语义运动预测器和用户输入图像作为条件来生成高质量的视频。

官方给出了不少Demo视频,太多了, 我就挑了几个,让大家点评点评。

看起来是不是很酷?如果配上BGM、配音,不比大片的效果差!

StoryDiffusion如何用呢?

吹了那么久了,那么这个工具要在哪里用呢?要不要花钱?

传送门如下:https:///spaces/YupengZhou/StoryDiffusion

StoryDiffusion提供了huggingface的体验地址,我们可以完全免费使用。当然,也是可以下载到本地进行部署的.

好了,本次分享先到这里。下一篇,将会详细讲讲,StoryDiffusion如何使用?能不能用到我们的生产工作流中?

下一期,即将揭晓。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多