分享

人工智能生成绘画指南

 江海博览 2022-06-10 发布于浙江

阅读提醒:全文3600字,需耗时15min

用文字和代码画画。

如果五年前有人说完全不会画画也能创作出视觉作品,大部分的人可能会觉得他疯了。但是在这五年,技术飞速发展,它已经不再是一个可爱的新鲜玩具。已经成长成一个让人措手不及的事物。接下来的时间,它会指数级别的发展,可能要不了一两年,我们就能被用文字提示自动生成的动画震撼。

在过去的三个月一直在接触人工智能生成绘画,从一开始的兴奋,震惊,到现在终于平静下来了。所以做一个小的总结,来聊一聊AI生成绘画是什么?有哪些生成工具?能做什么?可能会带来的影响以及可创意从业者应该怎么做?

AI生成绘画是什么?

这篇文章说的AI生成绘画主要指的是,通过对抗神经网络VQGAN CLIP 把文字语言和图像进行关联学习,从而实现只通过一段文字就能生成对应的图像的技术。目前的算法基本上都来自于openai,目前的生成工具因为算法和训练模型的不同,生成的图像的风格和特点也各有差别和优缺点。

这里推荐一个AIART的免费教程:https://github.com/johnowhitaker/aiaiart?utm_campaign=The Checkpoint&utm_medium=email&utm_source=Revue newsletter

AI生成绘画的工具有哪些?

目前市面上的生成工具我大致分为三类:

入门体验版:以Dream by wombo为主

目前最热门的入门级的AI绘画应用是dream,这个APP很好入门也是免费的,只是生成的图像功能相对简单,而且像素偏低。除了这个还有nightcafe也是做的比较早,网站形式功能比dream强大很多,不过需要付费。
1 Dream by wombo
目前最火的AI绘画APP。覆盖全平台,支持网页,安卓,和苹果。目前免费。缺点是功能相对单一,像素低。

图片


2 night coffee

做的最早最完善的AI绘画工具。其实就是把DD这类的模型包装了一下,只有网站,功能跟DDV5差不多了。也是部分免费,限制性使用。缺点是性价比不如DDV5。

图片

3 starryai

口碑还不错的AI绘画APP。支持安卓,和苹果。每天免费5张图。比wombo出的图好点。

图片



专业版:一些google colab上的开源程序



1  disco diffusion

目前国内最火的是DD,也就是disco diffusion,有比较完善的教程,社群支持,工具本身也很强大稳定。国内见到的大部分AI绘画作品都是用DD做的,因为它的教程最多。

colab:https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/Disco_Diffusion.ipynb#scrollTo=TitleTop
使用文档:https://docs.google.com/document/d/1l8s7uS2dGqjztYSjPpzlmXLjl5PM3IGkRWI3IiCuK7g/edit
相关艺术家:
https://twitter.com/Somnai_dreams  somnai是DD的作者,同时也在MidJourney工作。
https://twitter.com/inigma_a  的作品也不错,推特上有很多。

我用DD制作的塔罗牌系列

图片



2 pytti

国外很火但是国内并不太熟悉,也有十分完整的使用文档和说明。

colab:https://colab.research.google.com/github/pytti-tools/pytti-notebook/blob/main/pyttitools-PYTTI.ipynb
使用文档:https://docs.google.com/document/d/1vXuzSpAxg2YijIE4uN14S5MoM5c98JpEXernsMoLjIM/edit#heading=h.4sg1gnlvqssq
相关艺术家:https://twitter.com/unltd_dream_co
Unlimited Dream 的一些作品

图片


3 JAX CLIP Guided Diffusion

风格很独特的一款,模型比较多,适合平面抽象几何风格,可批量处理。huemin用它做了很多浮世绘风格的作品。
colab:https://colab.research.google.com/drive/1hcDA5skuzk2IoC0wkQam4i-5k7c7iR1T?usp=sharing#scrollTo=zxGgJmRzq3Cs
使用文档:https://docs.google.com/document/d/11HWN5e57taWdpyZlW5s6gqzrwMsLlmOQivyJncOPPhE/edit
相关艺术家:https://twitter.com/huemin_art
huemin用jax做的相关作品

图片


AI绘画colab程序笔记本合集

https://docs.google.com/document/d/1ON4unvrGC2fSEAHMVb4idopPlWmzM0Lx5cxiOXG47k4/edit


顶级AI生成工具


1 dalle2

openai出品,可以媲美真实照片的生成质量,目前还在测试阶段,邀请码十分难拿到手。

官网:https:///dall-e-2/
相关介绍:https://www.zhihu.com/zvideo/1496565511983353856
相关测评:http:///33akFh

一些dalle2可以做出的效果(更加的真实合乎逻辑)

图片



2 midjourney

目前可以玩到的仅次于dalle2的AI绘画工具,是DD开源项目作者Somnai参与的另一个项目,在处理人物和语义匹配上比DD做的好很多。我目前玩的最多的一款。

官网:https://www./app/
官方文档:https://midjourney./docs/
相关测评:顶级AI绘画程序:midjourney 内测与思考
艺术家推荐:https://twitter.com/NekroXIII

nekroxlll用mid做的作品:

图片


3 Imagen

google下场做的一款对标dalle2的语义生成图像的应用,看起来比dalle2还要厉害。但是目前连内测入口都没有。

官网:https://search.google/
新闻:https://mp.weixin.qq.com/s/frMxDJ0T2qZP-QgS21pFcg

一些相关作品

图片



AI生成艺术可以给我们带来什么?


艺术的民主化


大大降低了人们制作视觉作品的门槛,在我分享了一些AI生成艺术之后很多人联系我,大部分并不是艺术设计的从业者,但是他们都会需要跟插画师或者设计师沟通,而他们并不会画画,这让沟通有的时候变得特别的困难,大家都希望能够通过画面来表达自己的想法,但是并不是所有人都有时间精力和天赋去进行系统的绘画训练。而这个技术让这一切变成了可能。

创作者的助手和新的尝试


已经有很多原画师开始用AI来制作作品的demo,可以减少前期脑暴的时间,并且可以快速出图跟客户或者上级沟通。以往的创作过程前期也是需要大量的素材的收集和参考,现在素材可以自己生成了。另外,即使是专业的画师,也不可能精通所有的风格,但AI不一样,它可以通过深度学习,模仿古今中外所有的画风,甚至融合这些画风,画师可以借此来拓宽自己的界限。

图片

AI生成艺术的作品现在已经有很多发布出来成为NFT的作品,这个在国外已经有很多了。俄罗斯的首饰设计品牌monolama还联合过数字艺术家做过一个深度学习系列的胸针。

图片

而我自己也尝试过用AI生成的图来制作系列丝巾。还有更多的融合和尝试等着我们去发现。

代替图库用在PPT和文章配图


我觉得最应该有危机感的不是艺术家而是图库公司,如果你能够用文字生成对应的图片,为什么还需要用图库?这个应用太广泛了,PPT的配图,公众号文章的配图,小说的插画配图等等。

今天还看到有艺术家使用mid生成的图像,用substance 3D做成材质球,他表示这将对材质创作产生巨大的影响。相关文章:https:///articles/a-collection-of-materials-created-with-midjourney/


人工智能是否会造成威胁?


作为一个从事创意艺术行业并有人工智能知识的人来说:是的,它肯定会对我们的工作造成威胁,但并不是你想象的那样。

三百年前摄影术诞生,99%的肖像画被摄影取代,一部分艺术家被迫寻找新的表现形式,印象派,野兽派,抽象主义应运而生,艺术家不再开始追求那些绘画能做到,但是摄影做不到的事情;另一部分本该成为画师的人成为了摄影师,通过摄影来表达自己,为他人服务。几十年前计算机投入使用时,人们也一样担忧,但今天,由于这些计算机,我们创造了更多的就业机会,完成了更多的工作。人工智能只是另一种工具,它如何使用取决于使用它的人。

那么为什么它是一种威胁呢?它将造成破坏,传统工作将被淘汰,但会产生新的工作。所以人工智能无法取代艺术家,那些能够驾驭人工智能,或者在技术的夹缝中找到了新的表现形式的,会成为下一个时代的艺术家。

有个很好的例子可以说明这一切,在围棋领域几年前阿法狗战胜了柯洁,柯洁说他仿佛看到了围棋上帝,人类在围棋上永远无法战胜AI,觉得AI时代的围棋特别的无趣。另一边,天资一般的韩国棋手申真谞,通过不断的跟AI下棋,学会了很多新的思路,并且打败柯洁拿到了世界冠军。

在艺术设计领域也是一样,面对人工智能对绘画近乎碾压的技术,我看到了两种截然不同的观点。一种是兴奋的去尝试学习如何利用它更好的为自己的作品服务,比如已经有很多游戏原画师用AI生成的图片来做demo和灵感参考,还有插画师会结合手绘和AI的图片进行二次创作。另一种是觉得这些都不是艺术,是无价值的电子垃圾,然后开始例举传统艺术多么高贵,又或者开始恐惧,觉得自己之前学的一切都失去了意义。

我觉得三体里有一句特别适合用来回答,人工智能是否能取代艺术家这个问题,那就是:“弱小和无知不是生存的障碍,傲慢才是。”



创作者如何利用好科技?


每一次科技的进步,都会翻天覆地的改变艺术与设计。

其实从来就没有一项艺术可以脱离科技独善其身,所谓的传统艺术在几百年前都是那个时候的前沿尝试。古典主义绘画的生动和真实基于无数艺术家解刨尸体积累的知识,文艺复兴时期的绘画,需要有几何学、数学、解剖学、生物学和土木工程等学科的支撑。而抽象派的风格也是摄影术出现后的探索。

图片


Neri oxman 创作的一个关于创意力循环图表是这么展示的。科学家生产工程师所使用的知识,工程师生产设计师使用的实用程序,设计师生产被艺术家感受到的行为变化;艺术生产对世界的新观念,从而获得了关于世界的新信息,并激发了新的科学探究。

作为艺术设计的从业者,如果想要接触这些技术,最重要的其实是不要太把自己当成一个艺术家或者设计师,不要让专业变成束缚自己的壁垒。国外同时会艺术设计和代码编程的艺术家和设计师非常的多,而且很多工具的使用其实并不需要你真的具备完善的编程知识。比如AI生成艺术就有很多操作简单的软件,哪怕是复杂一些的disco diffusion 也并不需要你真的去写代码,知道怎么调整参数就行了。而且随着这个领域的发展,会有越来越多更简单更好上手的工具出现。

这些工具的学习,不会比高中数学更加复杂。但是如果你会编程,当然是更好的事情,这样一来你就可以自己创作使用的软件工具,而不是只能使用他人创造好的工具。保持好奇心,不要给自己设限,在最前沿的这部分没有教程,规则,和既定的学习路径。

其它AI工具资源


1  3D_Photo_Inpainting

一款可以将2D照片用AI算法转换成3D视频的程序,也是开源在colab上。https://colab.research.google.com/github/fzantalis/colab_collection/blob/master/3D_Photo_Inpainting.ipynb

2 artbreeder

一款AI捏脸软件,网上大部分的卡通真人化的都是用这个做的。https://www./

3 kyo

一款AI风格迁移软件,可以上传照片生成相关风格化图片。
https://kyo/en/

4 time-travel-rephotography

一个由华人研究员参与的老照片修复类项目,可以完美的把黑白老照片上的人脸修复成现代的逼真彩照。
https://time-travel-rephotography./?utm_campaign=The Checkpoint&utm_medium=email&utm_source=Revue newsletter

5 NVIDIA Canvas

英伟达做的一款涂鸦生成照片的人工智能应用。可免费在官网下载。
https://www./en-us/studio/canvas/

6 CogVideo

通过语义自动生成视频动画的AI模型。
https://github.com/THUDM/CogVideo

7 AI ART 资源汇总

上面类似的资源还有很多大家可以自己去看。
https:///tools.html

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多