|
GAN，又有了新“玩法”。 最近，一个能够将视频直接转化成漫画的工具，引发了很大关注。 它的效果是这样的： Twitter上不少学者去围观，体验的效果是这样的： 有网友评价称，“漫威感”扑面而来。 效果直逼漫威？目前，Demo已经放出，量子位以《复仇者联盟3》中的一个片段为例，测试了一下实际效果，得到了这样的一幅图。 画面看上去的确非常惊艳，但是……如果不看原视频，只看这个漫画，你知道它讲的是啥吗？ ...... 现在给出正确答案： 体验Demo时，可以自己上传视频，也可以选择YouTube中的视频。当然，他们也提供了一些样本视频，可以直接体验。 如上图所示，在生成Demo时，还有一些选项，能够影响生成的漫画。 这些选项分别可以控制视频中帧的选择、每一帧的提取方法、图像评估方法，以及漫画的风格迁移模型。 这基本上也呈现出了项目团队的大致思路：使用基于强化学习的关键帧提取算法，提取视频中有意义且有代表性的帧，然后对关键帧进行评估，确认主要的画面之后，再进行使用GAN进行风格迁移，形成漫画风格。 在风格迁移方面，研究团队对当前已经发表的漫画风格迁移模型进行了研究，最后基于CartoonGAN的方法，利用MS COCO数据集训练出了自己的ComixGAN模型，作为Demo中的默认模型。 上手资料齐全这个项目，来自于波兰华沙理工大学。Demo网站提供了API接口。 GitHub上也有源代码。 当然，论文也出来了。 不过，特别吐槽的一点是，这个Demo网站不稳定到让人吐血，动不动就崩溃，有些时候直接罢工。 如果你对这个项目感兴趣，且有足够的“耐心”，下面的传送门请收好： 论文： https:///abs/1812.03473 Demo地址： https://comixify.ii./ GitHub： https://github.com/maciej3031/comixify — 完 — |
|
|
