分享

文生视频 Sora:假作真时真亦假,无为有处有还无

 古典读书治学 2024-02-20 发布于上海

1. Sora的发布,人工智能发展史上的一个里程碑事件。是继推出ChatGpt之后,有一个搅动整个互联网的事件。

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

提示:一个时髦的女人走在东京的街道上,到处都是温暖发光的霓虹灯和动画城市标志。她穿着黑色皮夹克,红色长裙,黑色靴子,拿着一个黑色钱包。她戴着太阳镜,涂着红色的口红。她走起路来自信而随意。街道是潮湿和反光的,创造了一个彩色灯光的镜子效果。许多行人走来走去。

2. 简单理解就是文本生成视频,视频我们也看了,比如东京街道女子视频,整体很真实,有一处腿交错有点问题,水面的倒影,眼睛的倒影,在动态中变化,符合自然的规律。很惊艳,虽然是虚构的,几乎以假乱真。有点石成金的错觉。

3. 这是构建的一个世界模型,理解自然规律,有很好的光影关系,时空关系,对这个物理世界的规律认识很有深度。

4. 我们再了解一下ChatGPT,ChatGPT是AIGC(AI-Generated Content,人工智能生成内容)技术进展的成果。该模型能够促进利用人工智能进行内容创作、提升内容生产效率与丰富度。ChatGPT受到关注的重要原因是引入新技术RLHF(Reinforcement Learning with Human Feedback,即基于人类反馈的强化学习)。RLHF解决了生成模型的一个核心问题,即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。ChatGPT出现后,我们也知道文生视频的出现是迟早的事情,只是没有想到不到两年的时间就出现了,这对整个互联网是个冲击。Sora是这个大语言模型的一个分支。


Sora生成

5. 让我们害怕的是,一个虚拟的世界来了,以后你不知道一个很生动的视频,到底是真实还是虚拟,以前我们知道动画就是动画,动漫和真实世界是区分开来的,而Sora生成的视频却和真实的世界很难区分,“假作真时真亦假,无为有处有还无”,红楼梦的太虚幻境来到了真实世界。



6. 当下的视频是无数张的图片在时间轴上的排布,往常的视频生成有不连贯的情况,而Sora用了space time patch技术,把时间微分,从二维结构跃升为三维结构,保证了视频在时间轴上的稳定性。原来的像素从二维变为三维。从像素面变成像素体。

7. Sora把绘图的过程的理解+ChatGPT非常擅长的difusuion transformer,Transformer是谷歌在2017年的论文《Attention Is All You Need》中提出的,用于NLP的各项任务。在机器翻译中,Transformer可以将一种语言翻译成另一种语言。Sora的特点就是有一定知识基础后可以持续学习,可以猜,可以蒙(我们也可以说是直觉),输出结果,然后知错就改,不断地成熟、成长,变得稳定,这就是喂养、训练AI。这就需要大量的参数,需要大量的算力,背后的基础设施是庞大的,投入也是我们普通人难以想象的。


Sora生成

8. 那么对于我们普通人有什么影响呢?或者说对于哪些行业会有影响呢?对于新技术,我觉得要有一个开放的态度。我平时写东西,偶尔也会用一用百度的文心一言,很好用,会给工作带来便利。Sora,首先冲击的是视频制作行业,首先是带来很大的便利。但是对于这个行业呢?从业人员肯定会减少,会造成大批的失业,也会造就新的职业。未来的工作,真实越来越难找了。但是呢,越是收到冲击的行业或职业,未来的发展潜力越大

9. 那么我们普通人,要做的,应该是要有AI思维,能用的先用起来,直面要比逃避好,争取不做AI难民

SORA也可以生成图片:雪山村庄,拥有舒适的小屋和北极光显示屏,高细节和逼真的数码单反相机,50 毫米 f/1.2新兴的模拟功能

POEN AI 官网 https:///  可以探索一番

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多