分享

最强AI芯片炸场,一场新工业革命已经到来!

 天承办公室 2024-03-21 发布于北京




【中制导读】

美国当地时间3月18日,英伟达一年一度的盛会GTC(GPU技术大会)上,黄仁勋推出了“地表最强”产品GB200。它意味着,构建和运行大模型的成本、能耗,从此以后能降低到以前的1/25。
而在这场大会之前,黄仁勋就已经成为网友口中的“地表最强”男人。他掌管的公司英伟达和产品,影响着国内外科技公司的战略决策,决定了人工智能行业的走向和步伐。就像一位网友所说:“英伟达现在的野心并不是做淘金时代卖铲子的,而是要做电气时代的发电厂。”


- 01 -

当下最受瞩目的技术发布会

这几天,整个世界都在关注科技界的“霉霉”——黄仁勋(Jensen Huang)。

在GTC(GPU Technology Conference)开发者大会,英伟达的创始人兼CEO黄仁勋亮出了不少“王炸”。

比如基于全新Blackwell架构的B200和GB200系列芯片,被誉为“地球上最快的AI计算芯片”

黄仁勋兴奋地说,“Blackwell 将成为我们历史上最成功的产品发布”

他双手托举着Blackwell GB200芯片以及HGX B200服务器主板开玩笑说道:“我要小心一点,这个值100亿美元。”

图片

Blackwell GPU芯片的创新之处首先在于其独特的设计理念。

以往一块GPU芯片是单一的整体,但Blackwell由两块同架构的小芯片构成,当两个小芯片合并时,一块完整的Blackwell芯片拥有了惊人的2080亿晶体管,而上一代的Hopper仅有800亿。

图片

黄仁勋举起新的 Blackwell GPU 芯片(左)与其前身 H100“Hopper”进行比较

这种独特的设计大幅度提升了其处理性能。

黄仁勋用ChatGPT做了一个非常直观的比较。

OpenAI目前最尖端的模型拥有1.8万亿个参数。

在使用早期的A100 GPU进行训练时,这个任务需要部署25000个GPU,并且耗时介于3到6个月之间。

如果用上一代的H100 GPU,相同的训练任务所需的GPU数量将减少至8000个,并将训练时间压缩至仅90天,同时消耗的电量为1500万度电。

新一代的Blackwell GPU将这一进步推向了新的高度。使用Blackwell GPU,训练时间保持不变,但所需的GPU数量将大幅度减少至原来的1/4,即2000个左右,而且电量消耗也显著降低至仅400万度电。

图片

与前身“Hopper”系列相比,Nvidia Blackwell GPU 每秒的浮点数学运算数量增加了十倍,晶体管数量增加了一倍多。Nvidia 指出该芯片运行大型语言模型的速度提高了 25 倍

很多人只看到了英伟达的芯片,

但它真正的护城河可能来源于CUDA.


咱们对苹果模式都不陌生:

苹果一方面卖硬件,另外一方面是其丰富流畅的iOS操作系统,两条腿走路的这种集成为用户提供了优化的性能和体验。

英伟达也是如此。

CUDA就是英伟达的iOS。

图片

CUDA(Compute Unified Device Architecture)是NVIDIA开发的一种并行计算平台和编程模型。因为CUDA提供了C语言的扩展,传统的软件开发者能够轻松地开发GPU加速的应用程序,而无需成为并行计算的专家。

此外,CUDA构建了强大的生态系统,包含库、工具、教育资源和社区支持,大大降低了高性能计算的门槛。

图片

于是,从科学计算、数据分析、到深度学习和人工智能,我们都可以看到CUDA的应用,这使得研究人员能够在短时间内处理大规模数据集,加速新药发现、气候模拟和新材料设计等多个领域的研究。

图片

来自极端天气条件“数字孪生”模拟的高分辨率地球图像模拟,称为 Earth-2 气候,能在几秒钟内提供警告和更新的预报,而传统的 CPU 驱动建模需要几分钟或几小时。该技术基于 Nvidia 构建的名为“CorrDiff”的生成式人工智能模型,该模型可以生成天气模式的“高分辨率 12.5 倍图像”,“比当前的数值模型快 1,000 倍,能效高 3,000 倍

更绝的是,就像苹果的iOS操作系统来只在苹果硬件上运行一样,CUDA编写的程序也是只能在NVIDIA的GPU上运行,并且可以优化利用GPU的特定功能。

此次发布会上,英伟达还推出了Nvidia推理微服务(NIM),并重点介绍了Omniverse。

图片

我们是这样粗浅并简要地理解这些概念的:

想象你是一个赛车手,你来选择目的地;

英伟达的芯片就是汽油,CUDA就是赛车的发动机,两者负责提供动力;

而NVIDIA推理微服务(NIM)则像是车上的导航系统,帮助赛车根据路况和目的地高效地到达终点。

Omniverse可以被看作是赛车比赛的虚拟赛道和环境,为赛车提供一个可以展示其性能的场所。

你可以完全专注于你的赛车过程。

这样看来,从底层硬件到应用层,英伟达都在全面布局AI生态。

图片

Sam Altman深夜在X上发文感慨,这是人类历史上最有趣的一年,但会是未来最无趣的一年。

图片

- 02 -

创新带来的惊人利润

英伟达1999年在纳斯达克上市,发行市值不过2.3亿美元;现在市值为2.24万亿。35年,增长近万倍,现在势头更甚。

图片

在不久前公布的2023年度财报中,英伟达以609.22亿美元的营收和297.6亿美元的净利润,同比分别增长126%和581%,增长态势惊人,远超其直接竞争对手英特尔和AMD,更是远超标普500指数与纳斯达克100指数。

图片

图片

我们注意到,2023财年,英伟达研发费用达73.39亿美元,占收比达27.2%。

图片

自英伟达上市以来,其年均研发投入增长率达57.4%,即便在面对CUDA平台研发不顺和高研发支出对利润造成重大影响的挑战时,英伟达依然坚持以研发为核心。

与研发投入相对应的是其创新的组织模式。

截至2024年1月,研发人员达到了22,200人,占公司总员工数(29,600)的75%,是一支由软件工程师、硬件工程师、超大规模集成电路工程师、工艺工程师、架构和算法专家组成的高质量研发队伍。

图片

更为突出的是,英伟达采取了“三团队-两季度”的创新研发迭代模式,通过三个并行开发团队专注于独立的产品开发阶段,确保每6个月推出一次新产品。这种组织模式不仅保持了技术和产品的快速迭代,而且确保了英伟达在高于竞争对手的价格下仍然能够占据绝对的市场份额。

此外,英伟达非常重视生态系统的投资。

主要有三方面——

1,NVIDIA 的企业投资,专注于战略合作,旨在增强 NVIDIA 平台并扩展生态系统;

2,风险投资部门NVentures,与企业家一起投资,迄今为止NVentures 已对医疗保健、制造和其他关键垂直行业的公司进行了 19 笔投资;

3,NVIDIA Inception,支持初创企业并将其与投资人联系起来,这是一项公益的,为多个行业和超过 125 个国家/地区的 17000 多家初创公司提供技术和营销支持。

图片

得益于持续的技术创新和高效的组织模式,英伟达在独立GPU市场的份额高达84%,毛利率更是达到了惊人的72.7%。

然而,在这个烈火烹油的时刻,华尔街的资本有不同的解读。

有人担心随着GPU技术的迭代,算力快速增长很可能会大幅压缩英伟达的增长空间。

方舟的“木头姐”凯西·伍德(Cathie Wood)在3月7日致股东信中对英伟达未来可能面临的竞争压力发出警告。木头姐认为,如果AI公司、软件公司在应用层面一直见不到收益的话,很可能会停止增加在GPU建设方面的投入。

图片

截屏自巴伦周刊

当然,这对于英伟达来说并不算是坏消息。


首先,英伟达可能早就认识到了这一点,这也是我们前面提到的生态系统的建立。

黄仁勋提到了“世界上最大的电动汽车公司”比亚迪,英伟达的下一代汽车智能芯片DRIVE Thor专为Transformer(一种计算技术,它处理和分析数据,支持自动驾驶汽车的智能决策)设计,据悉这种引擎使 DRIVE Thor 能够以高达 9 倍的速度加速 Transformer 深度神经网络的推理性能,并将被比亚迪采用。

图片

这些深入到各行各业的平台支持,会支持“赛车手”拿到更好的成绩,获得更大的收益,而英伟达也从一家传统的显卡供应商转变为人工智能服务器供应商。

其二,经历过金融危机期间,股价下跌80%的黄仁勋,对资本的意见或许早就不在意了。

资本的估值是对现有情况的线性模拟,而技术的发展总是会给人们惊喜。老黄总是在问自己“你必须始终牢记核心,你相信什么?最重要的事情是什么?有什么东西改变了吗?股价变了但还有其他东西变了吗?那些促使我们做出决定的事情,那些假设、那些信念有变化吗?因为如果这些东西变了,那一切都得变。但如果它们不变,你也什么都不需要改变。继续走下去,这就是坚持的办法。”

- 03 -

英伟达的信念

未来计算机的运算会高度依赖生成

而非基于检索

下面这段话,是我们认为黄仁勋最重要的一段话,来自黄仁勋与MBA ’24 Shantam Jain的对谈。

它不仅仅是在讨论技术的进步,而是在探讨这些进步如何根本性地改变我们对工作、创新和组织管理的看法。

图片

原视频地址:https://www./watch?v=lXLBTBBil2U

我们处于计算的世界。

未来我们处理信息的方式将从根本上改变。

这就是NVIDIA制造芯片和系统的原因。

我们编写软件的方式也会从根本上改变。

我们未来的软件类型会改变会催生新的应用程序。还有,这些应用程序的处理方式也会发生改变。过去,模型基于检索预先记录的信息,我们编写文本、预先记录然后基于算法来检索。在未来,某些信息的种子将成为起点。我们称之为Prompt提示词,然后生成其它的内容。

未来的计算将高度依赖生成。

举例来说我们现在正在聊天。我告诉给你们的信息很少是检索所得,大多数是生成的,这就叫做生成式人工智能(AIGC)。

未来计算机的运算会高度依赖生成,

而非基于检索。

回到原点,你们创业时得自问哪些行业会因此被颠覆?

我们还会对网络持有同样的看法吗?

我们还会对存储持有同样的看法吗?

我们还会像今天这样滥用互联网流量吗?

可能不会。

我们此刻在对话,但不是你每问个问题我看一下提示卡片,再回答你的问题。

什么会更多出现?什么会减少?会出现哪些新的应用程序?等等之类的问题。你可以审视整个行业格局自问:

什么会被颠覆?什么会改变?会出现哪些新事物?诸如此类。

推理过程始于「发生什么了?什么是生成式人工智能?」

从根本上,到底什么正在发生?对所有问题都回归本质。

我还想聊聊组织架构。

创建组织的方式得回归本质,别管其它公司的组织架构。你记住组织是用来做什么的。过去的架构是上面一个CEO下面是辅佐大臣,层层向下,最底层就是普通员工。

这样设计的目的是希望员工获得的信息越少越好,因为士兵们的根本任务就是在战场上卖命。牺牲而不问,原因你们懂的。我只有3万名员工,我不希望任何人去送死。

我希望他们质疑一切。

过去的组织方式与今天的组织方式截然不同。

问题是「NVIDIA要创造什么?」

组织架构的目标,是让我们更好地去创造我们要创造的东西。

大家创造的东西不同,为什么还要用相同的组织架构方式呢?为什么采用相同的组织架构、而不考虑你们要创造的是什么?

毫无道理。

你造计算机用一种架构去组织,但你提供医疗服务还用完全相同的架构去组织?这完全说不通。

你得回归本质自问:

需要什么样的架构?输入是什么?输出是什么?这个环境有什么特性?这种动物必须生活在什么样的环境中?它的特性是什么?大部分情况下是稳定的吗?是不是每时每刻都努力榨干最后一滴水?还是时常变化、随时会被攻击?

你得明白,作为CEO你的工作就是架构这个公司。

这是我的首要工作——创造条件让你能做毕生的事业。架构必须正确,意味你必须回归本质,思考这些本质问题。

我很幸运,在29岁的时候有机会退后一步思考:

我如何为未来构建这家公司,它的样子会是怎样?它的操作系统是什么也就是企业文化?我们鼓励和推广哪些行为、不鼓励哪些行为?等等。




声明:文章转自TOP创新区研究院文中内容仅代表作者观点,版权归作者所有。非经注明,文中图片均来自网络。若转载本号文章,请联系授权开白,并注明来源及作者信息。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多