分享

中国AI发展堪忧

 闲野之家 2024-02-19 发布于天津
智慧奇点 2024-02-16 
图片

我们中国的人工智能在一个方面上遥遥领先美国,那就是我们搞人工智能大模型公司的数量遥遥领先美国。

截止2023年底,我们国家已经有了8万家大模型企业了,甚至还开启了轰轰烈烈的千模大战。

然而美国搞大模型呢,就是那么几家数得过来的巨头,像谷歌、Open AI、马斯克的X 、亚马逊和Mate,再加上几个前沿的学术机构,比如斯坦福的SQuAD、麻省理工的GENIF、伯克利的BAIR。

但是你别看这些美国大模型的数量少,却诞生了可以复现诺贝尔奖化学反应的AI 化学家Coscientist,还诞生了可以成为AI 机器人控制专家的斯坦福李飞飞教授搞的VIMA。

而我们国内只要一有模型开发布会,嘴巴上就喊着秒杀了GPT4,却没真的见过国内这些秒杀GPT4的大模型,在国际哪个期刊上做到了什么能够提升生产力和科研方面的应用。总之,榜单排名没输过,而且总是在我们感受不到的地方遥遥领先。但是你如果真的深度多方位的使用比对过,你就会体会到这些模型跟GPT 的差距,它不是一星半点。造成这种情况的主要原因,我们展开来讨论。

第一,就是大模型的这个训练算力我们跟不上,这种要求高精度的算力,你像H100、A100,还有英伟达新搞的那个GH200。

他们要求能够大量的并行运算,然后显存高,位宽也要高的GPU,这就是美国制裁我们国家最严厉的。

虽然我们国家像百度、腾讯、字节这些大厂也通过不同渠道购买了不少H100,但是和实际用来超越Gpt4的数量相比远远不够,而训练Gpt4这种模型起码都得万卡起。

可是美国的企业就没有这方面的限制,Open AI 前段时间甚至还号称要把1000万颗GPU连在一起去训练超级大模型。Meta 的扎克伯格刚刚还跟英伟达签了35万张H100芯片的采购订单,这几乎是我们国内大厂保有量的总和。签完合同后的小扎还号称,这个Meta 训练出来的通用人工智能模型也将开源。

而且不光是训练大模型的这些我们的高级算力跟不上,甚至连精度低一些,用来运行大模型的这些算力,你就比如英伟达针对中国存储的这个H20中国阉割版显卡,还有RTX3090、4090之类的低端GPU,我们在算力跟数量上也差的很远。

第二,比算力短缺更要命的是训练AI 的算法跟数据,我们差距很大。这个差距还不像芯片差距那么一目了然,但其实更加的严重。

当下所有的主流大模型的母体算法叫Transformer ,就是这个Open AI的首席科学家ChatGPT之父伊利亚,十年前和他的老师Jeoffrey hinton 一起发明的。

打个比方,训练大模型和教孩子其实差不多,孩子他本身的记忆力再强、反应再快,你天天让他在牛圈里放牛,然后教他伪科学,再指鹿为马,最后这孩子学出来大概也是个傻子。

而训练顶级大模型的参数量,像Open AI 的被爆料已经接近10万亿级别了。在这种庞大的数据集下,你的数据和你处理数据的算法,最直接的决定了大模型每一次训练的性能跟质量。

第三,国内大模型公司,大多都是套壳LLaMA等开源模型的投机公司。这跟我们前几年新能源补贴的时候,新能源公司扎堆式注册一个意思。

你就像llama2的开源,不只是把模型免费给你用这么简单,他还把他这个模型的训练的过程和训练模型的底层数据全部开源了,所以少数有点良心的公司,就把人家开源的训练数据替换或者增加一部分自己的,跟着流程重新训练一遍,然后号称独立自主。但是绝大多数的那些投机公司,

甚至就只是给大模型做了个非常简单的微调,给他改了个名字而已。

所以之前10月份,李开复旗下“零一万物”的大模型就被阿里的大神贾扬清爆锤是换壳模型,说的就是我刚才说的那么回事。总之除了百度,阿里等少数几家国内公司外,很少国内有从大模型数据的底层开始研发的,但是为什么这些模型公司一个个开发布会的时候,却能丢出一大堆测试报告榜单成绩,说自己这项成绩那项能力已经远远超越GPT4了呢?

一个叫做Catch me if you can 的论文说的很清楚,这些大模型是如何刷榜作弊的。简单来说,就是榜单考题泄露,作弊的大模型公司提前拿考题训练大模型,那这样分数就自然高了呗。

但其实最可悲的还不是说这些公司自欺欺人,可悲的是我们国内明明AI 的算力资源、政策资源、人才资源都没有美国那么充足,但是大部分都被这些只想吃政策跟资本豆腐的投机者给浪费了。

其实我们大模型暂时搞不过美国,根本不要紧。因为,第一,美国就没几家在搞呀。第二,全世界大部分的国家也都不搞大模型,至多就是基于开源的大模型,微调个专用的模型。

事实上基于大模型开发商业应用才是效益最大的,而且日后最占据话语权的,也是这些有能力把AI 商业化落地应用的人。

你像百度的李彦宏,Open AI 的山姆奥特曼,包括马斯克,贝索斯都在不同场合上表达过类似的观点,就是叫大家不要去卷大模型了,应该去卷AI 应用,在AI 时代才值钱。而他们这些巨头这么说,不是怕别人搞大模型,超过他们。人家根本不怕,大模型的这个门票,根本就不是小公司买得起的。而是因为他们真的看好AI 应用的价值,希望开发者们都去他们的平台开发应用,然后给他们贡献技术跟价值。

你就像GPT4,继去年11月份发布会大降价以后,又再次腰斩级别的降价,甚至还加了多个AI 协同工作的能力。这个功能呢,就是可以让你在聊天中通过艾特不同功能的AI 应用让他们一起给你干活。这就等于你低价雇佣了好多人,同一时间帮你做着不同的事情。

这对于做电商、做生意天下第一的中国人来说,本来是个千载难逢的大利好啊。所以我们最大的隐患不是什么硬件跟大模型暂时落后于美国,而是这个资源错配导致浪费了发展的黄金时期,然后被国外的那些本来被我们的电商公司跟跨境公司已经打趴下的人,用AI 方面应用的优势弯道超车。

因为如果大模型应用员工化,会导致我们的人口优势、人民勤劳勇敢的优势逐渐贬值,而让我感到更加忧心的是,我感受到大多数人对于正在发生的AI 巨变,没有起码的紧迫感。

比如我之前说的那个GPTS 的Mention 功能,它可以让不同的模型一起工作,那就等于一个美国人指挥一堆AI 干原来3个甚至10个人的工作。

所以美国在应用方面的优势会加速拉大,他们在科研、生产、教育、芯片和大模型方方面面的优势,甚至会形成螺旋加速指数发展。所以在当下这个阶段不光是我们的国家,我们每个人、每个公司都更应该看清楚社会未来发展的必然趋势,

更重视AI 应用的构建。而不是错误的认为AI 化的主力只是巨头跟高校,或者对国外的大模型抱着那些排斥的心理。然后傻乎乎的,等着你的竞争对手先去发展,而自己不做任何AI 应用的尝试,那你的未来起码蒙上了一层阴影,甚至会被时代所淘汰。

附注:

1.GPTS 的 Mention 功能

GPTS ( Generative Pre - trained

Transformer )是一种大型语言模型,它具有一种称为 Mention 的功能。这项功能允许用户在使用 ChatGPT 时,通过在对话窗口中添加@符号,直接召唤另一个 GPT 实例参与对话或执行特定任务。这种交互方式类似于在社交媒体平台如 Discord 中召唤和管理机器人。

具体来说,当您需要在当前会话中提及另一个 GPT 时,可以使用@加上该 GPT 的名称。这样做的目的是为了方便地在同一个聊天窗口内与多个 GPT 进行互动,而不需要频繁地切换到不同的窗口或者使用命令行接口。此外, Mention 功能还支持查看近期使用的 GPT 列表,以便更快地选择要与之交流的对象。

综上所述, Mention 功能增加了 GPTS 之间的协同工作能力,提高了用户体验和工作效率。

2.AI 让每个人都能成为科学家!

AI 颠覆化学研究再次登上 Nature !由 CMU 和 Emerald Cloud Lab 团队开发的 GPT -4加持的 AI 工具(GPT -4化学家),在不到4分钟的时间成功复现2010年诺奖研究成果。

ChatGPT 大模型爆火这一年,没想到竟颠覆了整个化学领域。

先是谷歌 DeepMind 的 AI 工具 GNoME 成功预测出200万种晶体结构,随后微软推出的MatterGen,大大加速了设计所需材料特性的速度。

现在, CMU 和 Emerald Cloud Lab 的研究团队开发了一种全新自动化 AI 系统Coscientist ,4分钟成功复现诺奖。CMU 开发 GPT -4化学家,自主编码操控机器人颠覆化学研究荣登 Nature。

3. VIMA

像 GPT -4一样能看懂图文,李飞飞等人的具身 AI 给机器人造了个多模态对话框。

VIMA 是一个带有机械臂的 LLM ,它接受多模态 Prompt :文本、图像、视频或它们的混合。

是时候给大模型造个身体了,这是多家顶级研究机构在今年的 ICML 大会上向社区传递的一个重要信号。在这次大会上,谷歌打造的 PaLM - E 和斯坦福大学李飞飞教授、英伟达高级研究科学家 Linxi ' Jim ' Fan (范麟熙,师从李飞飞)参与打造的 VIMA 机器人智能体悉数亮相,展示了具身智能领域的顶尖研究成果。

4.GPT -5要来了?

惊现两大变化◇参数或达10万亿级别◇

每日经济新闻2023-08-14,22:50

近日,欧爱运营有限责任公司( OPENAI OPCO , LLC )在中国申请注册2枚' GPT -5'商标,引发广泛关注。

在 GPT -4爆火后, GPT -5成为了万众期待的下一个版本。

当地时间8月8日, OpenAl 在官网介绍了新产品 GPTBot ,这是一种网络爬虫,可大规模爬取网络数据用于训练 AI 模型,据称可以用来改进未来的聊天机器人大模型。

CipenAI 在其官网发布的一篇博客文章中表示:'使用 GPTBot 用户代理抓取的网页可能会被用来改进未来的模型。'公司还补充称, GPTBot 可以提高内容准确性,扩展未来迭代的能力。此外,由于 OpenAI 近期刚向美国专利商标局申请了 GPT -5商标,国外不少科技媒体认为, OpenAI 所指的这个'未来迭代'就是 GPT -5。

据悉,它将具备众多 GPT -4所没有的能力,而且几乎每一项都剑指通用人工智能。

5.李开复旗下'零一万物'大模型疑套壳 LLaMA

蓝鲸财经2023-11-15 11:05

知名大模型公司再次陷入套壳质疑,这次是李开复刚于一周前发布的'零一万物'( Yi )大语言模型,疑似套壳Meta公司在今年开源的大模型 LLaMA 。

阿里前技术副总裁、大模型行业创业者贾扬清近日在朋友圈中表示,做小公司不容易,在做适配某国内大厂的新模型的业务时,发现此大厂新模型完全照搬 LLaMA 的架构,'今天有朋友告诉我,这个大厂新模型 exactly 就是 LLaMA 的架构,但是为了表示不一样,把代码里面的名字从 LLaMA 改成了他们的名字,然后换了几个变量名。'

贾扬清表示希望不要换名伪装,以免做多余的适配工作,'各位大佬,开源社区不容易,如果你们就是开源的模型结构,求高抬贵手就叫原来的名字吧,免得我们还做一堆工作就为了适配你们改名字。'

贾扬清没有指明具体的大模型名字。但业内怀疑的对象指向李开复旗下的零一万物( Yi )。

6.ChatGPT 惊艳更新◇一个@让三百万 GPTs 为你打工

6.ChatGPT 惊艳更新◇一个@让三百万 GPTs 为你打工

2024-02-0117:34:18来源:中国人工智能学会

ChatGPT 悄悄更新个大功能!看起来要把插件系统选代掉了。

部分(灰度)用户已经收到这样的提示:

现在可以在对话中@任意 GPT 商店里的 GPTs ,就像在群聊中@一个人。

Beta GPT mentions

Type @ tomention a GPT and add it directly into your conversation

Message ChatGPT ..

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多