|
前言 本访谈中，Character.ai 首席执行官兼联合创始人Noam Shazeer，与 a16z的 Sarah Wang畅谈了普遍可及的智能 （Universally Accessible Intelligence，以下简称“普及智能”）的曙光、为普及智能所需的计算能力，以及他对 AGI 第一个使用案例的追求：AI伙伴（AI friends）
本访谈出自a16z的系列访谈“人工智能革命系列”，发布于今年9月25日。该系列访谈由人工智能领域一些最具影响力的建设者讨论和辩论人工智能的现状、未来走向和重大开放性问题。有关人工智能革命系列的更多内容，请访问 www.a16z.com/AIRevolution。 目录 01. 真实Noam与人工智能Noam 02. 下一个解锁与扩展法则 03. AGI 的第一个用例 04. 构建全栈 LLM 05. Noam 计算全局计算能力 06. 普遍可及的智能 真实Noam与人工智能Noam Sarah：今天早些时候，Roblox 的 David Baszucki 表示，在未来，解析真人与其人工智能版本将非常困难。因此，为了开始本次会议，我们认为采访您和您的 Character.AI 版本会很有趣，看看你们如何回答同一个问题。这是直播，所以我们不知道 AI Noam 将如何回答。你准备好了吗？ Noam：听起来不错。 Sarah：我先问一个简单的个人问题（a softball personal question）。我知道你在杜克大学读本科。能给我们讲讲你为什么决定去杜克大学吗？ Noam：我是打篮球去的......不，我开玩笑的。他们招我是因为他们想赢得普特南数学竞赛，所以我最终拿了奖学金。 Sarah：太好了。让我们来谈谈与职业相关的话题。你在谷歌工作了近 20 年。为什么决定离开？ Noam：我一直对人工智能很感兴趣，我只想推动技术向前发展。我看到了这个大型语言模型......好吧，当时还不是大型语言模型，而是神经网络。语言建模是世界上最有前途的事情。这是有史以来最好的问题。你所要做的就是预测下一个单词，一旦你做到了，你就能得到一个可以和你谈论任何事情的东西。 我知道我们可以在很多方面改进这项技术。我们可以用模型架构、分布式算法、量化等所有这些方法来改进它。 我一直在努力，但后来我突然意识到，最大的问题是规模。你能在这件事上投入 10 亿或 1000亿美元，而不是 100 万美元吗？为此，你需要的只是展示一个有巨大价值的应用。有几种选择，编码看起来超级有用，但对话也是这个世界的头号消遣。 早在 2019 年或 2020 年，我的联合创始人丹尼尔-德弗雷塔斯（Daniel DeFreitas）——他一生的使命就是做聊天机器人和对话系统，并且已经建立了这个系统。他把我叫了过去，这就像是一个 20% 的项目，而且非常不错。然后我就想，“我们一定要帮助丹尼尔，让我们创造出令人惊叹的东西。” 我们把它做成了巨大的模型，在谷歌内部引起了病毒式轰动 后来我们意识到，大公司的品牌风险太大，根本不可能推出好玩的东西。让我们做一家初创公司，最大限度地加速发展。 Sarah：我猜这个答案可能也是对的。顺便说一句，除了 OpenAI 的Mira和 Anthropic 的Dario之外，你是第三个说你没有看到任何缩放法则（scaling laws）限制的人。我们稍后会详细讨论这个问题。 我们现在实际上要展望一下未来。这也是我们对人工智能Noam的最后一个问题。Noam，你害怕AGI毁灭世界吗？ Noam：嗯，我认为我们需要全球暂停大约4个月，直到我们有足够的H100在线来训练我们的模型。 Sarah：我就当你说“不 ”了。 Noam：不，还不行。我认为这有很多潜在的好处，是的。随着技术的进步，我们会继续努力的。 Sarah：Noam，我不知道你是否读完了人工智能Noam的所有答案，人工智能Noam的表现如何？你会给他的回答打多少分？ Noam：哦，它的回答还不错，甚至比我会做得更好。 Next unlocks & scaling laws Sarah：我们常说要做得更好，但更好意味着什么？在某些情况下，就是正确性。但对于 Character.AI（人工智能角色）来说，这并不总是正确与否的问题。你认为 AI Noam 如何才能变得更好？更好意味着什么？ Noam：我们正在研究的一些大的解锁方法就是训练一个更大、更智能的模型。scaling laws会让我们走很长的路。我们现在使用的模型去年花费了大约 200 万美元的计算周期（compute cycles）来训练。我们现在可能只需 50 万美元就能重复一次。 希望到今年年底，我们能推出比现在数十倍更智能的产品。更智能、更易用，意味着多模态。也许你想听到声音，看到面孔，还想与多人互动。当一个虚拟人与你所有的朋友在一起时，就好像你当选了总统，你戴上耳机，就能与整个内阁的朋友或顾问互动。或者，就像你走进干杯酒吧，每个人都知道你的名字，他们很高兴你能来。 我们可以做很多事情，让事情变得更有用。现在，我们提供的服务使用的是几千个toekn的上下文窗口，这意味着你的终身好友还记得过去半个小时发生了什么。不过，还是有很多人每天要使用几个小时。这将使事情变得更好，尤其是当你可以直接输入大量信息时。它应该能够知道你的一百亿件事情。HBM带宽已经有了。它只需要去做。 AGI 的第一个用例 Sarah：让我们再明确地谈谈 Character.AI。自推出以来，你们已经在平台上发送了超过 200 亿条人类信息。尽管你们现在拥有数百万的日活跃用户，但他们平均每天仍要在平台上花费2个小时。是这样吗？ Noam：我认为应该这样理解：娱乐业是一个年收入达 20 亿美元的产业。肮脏的秘密是，娱乐是想象中的朋友，他们不知道你的存在。人们与电视或其他任何东西互动的原因--这就是所谓的寄生关系，也就是你与电视人物、书中人物或名人的关系--每个人都会这么做。这里有数十亿孤独的人。这实际上是一个非常非常酷的问题。这是AGI第一个很酷的应用。 我们可以选择进入很多不同的应用领域，其中很多都有大量的开销和要求。如果你想启动一个医生应用程序，速度会慢很多，因为你必须非常非常小心，不能提供虚假信息。但可以很快做出一个AI朋友应用。纯属娱乐，不必当真，这就是它的特点。 从本质上讲，这是一个巨大的未满足的需求。让人感觉到它是人，并能谈论任何事情，这一点非常重要。这与大型语言模型的通用性非常吻合。有一件事是不成问题的，那就是胡编乱造。我想快速推动这项技术的发展，因为它现在就可以爆发，而不是等五年后我们解决了所有问题。 Sarah：当然。这与自动驾驶汽车形成了很大的反差。与你的人工智能朋友相比，这是一个不同的标准。 Noam：你的人工智能朋友，或者你认为是人工智能角色或人工智能娱乐的东西。你看漫画书的标准是什么？ 打造全栈式 LLM Sarah：从a16z的角度来看，我们看到一些初创公司会说：“嘿，我要做解决心理健康问题的应用”，或者 “我要做解决教育科技问题的应用”。他们比 Character.AI 走得更窄。他们追求特定的应用，然后说：“我们要训练这个模型，让它专注于这个应用。这会比通用模型更好”。 我想你在混合使用案例中稍微提到了这一点，但你能分享一下你为什么决定不采取这种方法吗？为什么你认为在多个用例中使用单一模型是最好的方法？ Noam：越是涉及特定的应用，你就越容易编写特定的规则，做一些不能很好通用化的事情。远离这一点很重要。 我们的目标是成为一家 AGI 公司和一个产品为先的公司。做到这一点的方法就是选择合适的产品，迫使我们去做正确的事情：那些具有普适性、能让模型更聪明、能满足用户需求、能大规模和低成本地提供服务的事情。我认为这是一个正确的目标和正确的产品。 Sarah：在建立垂直整合模型和应用程序公司时，你也选择了这种方法。开源模式方面取得了一些进展，人们在微调 LLaMA 聊天功能的基础上开发产品。你如何看待这种竞争进入市场，以及与你所采取的方法之间的差异？ Noam：我喜欢做一个全栈公司。这意味着我们可以操纵每一层并做代码设计。如果有什么东西会影响最终的结果，我们就可以从一开始就去改变它，并且我们可以获取大量的用户数据作为反馈。 另外，我们中的很多人发明了这些东西，所以我们当然要做一个全栈公司。我们中的很多人都有创业的动力。我认为，我们吸引来Character.AI 工作的人，都是热爱发明创造、热爱发布新产品的人。 Noam计算全局计算能力 Sarah：让我们来谈谈底层技术的发展。最近有一项关于AI发展心智理论（AI developing theory）的发现（心智理论Theory of Mind是指能够推测他人的心理状态和行为动机的能力。最近，斯坦福大学商学院副教授Michal Kosinsk领导的一项研究表明，一些先进的人工神经网络，如GPT-3.5，已经具备了类似于9岁儿童的心智理论水平。这对于AI和人类之间的交流和理解有着重要的意义。），或者说是关于其他人的信念、欲望、意图可能与自己不同的知识。这是否让你感到惊讶，你认为这对人类和AI的关系意味着什么？ Noam：让这个东西更聪明一些，它就会有更好的心智理解能力。我觉得这绝对是一件非常重要的事情。这好像是一种随着规模增长而出现的特性。我看到这些东西正在大规模地扩展——它并不那么昂贵。 我昨天看到一篇文章：英伟达明年将再造 150 万台 H100。他们每秒钟可以做大约10的15次方个运算，所以2乘以10的21次方除以8乘以10的9次方等于地球上的人数。也就是说，每人每秒大约能进行 0.25 万亿次运算。也就是说，在 1 000 亿参数模型上，地球上的每个人每秒可以处理 1 个字。但不是地球上的每个人，因为有些人被屏蔽了，有些人在睡觉。这并不昂贵。如果方法得当，这东西是可以大规模扩展的，我们正在为此努力。 普遍可及的智能 Sarah：我记得你曾经说过，互联网是信息普及的黎明，而我们现在正在进入智能普及的黎明。在你上次回答的基础上，你的意思是什么？你认为我们到了那个阶段了吗？ Noam：这真是莱特兄弟发明第一架飞机的时刻。我们现在已经有了一些可行且有用的东西，有大量的应用，而且看起来能够非常好地扩展。在没有任何突破的情况下，随着每个人都扩大使用范围，它会变得越来越好。会有更多的突破，因为现在世界上所有的科学家都在努力把这些东西做得更好。 所有这些东西都可以在开源中获取，这非常好。我们将看到大量的创新。现在最大的公司都能做到的事情，几年后在某个人的学术实验室或车库里就能实现。随着技术的不断进步，将会出现各种伟大的应用案例，推动技术进步，推动科学发展，推动以各种方式帮助人们的能力。我很希望能达到这样的地步：你可以直接问它如何治愈癌症。现在看来还需要几年时间，但是...... Sarah：你认为我们还需要像transformer技术那样的根本性突破吗？还是我们已经拥有了我们所需要的一切？ Noam 我不知道。预测未来是不可能的，但我认为没有人看到缩放定律（scaling laws）会停止。就任何人的实验而言，东西都在变得越来越智能，所以我们能够解锁很多很多新东西。我不知道这是否会有尽头，但至少世界上的每个人都应该能与真正杰出的东西对话，并一直拥有令人难以置信的工具。我无法想象它不能持续自我进化。 这个故事的寓意是，计算的核心成本并不高。目前的运营成本约为10的负18次方美元。如果你能高效地完成这些工作，即使是与有史以来训练的最大模型对话，其成本也应该远远低于你的时间价值，或大多数人的时间价值。我们有能力把这些事情的规模扩大几个数量级。 Sarah：我想就此结束。非常感谢你，Noam，太棒了。 Noam: 谢谢。 |
|
|
