分享

风暴来临之前:比尔盖茨对话“GPT之父”|文化纵横

 东方不黑 2024-01-18 发布于湖北

比尔·盖茨 | 微软公司创始人

萨姆·奥尔特曼 | OpenAI首席执行官

 

【导读】在半个多世纪对人工智能的尝试和争论后,今天的人工智能似乎找到一条可行之路。2022年,ChatGTP-3一举成功,以深度学习技术构建的、规模庞大的神经网络模型成为全行业追逐的技术路线,人工智能产品如雨后春笋般涌现。作为OpenAI的CEO,萨姆·奥尔特曼去年被OpenAI突然解雇,后在员工要求下很快重返,成为轰动硅谷的事件。而此前不久,比尔·盖茨在自己的播客中与他作过一次对话,其中既体现了二人之间的思想张力,也不乏洞见。

例如,奥尔特曼认为,当人工智能可以帮人运营公司、发现新的物理学后,人可以在更高的抽象层次上思考完全不同的事。而盖茨则更为保守:如果机器人代替人更好地解决各种实际问题,而人只需要娱乐与沉思,这一情形足以成为一个令人困惑的哲学问题。盖茨还提出,人类思维的发展一直高度依赖于稀缺性,当人工智能充分满足这些稀缺性,一代人在没有这种稀缺的情况下成长,也许会产生难以预料的社会组织形态与价值观念。

最后,奥尔特曼指出:未来世界只有两个东西最重要——智能成本和能源成本,而对二者的降低将为人们带来福祉。这一判断高度概括了人工智能成为社会核心生产力之后的文明逻辑。总的来说,奥尔特曼更接近于硅谷的“有效加速主义”价值观,对人工智能持有乐观信念。而盖茨站在人文主义的立场上,把许多技术语境下的现实情形构造为悬而未决的哲学命题。在人工智能技术掀起风暴之前,这场计算机行业的老兵与新秀之间的对话,为我们打开了丰富的思考空间。

本文节选自《我与萨姆·奥尔特曼的对话》,转自公众号“比尔盖茨”,仅代表作者观点,供读者参考。

比尔·盖茨与萨姆·奥尔特曼的对话

比尔·盖茨:我今天的嘉宾是萨姆·奥尔特曼。当然,他是OpenAI的首席执行官。长期以来,他一直是科技行业的创业者和领导者,包括经营Y Combinator,这家公司做了很多了不起的事情,比如资助Reddit、Dropbox、Airbnb。

在我录制本期节目不久之后,他被解除了OpenAI首席执行官的职务,这完全惊到了我,至少是短暂的惊讶。解雇后的几天里发生了很多事情,包括几乎所有OpenAI员工联名支持萨姆回归,而现在,萨姆又回来了。我们在对话中不会讨论那件事;然而,你会听到萨姆致力于建立一个安全和负责任的人工智能的承诺。

比尔·盖茨:今天我们将主要关注人工智能,因为它如此令人兴奋,人们同时也对它感到担忧。欢迎,萨姆。

萨姆·奥尔特曼:非常感谢你邀请我来参加节目。

比尔·盖茨:我有幸见证了你们工作的进展,但开始的时候我是非常怀疑的,我也没期待过ChatGPT能做得这么好。它让我十分惊讶,我们实际上并不懂这种编码方式。我们知道数字,我们可以看到它相乘,但如何把莎士比亚的作品编码?你认为我们能对这种表示有更深的理解吗?

萨姆·奥尔特曼:百分之百可以。要在人脑中做到这一点非常难,你可以说这是一个类似的问题,就是有这些神经元,它们彼此相连。但它们的连接在变化,我们不可能切开你的大脑来观察它是如何进化的,但我们可以完美地透视。目前在可解释性(interpretability)方面已经有一些非常好的工作,而且我认为随着时间的推移会有更多的解释出现。我认为我们将能够理解这些网络,但我们目前的理解能力还很低。而正如你所乐见的,我们仅了解的那一点点已经对改进这些东西非常有帮助。撇开科学好奇心不谈,我们都有动力去真正了解它们,尽管它们的规模是如此庞大。我们还可以说,莎士比亚(的作品)在你大脑的哪个位置编码的,又是如何表现的?

比尔·盖茨:我们不知道。

萨姆·奥尔特曼:我们确实不知道,甚至可以说在这些我们本应能够完美透视、观察并进行任何测试的大量数字中我们还是找不到答案,这就更让人缺少满足感。

比尔·盖茨:我非常确信,在接下来的五年内,我们会理解它。就训练效率和准确性而言,这种理解将让我们做得比今天能做的好得多。

萨姆·奥尔特曼:百分之百同意。你会在许多经验性发现的技术发展史中看到这一点。他们虽然不知道发生了什么,但显然它行得通。然后,随着科学理解的加深,他们可以使它变得更好。

比尔·盖茨:是的,在物理学、生物学中,有时只是随便一通乱试,然后就“哇”的一声——这究竟是怎么实现的?

萨姆·奥尔特曼:在我们的案例中,构建GPT-1的那个人自己解决了这个“哇”的问题,这有些令人印象深刻,但并没有深入理解它是如何工作的,以及为什么它是有效的。然后我们有了拓展规律,可以预测它会变得多好。这就是为什么当我们告诉你可以做一个演示时,我们相当有信心它会成功。我们还没有训练模型,但我们很有信心。这让我们做了大量尝试,对正在发生的事情有了越来越科学的认识。但这确实源于经验结果先行。

比尔·盖茨:当你展望未来两年,你认为会有哪些重要的里程碑?

萨姆·奥尔特曼:多模态(Multimodality)肯定会很重要。

比尔·盖茨:你指的是语音输入、语音输出?

萨姆·奥尔特曼:语音输入、语音输出,然后是图像,最终是视频。显然,人们真的需要这些。我们已经推出了图像和音频,反响比我们的预期要强烈得多。我们能够将其推进得更远,但也许最重要的进步领域将围绕推理能力展开。现在,GPT-4的推理能力还非常有限。还有可靠性,如果你问GPT-4大部分问题10000次,这10000次中可能有一次回答得很好,但它不一定知道是哪一次。而你却希望每次都能得到这10000次中最好的回答,因此可靠性的提升将非常重要。

可定制性和个性化也将非常重要。人们对GPT-4的需求各不相同:不同的风格,不同的假设集,我们将使所有这些成为可能,然后还能让它使用你自己的数据。它能够了解你、你的电子邮件、你的日历、你喜欢的预约方式,并与其他外部数据源连接,所有这些都将是最重要的改进领域。

比尔·盖茨:在目前的基础算法中,它只是在做简单的前馈(feed forward)、乘法,所以为了生成每一个新词,它本质上都在做同样的事情。我会很感兴趣的是,你们能够像解决复杂的数学方程式那样,可能需要任意次数的应用变换,那么用于推理的控制逻辑可能需要比我们今天所做的复杂得多。

萨姆·奥尔特曼:至少,我们似乎需要某种形式的自适应计算(adaptive compute)。现在,我们在每个标记上都花费同样多的计算资源,不管它是一个简单的标记,还是解决一些复杂的数学问题。

比尔·盖茨:是的,比如说,“解决黎曼假设……”

萨姆·奥尔特曼:那需要大量的计算。

比尔·盖茨:但它用的计算资源跟说个“The”一样。

萨姆·奥尔特曼:对,我们至少得让它能用。我们可能还需要在它之上更复杂的东西。

比尔·盖茨:你和我都参加过一个参议院的教育会议,我很高兴有大约30名参议员参加了那次会议,并帮助他们快速跟上进展,因为这是一个重大的变革推动者。我不认为我们为了吸引政客已经做得过多。然而,当他们说,“哦,我们在社交媒体上搞砸了,我们应该做得更好”——这是一个巨大的挑战,在两极分化方面有非常负面的因素。即使是现在,我也不确定我们该如何应对。

萨姆·奥尔特曼:我不明白为什么政府在社交媒体方面不能更有效,但这似乎值得作为一个研究案例去理解,因为他们现在将要面临的是与AI相关的挑战。

比尔·盖茨:这是一个很好的研究案例,那么当你谈论监管时,你是否清楚该构建哪种类型的监管?

萨姆·奥尔特曼:我认为我们开始弄清楚了。在这个领域进行过度监管是非常容易的,你也可以看到过去许多此类事情的发生。但同样地,如果最后我们是对的,这项技术发展到我们认为它会达到的程度,它将影响社会,影响地缘政治力量的平衡,以及其他许多事物。对于这些仍然是假设性的,但未来极其强大的系统——不是说GPT-4,而是针对计算能力是其10万倍或100万倍的系统,我们已经接受了一个全球监管机构的想法,这个机构将紧盯这些超级强大的系统,因为它们确实会产生如此大的全球影响。我们谈到的一个模式就是类似国际原子能机构的模式。对于核能,我们的决定也是如此。由于其潜在的全球影响,它需要一个全球性的机构,我认为这是合理的。会有很多短期问题,比如这些模式可以说什么,不可以说什么?我们如何看待版权问题?不同的国家会有不同的考虑,这没问题。

比尔·盖茨:有些人认为,如果一些模型非常强大,我们就会对它们感到害怕——全球核监管之所以行之有效,基本上是因为至少在民用方面,每个人都希望共享安全实践,而且这一点做得非常好。当你涉及核武器方面时,就没有这种情况了。如果关键在于阻止整个世界做危险的事情,你会希望有一个全球政府,但今天对于许多问题,如气候问题、恐怖主义,可以看到我们很难合作。人们甚至援引中美竞争来解释为什么任何放缓的想法都是不恰当的。难道任何放慢脚步的想法,或者说放慢脚步到足够谨慎的程度,都难以实施吗?

萨姆·奥尔特曼:是的,我认为要求其放慢速度是非常困难的。如果改成“做你想做的事,但任何计算集群(compute cluster)都不能超过一个特定的、极高的功率门槛”——鉴于这里的成本,我们可能只会看到五个这样的集群——像这样的任何集群都必须接受类似国际武器检查员的审查。那里的模型必须接受安全审计,通过训练期间的一些测试,并在部署前通过审计和测试。对我来说,这似乎是可能的。我之前不太确定,但今年我进行了一次环球之旅,与需要参与这一计划的许多国家的元首进行了交谈,他们几乎都表示了支持。这不会让我们免于所有事情,仍然会有一些问题出现在规模较小的系统上,有些情况可能会出现相当严重的错误,但我认为这可以帮助我们应对最高层面的风险。

比尔·盖茨:我确实认为,在最好的情况下,人工智能可以帮助我们解决一些难题。包括两极分化的问题,因为它可能会破坏民主,而那将是一个极其糟糕的事情。现在,我们看到人工智能带来了很多生产力的提升,这是非常好的事情。你最兴奋的领域是哪些?

萨姆·奥尔特曼首先,我始终认为值得记住的是,我们正处在这一长期、连续的曲线上。现在,我们有能够完成任务的人工智能系统。它们当然不能完成一个完整的工作(jobs),但它们可以做些任务(tasks),并且在那里有生产力的提升。最终,它们将能够做更多类似今天人类工作的事情,我们人类当然也会找到新的、更好的工作。我完全相信,如果你给人们更强大的工具,他们不仅仅可以工作得更快,还可以做一些本质上不同的事情。现在,我们或许可以将程序员的工作速度提高三倍。这就是我们所看到的,也是我们最兴奋的领域之一,它运行得非常好。但是,如果你能让程序员的效率提高三倍,那就不仅仅是他们能做的事情多了三倍,而是他们能在更高的抽象层次上、使用更多的脑力去思考完全不同的事情。这就好比从打孔卡到更高级的语言,不仅仅是让我们的编程速度快了一点,而是让我们得到了质的提升。我们确实看到了这一点。

当我们看向这些能够完成更完整任务的下一代人工智能时,你可以将它想象成一个小代理,你可以对它说:“帮我写这整个程序,我会在过程中问你几个问题,但它不仅仅是一次只写几个函数”,这样就会有很多新生事物出现。然后,它还能做更复杂的事情。有一天,也许会有一个人工智能,你可以对它说:“帮我建立并运营这家公司”。然后有一天,也许会有一个人工智能,你可以对它说:“去发现新的物理学”。我们现在看到的东西既令人兴奋又美妙,但我认为把它放在这项技术的背景下是值得的,至少在未来的五年或十年内,这项技术将处于一个非常陡峭的成长曲线上。现有这些模型都将变成最愚蠢的模型。

编程可能是我们今天感到最兴奋的一个提高生产力的领域。目前,它已经被大规模部署和使用。医疗保健和教育也是另外两个我们非常期待的快速发展的领域。

比尔·盖茨:有点令人生畏的是,与以往的技术改进不同,这项技术的改进速度非常快,而且没有上限。它可以在很多工作领域达到人类的水平,即使做不出独特的科学研究,它也可以打客服电话和销售电话。我想你和我确实有一些担忧,尽管这是一件好事,但它将迫使我们比以往任何时候都要更快地适应。

萨姆·奥尔特曼:这才是可怕的地方。这并不是说我们必须适应,并不是说人类没有超强的适应能力。我们已经经历过这些大规模的技术变革,人们所从事的大量工作可能在几代人的时间里发生变化,而在几代人的时间里,我们似乎可以很好地吸收这些变化。在过去那些伟大的技术革命中,我们已经看到了这一点。每一次技术革命都会变得更快,而这次将是迄今为止最快的一次。这就是我觉得有点可怕的地方,我们的社会需要以何种速度去适应它的发展,以及劳动力市场将发生的变化。

比尔·盖茨:人工智能的一个方面是机器人技术(robotics),或者说蓝领工作,当你得到具有人类水平能力的手和脚时。ChatGPT令人难以置信的突破是让我们开始关注白领工作,这完全没问题,但我担心人们会失去对蓝领工作的关注。你如何看待机器人技术?

萨姆·奥尔特曼:我对此非常兴奋。我们太早开始研究机器人了,所以不得不搁置那个项目。它也因为错误的原因而变得困难,无助于我们在机器学习研究的困难部分取得进展。我们一直在处理糟糕的模拟器和肌腱断裂之类的问题。随着时间的推移,我们也越来越意识到,我们首先需要的是智能和认知,然后才能想办法让它适应物理特性。从我们构建这些语言模型的方式来看,从那开始更容易。但我们一直计划回到这个问题上来。

我们已经开始对一些机器人公司进行投资。在物理硬件方面,我终于第一次看到了真正令人兴奋的新平台被建立起来。到时候,我们就能利用我们的模型,就像你刚才说的,利用它们的语言理解能力和未来的视频理解能力,说:“好吧,让我们用机器人做一些了不起的事情吧。”

比尔·盖茨:如果那些已经把腿部做得很好的硬件人员真的把手臂、手掌和手指做出来,然后我们再把它们组合起来,而且价格也不会贵得离谱,那么这将会迅速改变很多蓝领类工作的就业市场。

萨姆·奥尔特曼:是的。当然,如果我们回溯七到十年,共识性的预测是其影响的首先是蓝领工作,其次是白领工作,创造力可能永远不会,起码是最后一个,因为那是魔法和人类的强项。

显然,现在的情况正好相反。我认为这其中有很多有趣的原因能够解释它为什么会发生。创造性工作,GPT模型的幻觉是一个特性,而不是缺陷,它能让你发现一些新事物。而如果你要让机器人移动重型机械,你最好能做到非常精确。我认为这只是一个你必须跟随技术发展的案例。你可能有一些先入为主的观念,但有时科学并不往那个方向发展。

比尔·盖茨:现在,对我来说,如果你真的借助人工智能达到了令人难以置信的能力,AGI(通用人工智能),AGI+(超级通用人工智能),我担心的有三件事:一是坏人控制了系统,如果我们有好人拥有同样强大的系统,这有希望能最小化那个问题;二是系统控制一切的可能性,出于某些原因,我不太担心这个问题,但我很高兴其他人关注这个问题;最让我感到困惑的是人类的目的,我对这点感到非常兴奋,我很擅长研究疟疾和根除疟疾,也很擅长召集聪明人并为此投入资源。当机器人对我说:“比尔,去打匹克球(pickleball)吧,我能根除疟疾。你只是个思维迟钝的人。”那时它就是一个哲学上令人困惑的事情。我们如何组织社会?是的,我们要改善教育,但教育要做什么,如果你走向极端,我们仍然有很大的不确定性。第一次,这种情况可能在未来20年内发生的机会不为零。

萨姆·奥尔特曼:从事技术工作有很多心理上的困难,但你说的这些对我来说是最困难的,因为我也从中获得了很多满足感。

比尔·盖茨:你确实带来了价值。

萨姆·奥尔特曼:从某种意义上来说,这可能是我做的最后一件难事。

比尔·盖茨:我们的思维如此依赖于稀缺性,教师、医生和好的想法的稀缺,部分原因是,我确实在想,如果一代人在没有这种稀缺的情况下成长,他们会对如何组织社会以及要做什么这个哲学概念会产生什么看法,也许他们会想出一个解决方案。我担心我的思维如此受到稀缺性的影响,以至于我甚至很难思考这个问题。

萨姆·奥尔特曼:这也是我告诉自己的,而且我真心相信,虽然我们在某种意义上放弃了一些东西,但我们将会拥有比我们人类更聪明的东西。如果我们能进入这个“后稀缺”世界,我们将会找到新的事情去做。它们会感觉非常不同。也许你不是在解决疟疾问题,而是在决定你喜欢哪个星系,以及你打算如何处理它。我相信我们永远不会缺少问题,不会缺少获得满足感和为彼此做事的方式,不会缺少对我们如何为其他人玩人类游戏的方式的理解(understand how we play our human games for other humans),这将仍然非常重要。这肯定会有所不同,但我认为唯一的出路就是走下去。我们必须去做这件事,它必将会发生,且现在已经是一个不可阻挡的技术进程,因为其价值太大了。我非常非常有信心,我们会成功的,但那确实会很不一样。

比尔·盖茨:将这项技术应用于某些当前问题,比如为孩子们提供家教,帮助激发他们的动力,或发现治疗阿尔茨海默症的药物,我认为如何做是非常清楚的。无论人工智能能否帮助我们减少战争,减少分化。你会认为随着智能的提升,不分化是常识,不发动战争也是常识,但我确实认为很多人会持怀疑态度。我很愿意让人们致力于解决最困难的人类问题,比如我们是否能和睦相处。如果我们认为人工智能可以帮助人类更好地相处,我认为那将是非常积极的。

萨姆·奥尔特曼:我相信它会在这方面给我们带来意外的惊喜。这项技术会让我们惊讶于它能做的事情有多么多。我们还得拭目以待,但我非常乐观。我同意你的看法,这将是非常大的贡献。

比尔·盖茨:就公平性而言,技术通常很昂贵,比如个人电脑或互联网连接,而降低成本需要时间。我想,运行这些人工智能系统的成本看起来很不错,每次评估的成本会降低很多吗?

萨姆·奥尔特曼:它已经降低了很多。GPT-3是我们推出时间最长、优化最久的模型,在它推出的三年多时间里,我们已经将成本降低了40倍。对于三年的时间来说,这是一个很好的开始。至于GPT-3.5版,我敢打赌,目前我们已经将其成本降低了近10倍。GPT-4是新产品,所以我们还没有那么多时间来降低成本,但我们会继续。我认为,在我所知道的所有技术中,我们的成本下降曲线是最陡峭的,优于摩尔定律。这不仅是因为我们想出了如何让模型更高效的方法,还因为我们对研究有了更好的理解,我们可以在更小的模型中获得更多的知识和能力。我认为,我们将把智能的成本降低到接近于零的程度,这对社会来说将是一个改头换面的转变。

现在,我的世界基本模型由智能成本和能源成本组成。这是影响生活质量的两个最大因素,尤其是对穷人而言,但总体来看也是如此。如果你能同时降低这两方面的成本,你能拥有的东西就会更多,你能为人们带来的改善就会更大。我们正走在一条曲线上,至少在智能方面,我们将真正实现这一承诺。

免责声明
以上内容为用户在观察者网风闻社区上传并发布,仅代表发帖用户观点。发表于北京市

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多