|
转自：墨子沙龙 人类已经经历了三次工业革命，每一次的工业革命不仅令人类的文明实现新的飞跃，也对世界格局产生了重要影响。第一次工业革命是基于蒸汽的动力革命，让英国成为了世界强国，第二次电力革命和第三次信息革命主要发生在美国和欧洲，但我们其实都已经享受着它的红利。 众所周知，下一次工业革命就是所谓的智能革命。今年是人类历史上一个特别重要的年份，因为从某种意义上来说，智能革命真正的来临了。 人工智能的发展历史是个跌宕起伏的过程，经历了一些波峰和波谷，它曾在诞生初期获得过人们的诸多期盼，也经历过若干次难熬的冷清，直到2010年，深度学习技术为人工智能带来了新的革命，其中包括我们熟悉的AlphaGo、ChatGPT，人工智能已经到了真正能够应用的阶段。 ChatGPT是什么？
ChatGPT是什么？毫无疑问，它是一个聊天程序，也是一个能够人工智能自动生成内容的工具。但其实，ChatGPT能够做的事情非常多，因为既然是聊天，我们可以聊任何事情，解一个数学题、挑一件礼物、选一个出行方案……所以从某种意义上来说，ChatGPT可以做任何事情。 ChatGPT是有史以来用户增长速度最快的应用，两个月就达到了一个亿的月活，它的重要意义从Bill Gates、Elon Musk等人的评价中也可以感受得到。 GPT并不是今天才出现的，它的进化其实是有迹可循的。很多年以前，大家就知道大模型非常厉害，而现实中，它的发展比我想象的快很多。 大模型的发展出现了几个重要的现象：一个就是GPT的进化，从1到2、3、4，参数量是指数级上升的，数据量也不断的增加。虽然GPT-4没有公布具体的参数量和数据量，但根据我们大致的估计，可能会是GPT-3的3至4倍左右，甚至更多。对是否出现了智能涌现的现象，学术界还有很多争论，但至少有一点是肯定的，就是大模型参数量和数据量足够大以后，它的能力比之前的那些中小模型确实强大了很多。 另外一个现象也很有意思，大模型的参数量呈指数级的增长，增长非常快。摩尔定律大概是说CPU的性能每两年翻一番，但大模型的参数量是每3至4个月就要翻一番，非常的惊人。
第三件事情，对学术来说特别重要，ChatGPT其实在某种意义上具有一定的常识和知识，这种能力大致相当于9岁小孩，而且还在飞快地提高。以前常识、知识对于人工智能研究者来说特别困难，而大模型一下子就解决了。另外有一些恶意的问题，以前的模型都很难回答，但是现在的ChatGPT通过强化学习的手段可以回答得非常好。 虽然从另外一方面看，也有一些评测表明ChatGPT并不是在所有的方面都比现在的最好的模型要强，但现在的最好的模型有可能是针对一个特定的任务，而ChatGPT是一个通用模型。虽然对于一些逻辑和语义理解的任务，它不是我们想象的那么强。 我们可以简单的分析一下ChatGPT有哪些核心的成功要素。首先，算法当然很重要，但并不一定是最重要的。除了算法之外，它的基础设施——算力也很重要，还包括它的数据、人才等方面。 我们简单的估计一下，关于ChatGPT的训练数据有不同的说法，有的说是45T，也有说法是750G，大概有4000多亿的单词量。这是非常庞大的数字。此外，大致估算，ChatGPT的算力是一年用355个v100 GPU，它每一次训练成本非常高，大概需要一亿人民币左右，当然现在这方面成本也会趋于下降。 GPT的最新版本——GPT-4已于3月14号推出，它在很多人类的测试上达到了非常惊人的水准。比方说GRE、托福这样的考试，GPT-4比GPT-3.5强了很多，也就是说GPT-4相比于GPT-3.5主要就强在推理能力和语义理解能力上面。 这就是目前大模型的基本情况，大模型非常厉害，它的诞生基本代表了2023年已经成为通用人工智能的元年，智能时代真的来了。 大模型之后该怎么走？
第一条路线是更多的参数量。参数量毫无疑问会变大，这里就要面临第一个挑战——摩尔定律的增长赶不上大模型的参数量的增长，摩尔定律是说两年翻一番，而大模型3到4个月就会翻一番，我们会很快发现计算能力不太跟得上需求；另一方面，从效果来讲，就算参数量是指数增长，但是其效果却是线性增长的，所以，大模型继续增大参数量，边际效果不会像以前那么明显。 第二条路就是更多的数据，但是，有人认为，GPT-4已经把几乎所有我们能够找到的高质量的文本数据都训了个遍，也就是说，数据量也有可能存在瓶颈。尤其是，高质量的数据总有耗尽的一天，而且可能就在不远的将来。 第三条路是采取更好的引导和思维链的策略，这也是现在大模型研究一个热点。思维链是什么意思？就是我们在对大模型提问题的时候，需要有技巧的去问，在我们人类看起来是差不多意思的问法，大模型可能会给出不一样的答案，于是，现在有很多研究集中在自动的引导、自动的思维链，或者是向量的连续的而非离散的引导方案。 另外，还有一个对于应用来说很重要的问题：目前，ChatGPT主要是做文本，但其实，诸如图像、视频、音乐等其他模态，现在都有很多模型在尝试。关于大模型能否更好的用在各个领域，也是目前大模型研究的一大热点。要做到这一点，我们需要解决大模型的一些问题，比如，大模型如何与领域知识结合，出错时如何纠正等。 还有一个值得关注的问题是大模型和隐私的问题：如何确保与ChatGPT的互动不侵犯隐私? 如何确保ChatGPT不会窃取商业机密?这需要更好的监管措施。 还有另外一个有意思的问题，如果ChatGPT可以跟ChatGPT来个机机对话，是不是能够生成更多的数据，让机器在没有任何人类干预的情况下做演化，这也是一种有趣的可能。 通用强人工智能：两条路径
大模型很厉害，但是它一定不是完美的，大模型如果要真正走向通用强人工智能，大概沿着什么路径呢？ 目前的大模型还有一些缺陷。 首先，它有时会犯事实性错误，也就是大模型的可靠性问题。比如，它会搞错诗词的作者。因为，从原理上说，大模型挑选答案是用概率的方式，所以很难保证百分百正确。现在，很多领域的大模型在这一点上并不能做到特别好。这是大模型最重要的问题之一。 第二，就是大模型的数学和逻辑推理能力。虽然 GPT-4在某些考试上面表现特别好，但面对一些特别有意思的逻辑推理问题时，大模型的回答与随机答案差不了多少。为什么会这样？因为在深度推理时，虽然大模型每步的预测准确率可能高达95%，但是如果推理需要20步，最终的准确率就是0.95的20次方，这是一个不太令人满意的结果。 第三个问题是大模型的形式语义理解能力。虽然大模型能实现一定程度的语义理解，但要想真正意义上形式的、深度的、完全理解语言背后的意义，大模型其实还有很大的改进空间。 最后一点，大模型作为一个黑盒模型，它有一些通用的弱点，比方说它的可解释性、可调试的能力等。 所以说，大模型虽然很强大，但并非无所不能。从原理上来讲，其实还有很多事情比较难解决。 接下来的问题是，如果我们想要解决这些问题，该怎么办？ 有一个路径——继续沿着大模型现有路线走。我们知道，人工智能从正式诞生到现在也就60来年的历史，而GPT真正开始训练至今也仅仅5年，无法想象，如果给大模型下一个5年、50年、500年，它会变成什么样子？当然了，沿着这条路走，面临很多挑战，是不是真正能够解决语义问题、推理问题、事情错误问题，现在都未可知。 还有另外一条路径，要解释这一点，请大家首先考察一下我们自己。我们人有两套推理系统，一个叫系统一，另一个叫系统二。系统一就是底层的、特别快的、下意识的、不加思考就能得到结论的推理方式，就像在家里面闭着眼睛也能够找到洗手间的位置；但是如果我们到了一个陌生的地方，想要找洗手间，就要用到系统二的推理——慎思的、比较慢的、能耗比较高，但是相对来说会比较精确的推理系统。 ChatGPT做了很多系统一的事儿，和很少系统二的事儿，只不过，ChatGPT模拟系统二的能力不是以符号的、逻辑的、语义的方式来实现的。于是，接下来我们自然而然会想，是不是可以通过一种方式把系统一与系统二相结合。而这个问题的答案就蕴藏在历史里面。 人工智能的历史上，曾有过一个高峰——专家系统的雄起并真实落地。彼时，人工智能的主流，就是用系统二的符号的方式把专家的知识喂给机器，然后机器就能够像专家一样自动回答。 现在我们回过头看，当下大火的ChatGPT和红极一时的专家系统各有所长，也各有劣势：ChatGPT长于学习能力，表达能力一般，但是弱于逻辑推理，常犯事实性错误；而专家系统推理能力比较强，表达能力也很不错，但学习能力相对较弱。也就是说，GPT的诸如简洁、通用、泛化能力强等优势正好是专家系统的弱点，而专家系统的强逻辑推理、领域知识、可解释性等优势正好是GPT的弱项。 所以，二者如果能够有机结合，正好可以取长补短，我个人认为这可能是一个更好的通往通用强人工智能的方向。对此，我们组进行了一些探索。 既然说到专家系统，我们要问，现在用的专家系统，还是40年前那样的吗？显然不是，现在我们想要的专家系统需要新的革命，需要对知识有新的理解，需要新的表达、推理、学习方案，甚至是新的技术理论。这里面，关键在于知识模型，即机器如何解释知识。我们组已经提出了一个叫做“知识方程（Knowledge Equations）”的模型，我们希望它与以往的知识模型相比，具有独特的能力，能够真正服务于实际应用。某种意义上，这就是一种系统一与系统二结合的方案。 我心目中，未来人工智能的面貌隐藏在历史里。我相信，未来5至10年之内，人工智能会慢慢走进成熟期。所谓成熟期，需要数据和知识相结合，也需要基于深度学习的神经网络的连接流派与基于符号逻辑的深度推理和语义理解的符号流派相结合。两方面结合，将使人工智能在各行各业都达到令人惊讶的水准。 人工智能：应用与影响
人工智能将会对我们产生非常深远的影响。 今年将是一个特别重要的年份。ChatGPT的出现代表着人工智能可以真正变得非常有用，而人工智能大规模的应用将颠覆很多行业，这种颠覆从现在真正开始。 首先被颠覆的一个领域就是搜索、对话、人机交互。以往的搜索，就是用一些算法，把我们与需要的信息做了一个连接。但是如果ChatGPT可以用更省事的问答的方式，把我们和我们所需要的信息做更好的连接，对以往的搜索工具就是一个大的冲击。同样的，很多人机交互的领域，包括智能音箱、智能客服等，都会受到直接的颠覆和挑战。 第二个领域是内容生产领域。现在，随着大语言模型越来越成熟，在文本生成方面，大大提高了我们的效率。除了文本之外，还有很多多模态的生成工具，比如图像设计等职业，都可能被人工智能颠覆。 第三个领域是程序设计与编码。大模型虽然还不能很好的完成算法设计，但是有些编码能力已经令人惊讶，未来将会对整个 IT行业都产生特别大的影响。 第四个领域是计算机辅助建模。未来，如果我们把领域内的真实问题变成数学问题或计算问题，用大模型技术，可以自动生成程序设计语言需要的类图。 另外，不得不提一个非常深刻的问题——大模型对教育和科研的影响。大模型时代，家长和教育工作者应该教什么，以什么样的方式去教？学生应该学什么，以什么样的方式去学？这些现在都没有特别好的答案，需要整个社会一起思考和探索。除了教育，大模型对科研的很多工作也是降维打击，比如现在有一个工作，可以直接从一些数据里面生成万有引力定律等物理学公式。在大模型时代，我们该怎么样做科研，用什么样的方式来研究？现在虽然还处在特别早期的阶段，但智能时代终会对教育和科研产生深刻的影响。 虽然，从大模型到通用强人工智能仍然有些距离，但我认为，未来，大模型和知识计算结合，通用强人工智能会对几乎所有行业都产生颠覆性的影响。 我们知道，信息化分三步走——数字化、网络化、智能化。数字化革命和网络化革命已经完成，而智能化革命会更加热烈和重要，也更加值得我们去思考。因为，无论是蒸汽革命、电力革命，还是数字化、信息化革命，他们“革”的更多的是手和脚，以及一点点脑力，但智能革命就是在“革”我们脑子的命，这可能会带来很多问题。 总结
ChatGPT非常重要，也非常厉害，某种意义上，它出现的2023年代表通用人工智能的元年，也代表生成式AI落地元年，智能时代真正来临了。 ChatGPT虽然很强大，但现在它并不是无所不能，它在深度推理等方面还有一些缺陷。 我认为，ChatGPT加上知识计算——连接加符号，数据加知识，是通用强人工智能的一个很重要的方向。 ChatGPT以及之后的通用强人工智能技术，会对我们整个人类社会产生深远影响，第四次工业革命也就是智能革命真的要来了。 |
|
|
