在机器之心主办的 WAIC 2023 AI 开发者论坛上,百度技术委员会主席吴华为大家带来了精彩的演讲。在活动中,她回顾了 AI 范式的变迁,并重点介绍了大模型时代的 AI 原生研发模式,探讨了新范式带来的机会和挑战。
以下为演讲的详细内容,机器之心进行了不改变原意的编辑、整理。 大家好,很高兴来到开发者论坛,今天我的主题是《大模型时代的 AI 原生研发模式》。 AI 研发模式的变迁 最早的时候,不管是生成式模型还是判别式模型,AI 模型都需要针对每个任务训练一个模型,以此满足应用的需求,而且模型之间的能力不能共享。 随着大模型以及预训练技术的发展,现在存在 AI 研发模式的一种变迁,比如像 BERT 出现以后就有了两阶段的研发模式:
今天重点讲的是第三种,叫做 AI 原生的研发模式。如何充分利用大模型的能力?大模型是不是不能直接满足我的需求?有一些专业数据如何被充分利用?如果有一个大模型可能没有那么厉害的能力,比如计算能力,我怎么补充大模型的计算能力?如果有补充大模型能力的工具,如何和大模型结合?大模型时代的 AI 原生研发模式,有点类似于操作系统。不管是 PC 时代还是移动时代,操作系统底座有几个比较大的功能,比如文件管理、存储管理等,这些基本能力是操作系统提供的。在这个基础上比如要完成 PPT、Word、Excel 都有不同的软件满足特定的需求,但它们共享了操作系统里最基本的能力。大模型也可以这么理解,有了大模型以后,这个大模型可以提供一些基本功能,比如大模型原生的一些能力,也可以有阅读理解能力、分析能力、写作能力、推理能力等等。除了原生能力,也可以提供一些基本工具的能力,比如文档解析、向量索引建库等。 怎么用现有大模型的这些能力构建工具,或者已有的一些工具怎么来跟大模型结合满足需求呢? 有这个基础以后,是可以利用基础工具建设新的能力,或者利用已有的工具来增强大模型。比如说文档检索,利用现在大模型的能力是完全可以重构的。现在大模型大家普遍理解就是必须得非常大,其实每个人心中的 “大” 是不一样的。除了利用基础工具建设新能力以外,还可以利用以前的数据库,也可以利用以前的工具满足需求。举个例子,比如在 “文心一言” 里面,有一个插件叫 ChatFile,它是支持 PDF 和 Word 文档的问答和摘要的长文档能力。大家都说长文档建模非常重要,我们 ChatFile 其实就是支持长文档的阅读能力和摘要能力。这里需要的是通用模型原生的能力。在做 ChatFile 插件的时候,既调用了大模型的摘要能力、阅读理解能力,有时候还需要一些传统工具的帮助,比如文档解析。相当于是把文档解析传统的工具和大模型的原生能力结合在一起,这就变成了现在新的 AI 原生的研发模式。我们还可以看一个具体的例子,比如用户上传了一个汽车说明书,针对这个说明书可以问问题。比如汽车的尾门怎么打开,汽车怎么快速连接手机,基于上传的文档,大模型就可以回答用户的上述问题。以前做这类问答准确率蛮低,但是因为大模型有这样的原生能力,所以支持这样的文档阅读和问答。用户如果下载一个英文的论文,文心一言也是可以用中文来提问,回答也可以是中文的,这种多语言的能力也是大模型原生的能力。总结来说,就是 ChatFile 这样一个插件,利用了传统工具和 AI 原生能力,就可以满足长文档的问答和摘要需求。 再举两个例子。一个是有声小说的应用:根据用户的需求即时生成小说,并用语音合成朗读。生成小说是 AI 通用模型写小说的能力,比如从头写或者续写,写完以后配音,配音是有角色,要有角色不同的语调,角色分析都可以通过原生能力来满足,在这个基础上配上语音合成 TTS 的工具。这里面通过插件可以调用多模态的能力,以后底座模型本身就具有多模态的能力。通过这两种的结合,可以很好满足用户的需求。另一个例子是智能问答,智能问答和 ChatFile 是一种,但是不同领域,比如说能源、工业制造等领域有很多的专业文档,很多时候要基于这样的内容做信息检索来问答。这个时候现在文本检索和建库,也可以利用大模型做端到端的建库。以前都是通过倒排索引等方式,现在完全可以通过大模型,比如说千亿大模型建库可能几十亿的参数就 OK 了,就可以建立端到端的检索库,作为一个外部的插件,就利用通用大模型的理解分发能力去整体结合。同时在通用模型里面,还可以利用通用模型其他更多的能力,实时回答用户问题,所以专业数据也很容易充分被利用。 AI 原生的研发模式带来哪些机会? 刚才我们举了很多例子,总结一下,无非用到了大模型原生能力,我们经常容易叫做函数调用或者接口,这种能力是可以通过接口的形式开放出来的。比如来了一个需求,不同的需求需要不同的能力,一种是大模型已经具备的 AI 原生能力,通过函数调用的方式就可以轻易获取。同时满足一个需求的时候,以前就已经有一些工具了,比如文档解析的能力,完全可以结合通用模型一起使用。调用方式可以是固定模式,比如 ChatFile 长文档的问答和摘要能力,就可以把整个流程用一个固定调用的方式写成一个 script 放在描述前面,就可以满足用户的需求。另外一种方式,对于复杂的模型可以充分利用大模型规划的能力,现在大模型有一定的规划能力,不需要写一个脚本,只需要告诉它 “我要干什么”,大模型内部就会生成一个完成复杂任务的 script。这样的话一个任务,模型自己就会通过 agent 生成不同函数调用的流程,以此满足需求。对于开发者来说不需要想流程是什么样的,只要告诉模型需要什么样的功能,功能之间的关系到底是什么,可能就不需要去想他们之间的先后顺序、逻辑关系等等。这就是 AI 原生研发的 “自适应模式”。 从整个流程来看,有了大模型,既提升了传统应用的研发效率,也提升了满足这种应用需求的可能性。以前满足相关需求的话,准确率可能也就 60% 到 70%,但是通过功能的组合、大模型的基础能力,可能可以到达 90% 以上。把以前不能干的事情,现在变成可能了。所以 AI 原生研发模式蕴含了很多机会。 AI 原生研发模型也带来很多挑战 首先是思维模式的改变,大家都想拥抱大模型,也有一些担心,其实很难固定是一个大模型还是小模型或者怎样的模型满足需求,但是最重要的是要充分发挥大模型的优势,提升生产效率,这是最本质的。AI 原生的研发模式带来根本性的变化,传统功能并不是没有用,而是怎么跟 AI 原生能力有机结合才是需要去关心的一个问题。支持大模型基础设施的建设也是一个挑战。比如算力、大模型系统本身要提供的原生能力的建设,以及围绕这些能力建设的工具链。最重要的大家会忽略的一点是反馈闭环,反馈闭环还是非常重要的。你有一个大模型,把能力都输入在里面,使它通过环境交互不断提升,这一点非常重要。为什么 OpenAI 可以进步很快,因为它有很多的应用在这上面。最后是模型的安全性和可解释性,这也是应用中非常需要的能力。今天就讲到这里,谢谢大家!