LLM和AI Agent将决定未来ToB应用的新形态｜行业洞察

   背景介绍

2024年1月24日，非凡资本联合诸多合作伙伴在上海举行了“2024 AIGC应用发展高峰论坛”，近千名AI相关从业者参与了本次活动。本期内容整理自嘉宾主题演讲环节。

相关阅读：

多模态大模型是通向AGI的必经之路｜行业洞察

   嘉宾

澜码科技创始人兼CEO 周健

未来式智能创始人兼CEO 杨劲松

Tyrion Al 创始人 刘煜晨

Deep Insight 创始人 王守彦

   圆桌论坛

Q：请几位嘉宾先分别介绍一下您所在企业目前在大模型和agent领域有哪些应用？

DeepInsight 创始人 王守彦：

我们的产品名为DBI，从名字就能推测出我们专注于BI领域，在利用AI进行数据分析和数据挖掘。那么，我们与传统的BI有何不同呢？

传统的BI假设是人类在进行数据分析和数据挖掘，因此大部分工具都是为人类设计的。开发者先入为主认为人类对原始数据并不敏感，而对数据可视化更为关注，因此最终很多BI公司都变成了数据可视化公司。

然而，我们的假设与之不同。我们认为AI应该能够自主进行数据分析和数据挖掘，能够自行获得洞见。今天的标题是“数领洞见”，这与我们的创业方向非常契合。因此，我们将这个概念稍作改变，我们称之为“AI驱动的数据洞见”。

Tyrion Al 创始人 刘煜晨：

我们专注于研发AI agent的开发平台和给客户提供端到端的AI agent解决方案，赋能其沉淀专家知识库和搭建专家agent。另外，我们还致力于帮助企业实现业务流程的自动化，利用代理技术来完成可由代理处理的任务。这是我们的主要业务方向之一。

未来式智能创始人兼CEO 杨劲松 ：

我们的产品是一个面向全球企业级应用场景的多agents解决方案。我们的主要优势在于具备多agents功能，它使得我们能够进行有效的编排，帮助企业构建知识时代的AI自动化流水线。

澜码科技创始人兼CEO 周健：

当我决定创办澜码时，当时AI agent概念还不流行，大家更多讲的是基于大语言模型的自动化平台。我们也主要围绕着业务流程自动化的需求展开。当年我在做RPA时，就已经意识到了业务员工在实际工作中需要处理数据、文档、应用和流程这四类对象。因此，我们有针对性地开发了不同的能力，比如针对文档的RAG，以及与数据相关的text to API等功能。

流程是非常重要的事，我们的agent必须具备对流程本身的意识，要能够感知流程所处的阶段。这样才能更好地帮助业务员工排序任务，避免出现类似在IM上有300个未读消息而不知道如何处理的情况。我认为这正是AI agent与大型模型应用或copilot之间最重要的区别，也是我们目前努力的方向。

Q：Tyrion Al 刘总有很强的甲方经验，能否请您介绍一下，在品牌应用中，你们agent和大模型具体能用到哪些场景里面。还有对品牌来说，数据、用户、流量是它最重要的东西。agent今天将如何重构这三者之间的关系？

Tyrion Al 创始人刘煜晨：

当ChatGPT受到热捧时，我们进行了一些小规模的尝试，并取得了令人震惊的效果。我们尝试使用AI来分析BA与私域消费者的对话历史记录。以前，我们只能借助传统的NLP或其他项目来分析语义、态度，以及是否提及了特定信息等。然而，使用大模型，让效率得到了大大提高。

另外，由于我们负责为很多小型B端提供产品解决方案，因此我们在很多场景下需要沉淀专家知识。但以往这些解决方案都沉淀在销售人员或老师的头脑中，或者被他们记录在一本本小本子上，然而这种方式效率很低下。于是我们思考如何将这些经验数字化，并且能用于新员工的培训，以及把他们以前的这个沟通从offline转向online的这个过程中，能够有一些更好的输出。

AI结合知识库的应用场景非常广泛，虽然当时我们只做了一些内部实验性的小尝试。但我对整个AI技术栈的发展持乐观态度。我相信无论是基础大型模型还是中间层构建工具，如agent和RAG知识库，都在为AI技术的发展添砖加瓦。随着时间的推移，会有越来越好的基础设施供给甲方使用。这些场景所带来的价值在可见的范围内肯定会越来越大。

Q：澜码的AskXBOT产品理念主要分以下三步：第一步，专家知识的数字化；第二步，基于CUI的柔性交互；第三步，领域知识的循环沉淀。这三步分别对应哪些ToB应用落地场景？

澜码科技创始人兼CEO 周健：

我们认为AI落地有三个阶段。第一阶段是专家知识的数字化。在许多企业中，关键知识通常存在于专家的头脑中。可一旦专家离开，这些知识就可能丢失。尤其像埃森哲这样的公司就是最好的例子之一。因此，我们发现很多潜在引流客户都是咨询公司。

此外，当企业拥有了仪表盘和指标库时，表示他们对于业务有了共同的理解。然而，很多时候，企业管理过程中存在诸如采购和财务系统可能无法打通的问题，这会导致支付条件和账期的管理与分析成为一个巨大的痛点。过去，解决这些问题通常是非常痛苦的，因为需要将不同部门的数据整合在一起，开发新的系统或者进行其他操作。但今天不再需要这样，因为CEO只需给我们的agent提供一个账号，我们就可以从不同系统中导出的Excel文件中解读数据，并通过一些简单的规则将数据导入到API的多维表格中，生成各种分析结果。这就是我们所说的专家知识数字化的第一步。

第二阶段，互动仍然很困难，因为过去是人适应机器。举个例子，我们为一个客户建立了三张表，拥有300个字段的自助式数据分析，然后我们与领导讨论了很久，但领导却反馈自己是小白用户，不懂技术，不明白300个字段是什么意思，也不知道什么是宽表。他强调他只想知道能做什么，不能做什么，不想去学习。这实际上反映了业务员工的需求。我认为在AI agent落地的过程中，不仅需要机器适应人，还需要理解人类对话的需求。因此，AI agent的形态一定是CUI，但这种CUI不仅仅是对话。我们要通过指标库，要建设语义semantic layer、metric layer。

在第三个阶段，以我们实践过的一个JD简历筛选案例为例。企业的JD通常要求候选人有三年工作经验，以及具备一定的专业知识。当机器读到一份简历有相关项目经验时，就会给其打高分，然后人再根据这些内容进行纠正，最终才提交上去。今天这些信息实际上可以通过进行大数据分析来实现批量化管理。比如，“工作稳定”是如何定义的，如何识别培训机构出来的简历等。过去专家通常都是依靠经验自己总结出来的，但今天专家能够借助AI将这些经验数字化描述出来，然后再用AI辅助执行这些工作，并能够为其提供进一步的数据支持。这样，专家可以节省大量时间，可以同时处理100、1000个案例。这时候，他还可以进一步检查规则是否适配，以及如何调整规则。这就是我所说的第三步，即在领域知识沉淀之后，进一步加强专家的知识。

Q: AutoAgents.ai有提出一个“异步协作式”Agents组织概念，据我了解也是业内首家提出相关概念的企业，这是基于哪些客户应用考量出发的？能为客户解决哪些问题？

未来式智能创始人兼CEO 杨劲松：

Agent实际上是大语言模型落地的一个非常好的途径。可以快速把语言模型应用到具体场景里面去。然而，从模型本身的能力来看，我们必须承认它仍然存在一些局限性和限制。

例如，一些所谓的多智能体产品的工作方式通常是串行的，像AutoGPT或者斯坦福小镇这样的产品，它们都是等一个人讲完后另一个人才能接着讲，这是一个串行的工作方式。但是，将这种模式应用到企业服务中会产生一些问题。长此以往这会导致大语言模型产生幻觉，并且通过一层层对话被不断放大，最终导致任务变成不可用的状态。

因为在实践中，我们会发现在人类社会中，工作通常是并行进行的，而不是串行的。因此，我们设计了一个新的agent协作能力。这个新的协作模式有一个负责中心调度的agent，它负责将任务分解并指派给不同的子agent进行并行工作。不同的子agent之间会相互校核和检查信息，最终使任务达到可用状态。短期来看，这解决了模型幻觉问题，长期来看，这个新的模式反映了人类知识的压缩和协作。语言模型象征着人类的大脑，而每个agent代表着一个人的角色和能力。将这些agent组织在一起，就像人类社会中的一个团队、一个部门或一个公司在协作，因此需要这样的能力来提供支持。

Q：AI 的核心就是 Data，DeepBI在做的事情就是用agent抓住企业数据的命脉，除了增强企业数据查询能力，不仅仅只是作为数据呈现工具，还有哪些巨大潜力或价值？

DeepInsight 创始人 王守彦：

我们的目标并不是简单的数据可视化，因为数据可视化是为人类做的。AI或者大模型去分析数据的时候，它不需要可视化，它本身都是token的，且对于raw data都很敏感。因此我们要实现的是thinking能力。thinking的意义在哪里呢？我们分析数据是为了得到insight，如果我们得到的是deep insight，那太有价值了。怎么才能得到deep insight呢？但不代表一个人智商很高，就一定能得到deep insight。还有两个很重要的过程，一个叫collaborate 协作，另外一个东西叫thinking。这个工作就必须通过agent来组织起来才能实现。

我们对AI有一个终极定义叫“无尽思考infinite thinking“。我们目前有两个产品，一个叫辅助数据分析，具体来说，只需提供一个数据集，无论是有一万行还是一亿行，有100个字段还是一万个字段，只要你随便问，辅助数据分析器都能够很好地解答。一旦这个条件满足，我们就可以进行另一个工作，那就是自动数据分析。这意味着机器自己进行探索，只要它不陷入循环，不形成一个loop，他就可以一直探索一直得到insight。这是人类对BI的终极的目标，也是我们想实现的事情。我们正是通过agent的技术做的，把agent用到了BI这个垂直领域。

Q：大家底层的基建都离不开大模型。然而，AI应用企业通常都使用的是第三方服务提供商提供的大型模型，这对大家来说有些像黑盒子。这是否会降低大家对自己产品的控制权？另外，你们如何理解自己和大型模型供应商之间的关系呢？

DeepInsight 创始人 王守彦：

我可以用一个比喻来解释大型模型与我们之间的关系。我将大型模型等同于教育体系中的高等院校，也是批量提供985院校毕业生。即使一个985高校的人类毕业生，进入社会后仍可能存在一些幻觉，这是很正常的。但是，这并不意味着单位的工作会变得混乱。因为每个单位都拥有一整套培训体系、约束条件和协作机制。因此，我们只需要这位毕业生具备两种能力即可：专业知识和逻辑能力。一旦他们加入，我们就可以教他们协作，并已经制定好了标准的工作流程。如果他们犯了错误，我们也可以及时纠正。事实上，偶尔犯错是有好处的。人类犯错往往会激发创造力，大型模型也可能会犯错，但通过这些错误，我们可以更深入地探索问题。

Tyrion Al 创始人 刘煜晨 ：

我们有一个比喻，将大型模型比作汽油，上层应用就像汽车，无论是加95号、92号的油，还是柴油，汽车都能跑起来。中间层更像是汽车里面的构建组件，是发动机、变速器、底盘等等，这就是为什么需要中间层的存在，就像成熟的汽车产业链不仅仅是整机组装厂，还需要各种零部件供应商。

我们需要做一些workflow、RAG、prompt engineering（提示工程）等工作，甚至需要在特定场景中微调模型，以应用在特定的流程中做多模型组合调用。因此落地的过程非常重要。在这方面，我们和大型模型厂商的关系类似过去云服务商和行业软件公司之间的关系。我们更多地思考的是，如何让他们能够更快速、更有效地专注于特定场景的落地。他们提供批量的底层能力，而我们则提供更贴近客户场景的应用层解决方案和能力，从而实现这种结合。

未来式智能创始人兼CEO 杨劲松 ：

我理解的大模型有点像盖房子用的钻砖瓦，是来帮助企业构建应用的。但是在实际应用中，由于房子有各种各样类型，大模型厂商自己是比较难深入各个具体行业里面去满足客户要求的。

目前市场上供给的模型厂商可能有两三百，但是能将大模型转化成具体行业中可用的应用场景厂商是缺乏的。将模型应用到场景里，现在还是一个稀缺的能力。模型厂商希望自己的模型能够有更多API的调用，用到更多的地方，实际上这正需要场景来拉动。我们现在和很多模型厂商都建立了合作关系，我们在客户里面找到合适场景，以此来倒推哪些能力是大模型应该增强的，比如更长的上下文、更稳定的json生成等，同时可以对不同的模型进行评测，以确定特定任务上哪个模型效果更好。

从应用角度出发，可以反向向模型厂商输入。比如下一版本是不是在这个方面的能力要增强，如此才能更好地满足用户的场景。它是一个良性促进的关系。

从我们做事情不被模型厂商覆盖的角度看，我们一般会在客户侧做一些迭代和研发。比如怎么让agent使用的工具更广泛，在某个行业里面这个工具的使用更准确更全面。从而使得规划可以更百分之百遵循用户的需求，提供服务。利用这样的能力，完善大语言模型应用，使它可以到达一个企业级可用的状态，这样才能让大模型真正在千行百业用起来。

澜码科技创始人兼CEO 周健：

以终为始看待行业发展大势。在我们的实践过程当中，大模型有三部分的价值。第一部分，可以整合文档和数据，尤其是原来没办法用的数据，比如周报、邮件、聊天记录、工作文档等。原来只能靠数据库，现在可以靠RAG技术把它整合起来。这部分的技术，在我看来一个开源的6B、13B已经够了，这也是一个极低的要求。

第二部分是数据分析，大家都会做，但这个还是有一定的要求的。不管是代码模型，还是用其他的一些方法，对于模型的难度都比RAG要高一点，可能相对来说是中等。最难的实际上是自己主动问问题的Master agent能力，或者说GPT4的function code能力。今天至少看起来可能是千亿或者万亿级参数才能搞定的，对算力的要求很高。

反过来讲，大模型厂商不可能在所有的级别，所有的场景里都报最低价。他们也要盈利，需要有引流款、利润款。对于甲方而言，和友商相比，正确选择和使用模型，不仅能在合适的地方实现成本优化，还能在竞争中建立成本优势。

用一个不恰当的比喻，大模型厂商是原料、食材，我是菜单。我们不需要在每一个场合都选择最高价的模型，今天仅仅只是做一个麻婆豆腐，干嘛要用最好的肉沫呢？这是我觉得应用层公司跟大模型厂商的区别。

另外第二层，企业有大量的私域的数据，而且企业并不愿意把报价数据、绩效数据、财务数据给到公有云的SaaS。但我们拥有很多SOP，知道如何处理企业内部的数据，这些形成了我们的竞争优势。继续用前面的比喻，我这个厨师，能用最普通的食材做出来一个宫廷级的宫保鸡丁。而对于agent的厂商，我们需要有几门独门绝技，这样互相之间才能形成差异化竞争。

Q：你们作为新一代的AI native公司，跟新客户之间在建立什么样的关系，怎么理解今天客户的一些需求？

DeepInsight 创始人 王守彦：

中国做ToB的公司都很苦，盈利困难。许多公司做到有几个亿的收入，要雇1000人甚至一千多人。因为传统code base的系统是刚性的，客户有需求就得安排产品经理跟代码开发，最后交付还得维护。导致ToB公司赚不到钱。

在我创业的过程中，我发现了一个非常有趣的现象，那就是我们公司最优秀的同事都是数学专业出身的。他们在做BI的时候，能够灵活地应对不同行业的数据需求。以前我们做BI的时候，需要针对每个行业进行专门的调优，然后再分配一个工程师去跟进。但现在，一个工程师就可以同时处理多个行业的数据，他们的自适应能力非常强。这样一来，我们做十个行业的BI，只需要十几个工程师，而不是以前的一两百个。这对我们的To b业务来说是一个巨大的变革。我们的成本大幅降低，而收益却大幅提高。这是以前To b公司难以想象的，也是我们的核心竞争力。

Tyrion Al 创始人 刘煜晨 ：

传统的SaaS产品服务头部客户往往需要根据不同客户的需求进行大量的定制化开发，这不仅增加了项目的复杂度和成本，也降低了产品的标准化和通用性。而agent这类的产品则有一个显著的优势，就是可以让客户自己在可视化的界面上对agent进行操作和修改，无需依赖供应商的开发和部署。这样，客户可以根据自己的业务流程和场景，灵活地调整agent的功能和表现，提高了产品的适应性和用户体验。

更进一步，如果未来能够实现通过自然语言设定目标，并学习历史操作记录的方式来让agent来自规划行为，那么客户的业务人员就可以更方便地使用agent，无需学习复杂的编程语言或工具。这将大大降低客户的使用门槛。因此，agent类型的产品是一种创新的SaaS模式，它能够让客户回归生意的本质，而不是被技术所困扰。

未来式智能创始人兼CEO 杨劲松 ：

大语言模型的出现，让机器能够更好地理解人的意图，这是一种前所未有的范式变化。在传统的企业软件采购中，企业只能买到一个工具，而不是一个具体的结果。比如，企业购买了一套SAP软件，但员工还需要花两周的时间去学习如何使用它。软件厂商也无法保证软件的效果和质量。而在agent时代，企业可以直接告诉agent期望达到的目标，由agent去规划和执行任务，调用各种软件，最终完成用户的需求。企业不再为工具买单，而是为结果买单。这种变化也影响了商业模式。

比如，我们销售的一些agent，它们的定价是根据效果来的，比如它们完成了多少次的应答或者任务的处理。这样，企业的采购目的就非常清晰，花出去的钱能换来多少价值。这是一个巨大的范式转变。这种变化还体现在交付上。与AI1.0相比，AI2.0的交付人员从算法专家变成了传统的IT人员，甚至是业务人员。以前，一个软件的实现过程，需要经过业务部门、IT部门、供应商的多次沟通和协作。而现在，我们的目标是实现text to agent——即用户只需要用自然语言描述他们的业务需求，就可以直接生成一个智能体，极大缩短了从需求到响应的时间，缩短了传统企服行业的长交付周期、高交付成本的问题。运营效率得到大大提升。

澜码科技创始人兼CEO 周健：

关于实施效率，我也深有同感，在此不做过多赘述。我这里想再提出一些与SaaS端商业模式不同的观点。我们过去在跟猎头公司合作过程中，发现专业知识是一个巨大的挑战。猎头对专业知识的需求量非常大，因此我们开始着手解决这个问题。让我举个例子：我们与一家软件外包公司合作，帮助他们评估1到3年经验的Java工程师的职位描述和简历。我们成功地完成了这项任务，他们也非常满意。然后，我们又与一家可能是上市公司的外资行合作，帮助他们招聘中级软件工程师。然后他们反馈说我们的产品用不起来，因为缺少一个很重要的功能，即识别不出简历是不是培训机构帮忙代写的。

这个问题实际上是一个普遍存在的难题，不仅仅是猎头公司，各行各业都会遇到。而解决这个问题的关键正是在于数字化专业知识。目前我们已经成功地解决了这个问题，且无需依赖GPT-4。我们只需花费约一块钱的成本，就能为他们提供高质量的推荐意见，从而提高面试的采用率，通常可以提高2倍到3倍。对于软件外包公司而言，这是极大的提升。

以软通动力为例，他们拥有8万名员工，但只有2000名招聘专员。这2000人中，并不是所有人都能写出高质量的推荐意见，因为他们的薪资水平通常在6千到8千之间。推荐100份简历，可能只有10份能够成功面试。因此，如果我们能帮助他们提高简历的采用率，他们愿意为此付费，即使只是5块或10块。这意味着我们的价格模型和成本模型与SaaS产品将完全不同。我们的成本模型基于业务结果的分润，SaaS企业则是基于系统账号的分润。回顾我们当年在开发RPA时提出的“数字员工”概念，现在看来，这一目标已经有可能实现了。

Q：新的一年，各位嘉宾对AI创业者同仁有哪些建议？

DeepInsight 创始人 王守彦：

站在To B角度，我对这个领域仍然非常乐观。过去，To B往往是一个边际成本递增的业务，因为随着业务增长，人员数量也会增加，从而导致边际成本上升。然而，如今AI的应用使得To B有可能成为一个边际成本递减的业务。这在过去是很难实现的，因为人越来越贵。

其次，我想分享一下刚刚补充的客户案例。我们在To B领域运营，如果市场已经存在，比如商业智能（BI）市场已经存在了20年，且市场规模很大，大约有数百亿美元。如果你要进入这个市场，那么后来者的产品必须至少比先行者的产品好十倍，否则根本无法立足。

在To B领域，人际关系非常重要。即使你的产品比先行者好一倍，人家也不一定会选择你，只有好到十倍的程度，别人才会考虑切换。根据我们的实践经验，现在的AI已经具备这个条件，可以在To B领域开发出比以前某些SaaS服务和工具更优秀十倍的产品。如果你的第一款产品比其他产品好十倍，市场就会认可。此外，你的成本可能只有其他公司的十分之一，因此我认为To B领域的发展空间非常广阔。

Tyrion Al 创始人 刘煜晨：

我整体对24年也是非常乐观。我觉得整个23年，大家还在一个学习或者了解的阶段。2023年初我们经常跟一些甲方同事聊，他会问什么是AI，什么是agent，都得先有一个科普的过程。等到年底的时候，就已经不需要科普了，很多学习能力强的品牌都已经开始规划各种比较实际的AI落地项目。甚至我们有很多客户项目都已经到2期甚至3期，并且在做一些全年的、比较大的具体规划，所以我们还是很乐观的。

未来式智能创始人兼CEO 杨劲松：

从去年底到24年初，我们观察到一个新趋势：很多行业出现了一种新的工作模式，我们称之为“人机混合工作”。这种模式的一个特点是将原有的业务或新业务进行精细拆分和设计，然后由人和AI协同完成。例如，可能有100个节点，其中七八十个节点完全由AI执行，而人类在其中扮演关键决策角色。实际上，这种新时代的知识流程将催生许多新的业务场景。让我们可以在增量场景中挖掘增量价值，而不仅仅局限于存量市场，这是一个巨大的机遇。

其次，关于“agent”，还有一种形态是作为新型的业务入口，这是与Web和移动应用（APP）同一级别广阔场景。未来必定会出现一种新的入口，即通过“agent”来承载原有的业务逻辑。这将为用户提供了一种新的、更直接的交互方式。就像从使用鼠标、图形界面转变为现在通过语言指令与计算机和世界互动一样。这是一个充满想象空间的领域，因此总体而言，我对市场持乐观态度，也希望整个市场其他同行能够也保持乐观。

澜码科技创始人兼CEO 周健：

2023年大家逐渐形成共识，摩尔定律在不断被颠覆。AI agent的数量将不断增加，预计每12月就能翻一番。此外，大型模型的推理成本每18个月降低到原来的十分之一，训练成本降低到原来的四分之一。例如，智谱的GM4已经超出了我的预期，提前3到6个月就达到了GPT-4的水平。今年，我预计国产大型模型还将追赶上GPT-4。

其次，关于人机协作或CUI（Conversational User Interface），人类不再需要适应机器，而是机器适应人类。这一点已经得到广泛认可。然而，由于大型模型存在幻觉、成本和学习等问题，2023年并没有出现太多实际应用场景。不过，对于AI agent公司而言，这正是一个机遇。只要我们能够解决这些问题，市场潜力显而易见。

我昨天还与智谱的人进行了交流，他们对交互暴雷问题感到担忧。去年，他们的估值从20亿人民币增长到了200亿人民币。投资人给他们的收入压力非常大。因为他们的客户中，不会有企业只愿意花3000万购买一个企业知识问答系统。全中国500强企业中已经有150家与智谱合作，他们接下来要做的是解决大模型真正在业务场景的落地交互问题。这些都是我们的商机，我认为这是一个非常积极的方面。实际上，各种趋势已经基本形成，只要我们做好自己的工作，就能够实现许多新的目标。