|
当前，我国正在建设科技强国的道路上大步迈进。党的二十大报告明确指出：“坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康，加快实现高水平科技自立自强。以国家战略需求为导向，集聚力量进行原创性引领性科技攻关，坚决打赢关键核心技术攻坚战。”人工智能是新一轮科技革命和产业变革的重要驱动力量，正在加速创新发展，赋能产业转型升级。现阶段，大模型成为人工智能发展的热点方向，尤其是文心一言和ChatGPT等近来备受关注的大语言模型，具备与人对话互动、回答问题、协助创作等能力，有望带来人工智能创新的爆发式增长，引发社会热议，成为全球科技竞争焦点。 大语言模型某种程度上具备对人类意图理解能力 美国作为传统的科技强国，在大模型发展方面具有一定的优势，美国各巨头科技公司均有相关雄厚的技术资源和能力。中国在大模型发展上正在迎头赶上，各科技公司纷纷加入了大模型开发和应用的队伍。总体而言，虽然与国际领先水平相比仍然存在一定的差距，但以文心一言为代表的国产大语言模型的出现，让我国成功跻身这场全球科技竞争当中。这背后得益于全栈人工智能技术的加持。 人工智能技术栈可分为“芯片层、框架层、模型层和应用层”，在技术栈的每一层，都有领先的关键自研技术，实现了层与层反馈，端到端优化，大幅提升效率。作为自主研发的知识增强大语言模型，文心一言在技术四层都有涉及，尤其是飞桨深度学习平台和文心大模型的联合优化，为文心一言提供了坚实的技术支撑。 文心一言是多年技术积累和产业实践的水到渠成。早在2019年，文心大模型ERNIE 1.0发布。经过4年研发和迭代，文心大模型已经形成了产业级知识增强大模型技术体系，包括自然语言处理大模型、视觉大模型、跨模态大模型、生物计算大模型、行业大模型，以及支撑大模型应用的工具平台，蕴含了大量自主创新并且在大规模产业应用中得到验证的技术。其中有些关键技术已申请专利或发表论文，还有一些相关技术已开源开放。 杜甫有诗：“读书破万卷，下笔如有神”。这句诗一定意义上也是大语言模型的形象写照：从海量数据中学习，相当于读了万亿卷书籍，吸收和理解了海量知识，在此基础上，就可以按照用户的需求去创作文案、回答问题、完成总结分析。当下，文心一言、ChatGPT等大语言模型在某种程度上具备了对人类意图的理解能力，其回答的准确性、逻辑性、流畅性都逐渐接近人类水平。但整体而言，这类大语言模型还远未到发展完善的阶段，有赖于通过更多真实的用户反馈逐步迭代进化。 国产大语言模型处于什么水平 技术上的比较优势，是未来国际竞争中的立足点，也是人们普遍关心的问题。文心一言在文心知识增强大模型ERNIE及对话大模型PLATO的基础上研发，基于飞桨深度学习平台训练和部署，其关键技术包括，有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术，此前已经有应用和积累，文心一言中又进行了进一步强化和打磨，做到了更懂中文、更懂中国文化、更懂中国的使用场景；后三项则是我们已有技术优势的再创新，也是文心一言越来越强大的技术底气。 我们可以用老师教学生来类比大语言模型背后的技术原理。预训练大模型像博览群书的学生，记住了很多知识，但需要老师来指导如何运用，而有监督精调就是老师在教学生，将提炼出来的知识要点、典型范例等教给模型，让它知道该如何符合人类的规范、习惯和价值观，如何按照人的指令去执行相应动作，生成相应内容。在文心一言中我们训练了奖励模型，为每次输出的结果打分并反馈给模型，进行强化学习。随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强，进步“一日千里”。同时，文心一言还融合了不同类型的数据和知识自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。 在知识增强方面，知识是人类认识和改造世界的智慧结晶。文心一言基于庞大的知识图谱，通过知识内化和知识外用来实现知识增强。知识内化，是从大规模知识和无标注数据中，基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中；知识外用，是引入外部多源异构知识，做知识推理、提示构建等等，使模型具备有效运用外部知识的能力。在知识的指导下，文心一言如同站在巨人的肩膀上，学得又好又快，模型效率和效果均大幅提升。 在检索增强方面，文心一言借助了搜索引擎的能力。以语义理解与语义匹配为核心技术的新一代检索架构，深入理解用户需求和网页内容，进行语义匹配。通过引入搜索结果，可以为大模型提供时效性好、准确性高的参考信息，更好地满足用户需求。 在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，使得对话的连贯性、合理性和逻辑性更好。 未来国力竞争与生产力提高的重要资源 大语言模型不仅仅是一项技术，更是未来国力竞争与生产力提高的重要资源。以深度学习平台和大模型为代表的AI新型基础设施，对科技创新、产业升级和高质量发展意义重大。大语言模型的快速进步，正在激发新业态、新模式，由此带来的工作方式、教育模式等的变革，以及人工智能安全等问题引起社会的热议。 在工作方式的变革方面，人工智能技术，本质上是提升生产力的工具，可以跟人协同工作，也可以替代人完成一些工作，使我们有机会去做更具创造力的事情。人类历史上任何一次科技革命和产业变革都会带来一些工作被替代、工作方式的改变，同时创造了更多新的工作机会。如同汽车出现后，马车夫这样的工作不复存在，但汽车带来的工作机会多了很多倍。随着技术的进步和生产效率的提高，人们的生活会越来越美好，因为科技创新带来了各种各样新的机会。 在教育模式变革方面，“死记硬背”已经落伍，教育将与时俱进，向激发灵感、培养创造力的方向转变。在未来，如何用合理的输入指令来使用大语言模型，如何基于大语言模型的输出来进行创造性工作，可能是每个人的必备技能。我们不仅要培养懂人工智能技术的人才，也要培养会运用人工智能技术在各行各业中解决问题的人才，才能在建设科技强国的征程上稳步向前。 大语言模型及相关人工智能技术的发展，要坚定遵守相关法律法规和伦理规范，配备相应的监督和管理机制，从各个环节做好安全防范。在文心一言的开发过程中，从最初的数据的采集、处理，模型的训练，到最后的使用过程，构筑了五道安全防线，也有数据管理委员会，与社会各界共同合作，不断完善相关政策、规则，强化人工智能安全。 随着大模型带来的智能化创新热潮不断涌现，大语言模型的下一步会是通用人工智能吗？就像人造地球卫星永远也不会和月球这样的自然卫星画等号一样，人工智能永远也不会直接跟人类的智能完全画等号，研究人工智能是在研究用技术手段来模拟、延伸和拓展人的智能，最终目的是为人类带来更先进的科技，服务于人类更美好的生活和社会的发展。人工智能的通用性越来越强，部分能力已经达到或超越人的水平，比如人工智能棋手的水平已经超过世界上最强的选手；自然语言理解的国际评测上，知识增强语言模型的得分已经超过人类得分；智能质检设备可以检测到人眼发现不了的缺陷和瑕疵，准确率和检测速度大幅提升等等，远远超过人的能力。从这个角度来看，可以认为通用人工智能在一定程度上已经实现了，但比起这个概念本身，我们更应该关注人工智能为人类带来的价值。 从大模型的产业模式来看，大模型依赖算法、算力和数据的综合支撑，产业化面临挑战：模型体积大，训练难度高；算力规模大，性能要求高；数据规模大，数据质量参差不齐。大模型需要类似“代工厂”的产业模式，即具有算法、算力和数据综合优势的企业，将模型生产的复杂过程封装起来，通过低门槛、高效率的生产平台，为千行百业提供大模型服务。大语言模型既是人工智能发展的一个里程碑，更是分水岭。未来，文心一言这类大语言模型会成为一个通用的赋能平台，金融、能源、媒体、政务等各行各业，都可以基于实现智能化变革，提高效率，创造巨大的商业价值。 放眼全球，以文心一言为代表的国产大语言模型让中国第一时间参与到世界前沿科技竞争中，意味着我国的人工智能可以参与制定竞争规则，掌握科技创新、经济发展的主动权，避免受制于人，也为产业上下游发展赢得先机。 文章来源：《学习时报》2023年4月26日第6版
|
|
|
