|
2022年11月，美国人工智能研究实验室OpenAI推出了自然语言处理工具机器人ChatGPT。与现有其他智能机器人产品相比，其智能化程度有着颠覆性的提升，不仅能通过连接大量的语言库来训练模型，做到能够模拟人类自然对话方式，还可以进行更为复杂的语言工作。一经推出迅速爆火，成为历史上增长最快的消费者应用程序，不断引发各个行业的广泛关注，拉开了通用人工智能时代的序幕。 要回答这个问题，得先知道一个概念——通用人工智能（AGI），指一种能够像人类一样在各领域中执行各种任务的智能系统，具有类似人类的智慧、自主决策和学习能力，能够执行多种任务，包括语音识别、自然语言处理、视觉识别等。当然，现阶段人类离发展出真正的通用人工智能还很远，但ChatGPT已经能让我们看到一丝“火花”。 从应用角度看，ChatGPT属于一个利用AIGC（AI generated content）技术的人工智能生成内容产品。它的核心思想是利用人工智能模型，根据给定的主题、关键词、格式、风格等条件，自动生成各种类型的文本、图像、音频、视频等内容。AIGC技术广泛应用于媒体、教育、娱乐、营销、科研等领域，可以根据用户的需求和偏好，生成符合用户期望的内容，节省人力和时间成本，提高内容生产的效率和规模。 从技术角度讲，ChatGPT是基于大型语言模型的自然语言处理工具机器人，核心就在GPT三个英文字母上，全称是Generative Pre-trained Transformer，翻译是“生成式预训练转化器”，它可以通过海量的预训练来生成高质量的自然语言文本，并且可以适应多种不同的自然语言处理任务。所谓语言模型就是对词语序列的概率分布的建模，即利用已经说过的片段作为条件预测下一个时刻不同词语出现的概率分布。语言模型一方面可以衡量一个句子符合语言文法的程度，同时也可以用来预测生成新的句子。比如这句话“12点了，下班了，咱们一起去食堂吧”，语言模型可以预测“食堂”后可能是“吃饭”，强大的语言模型能够捕捉时间信息并且预测产生符合语境的词语“吃午饭”。 GPT模型的底层逻辑其实就是模仿人脑。人脑的神经元通过树突接收信息，胞体进行简单的加和运算，最后通过轴突把结果输出到下一个神经元，而包括GPT在内的所有的人工智能神经网络就是类似的构建方式。ChatGPT和以往的人工智能不同的是，它的模型用来学习的语料库非常庞大，2020年5月的GPT-3，参数量达到了1750亿。GPT-4的参数量更是达到了1.6万亿。同时，它还使用新的训练方法和优化技术，提高了模型的效率和稳定性，成为一个多模态大模型，可以处理文本、图像、音频等多种类型的输入和输出。 OpenAI采用了一种叫“从人类反馈中强化学习”的训练方式对GPT模型进行训练，通过人类的反馈，有针对性地进行优化，从而让ChatGPT更加智能。训练的过程简单地说可以分为三个步骤：第一步训练监督策略模型。就是先学习来自网络的文本数据，在数据集中随机抽取问题得出随机答案，然后由人类标注人员给出高质量答案，再用这些人工标注好的数据来微调GPT模型，使模型一定程度上理解人类的意图。第二步训练奖励模型。使用第一阶段生成的模型，在数据集中随机抽取问题，对于每个问题，生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序，这一过程类似于教练或老师辅导。接下来，使用这个排序结果数据来训练奖励模型，使模型模仿人类评分标准给不同的回答打分，进入模仿喜好阶段。最后，根据打分更新参数，强化模型的学习，得出高质量回答。第三步采用PPO（近端策略优化）强化学习来优化策略。这一阶段利用第二阶段训练好的奖励模型，靠奖励打分来更新预训练模型参数。在数据集中随机抽取问题，使用PPO模型生成回答，并用上一阶段训练好的奖励模型给出质量分数。把回报分数依次传递，通过强化学习的方式以更新PPO模型参数。不断重复第二和第三阶段，通过迭代，就会训练出更高质量的GPT模型。实质上，整个训练过程和教小朋友数学差不多。就是先上课给例题，然后给作业，再针对作业打分后挑出一些总是出错的题目再进行有针对性的练习。 尽管ChatGPT已经很厉害了，但依然具有很多局限性。一是可信性无法保证。目前模型还不能提供合理的证据进行可信性的验证，在其未经大量语料训练的领域，甚至会一本正经地“胡说八道”和创造答案，语句通畅貌似合理，但其实完全大相径庭，可能会造成误导或者误解。二是时效性不足。ChatGPT无法实时地融入新知识，其知识范围局限于基础大规模语言模型使用的预训练数据时间之前，可回答的知识范围有明显的边界。例如，ChatGPT可能不了解最近发生的新闻、事件、人物、产品等，或者对一些变化了的事实没有及时更新。三是建设成本高昂。ChatGPT需要非常大的算力来支持其训练和部署，应用时也需要大算力的服务器支持。四是在特定专业领域表现不佳，无法处理复杂冗长或特别专业的语言结构。对于来自金融、自然科学或医学等非常专业领域的问题，如果没有进行足够的语料训练，ChatGPT可能无法很好地翻译出专业术语，更难生成适当的回答。 实际上，ChatGPT的进步并不在于它真正的变聪明了，而是初步模仿出了人类的语言模式，但是它还远不能真正理解自己说的内容，呈现的其实是种“表面智慧”。本质上并没有摆脱人工智能“大数据、小任务”的大样本被动学习模式，也就是当你问ChatGPT一个问题后，它完成这个任务是凭借巨大的数据库而生成的，而不是像人类一样的思考、反思和判断。 除此之外，ChatGPT超乎以往的智能化就像一把“双刃剑”，带来便利的同时也引发了一系列的思考。ChatGPT的“知识”来源于在语言模型训练过程中的海量文本，如果训练文本的内容存在偏差，有意偏向某种意识形态或观点，那么在回答问题或输出文本的时候就有可能产生具有倾向性的回答和文本内容。ChatGPT的使用门槛低，大量的使用者缺少相关专业知识和辨别能力，很难验证信息的准确性，可能会产生海量的无用甚至是误导性信息。如果被不法分子乱用，可以借此快速产生仇恨言论、谣言等，用来煽动民族情绪、挑起社会矛盾等，对社会和谐稳定造成不良影响。另外，ChatGPT也带来了一系列学术伦理问题，例如论文造假等。 ChatGPT是AIGC技术进展的里程碑，使得利用人工智能进行内容创作的技术成熟度大幅提升，有望成为新的全行业生产力工具，提升内容生产效率与丰富度。在人类科技史的长河里，ChatGPT刚刚点起通用人工智能时代的“火花”，距离真正的通用人工智能还有很长的路要走。 来源：《群众·大众学堂》杂志2023年第3期
|
|
|
