 点击加载图片 人工智能的自然语言理解技术在2020年进步很快，可以说是进一大步，因为基于Transformer模型的OpenAI GPT3模型（没错，是一种型号，前面还有GPT2）的原因。 话说2020年年中，人类历史上最大的人工智能模型，来到人间。GPT-3模型出生于美国Open AI实验室。 这个基于Transformer的GPT3模型是个体格巨大的北鼻，哭声嘹亮，告知全世界： “我写的作文，几乎通过了图灵测试。” 而Transformer 模型是谷歌团队早在 2017 年提出的一种经典模型，现在火热的 Bert 模型也是基于 Transformer模型。  点击加载图片 可以见Transformer模型的江湖地位有多重要，“进步的突出性”也可见一斑。 重点来了，Transformer 模型使用了自注意力机制，能够忽略无关信息而关注重点信息。模型可以并行化训练，而且能够拥有全局信息。因为之前的人工智能中的卷积运算有一个显著缺陷，即仅在局部近邻上工作，也由此会错失全局信息。  点击加载图片 所以，自注意力机制就是一种“补足性的进步”。 简单说就是，从大量信息中有筛选出少量重要信息，并聚焦到重要信息上，从而忽略大多不重要的信息，并以权重代表了信息的重要性。 Transformer 模型的架构主要用于对自然语言理解任务进行建模，避免使用神经网络中的递归，而是完全信任自注意力在输入和输出之间绘制全局依赖性的机制。  点击加载图片 自注意力机制已经用在了谷歌搜索技术中，Transformer，Bert和GPT3这些花枝招展的模型，都是这一思想的体现与升华。（完） 《亲爱的数据》出品  点击加载图片 |
|
|
