【原】想要什么变一个出来？｜GPT-3的生成能力

Mixlab交叉学科 2021-01-07

展开全文

想要什么变一个出来？那先变一段 “ 无界社区 ”的介绍？

Input = “ 无界社区 ”

Output:

无界社区，也就是这个山头。这里的生存地理位置和人口不同。一共有九个部落。其中大部分是人数超过三十多米的，而大部份则是普通农民。

无界社区，也正是因为我的一生，才导致了这样的变动。“ 你不能让他知道那个人到底有何事？”

无界社区，在这个时候，我们的人已经是不少了。“ 这些年来我总想着要做个什么？我们可以从你那种能力的状态下，去看一看。”

无界社区，是一个很普通的世家。在地球上，就算不是大型城市，但在大型国际联盟里却也可以找得到一些有钱人、修仙者的资源，这样一来……

这就是使用GPT 文本生成的效果，看起来有点道理，但实际上，是没法用来介绍“无界社区” 😓。

那这里到底是什么问题导致的？

是因为：我只提供了四个字“无界社区”，模型无法知道无界社区其他的丰富信息，比如黑客与设计师社区，交叉学科人工智能知识库，实验性智能产品等等。

当然，正也是由于我们提供的信息仅有4个字，所以才有了各种可能的“创作”。

同样的道理，今天大火的openAI新研究：

DALL·E 将自然语言生成图片（Creating Images from Text），具有超乎我们“想象力”的能力，比如：

将某些人类活动和衣物转移到动物和无生命的物体上：

用多边形的形状，重构我们日常中熟悉的对象：

以合理的方式组合不相关的概念：

想象力超强

AI可以在我们提供的信息范围内，枚举各种可能，达到“创作”的目的。

真的是想要什么就有什么…… 那为何GPT-3表现如此出众？

我们可以从人类大脑上找到相关的理论支撑。

首先，和神经元数量有关。

人脑的神经元到底有多少？成人大脑估计有1000亿个神经元。每个神经元的功能可能相同、也可能不同。同种神经元在其定位、蛋白质表达谱、兴奋性以及与其他类型神经元的联系方式上都应相同，而且具有同一种功能。那么，有多少种不一样的神经元呢？科学家推算大概有1000种。也就是说，人脑具备1000种不一样能力的神经元。

另外，神经元组合成了人类特有的能力。

1000种不一样的神经元能力，构成了人类特有的自然天赋（能力），根据美国人类机能研究室的报告，人类具有15种不同的能力：归纳思考的能力、分析思考的能力、对于数字的灵敏、精密地使用小型工具的能力、观察力、设计图记忆能力、音乐方面的能力、数字记忆能力、数字思考的能力、语文能力、远见测验能力、颜色感知的能力、图表能力、创意思维能力、结构视觉化能力。

类比人类大脑，GPT-3具有1750亿参数，虽然每个人工神经元的能力并不清楚，但是在数量上已经超过了人脑，同时在能力的表现上，初步具备了以上人类的不同能力的雏形。某些任务上甚至比人类更胜任。

问

题

来

了

：

我们可以在哪里感受到GPT的魅力？

到openAI官网：

openai.com/blog/dall-e 即可体验。另外，回到开头的造段落，我们可以在自己电脑上体验，只要打开终端，使用python即可体验，指南如下：

1 安装huggingface的Transformers库

通过huggingface提供的Transformers框架，我们可以很方便的调用预训练的gpt-2模型（gpt-3实在太大了）。

个人非常喜欢HuggingFace的开源社区生态。其在github上开源的自然语言处理预训练模型库Transformers提供了大量state-of-art的预训练语言模型和调用框架，github上超过38977个star。