硅谷可怕的AI算力就是这么来的

上周日，Facebook人工智能研究院（Facebook Artificial Intelligence Research）首席科学家，人工智能界的先驱Yan Lecun（杨立昆）宣布开源了他们在图像识别以及整个计算机视觉领域的最新模型——“在Instagram的图片标签上预训练，在ImageNet上微调（finetune）的ResNext101模型”。

这一模型再次刷新了ImageNet 数据集图像分类竞赛的准确度，在图像分类、目标检测等多个计算机视觉技术领域立下了新标杆。 诸如目标检测、图像分割等等计算机视觉基础任务都可以将其骨干网络替换为这一新模型，借助其强大的特征提取能力，有望取得更好的效果。换言之， 整个计算机视觉业界都有机会因之受益。

若你对这一领域有所了解，再着重关注一下上面引号里的那句描述，你可能就会不由自主地飙出一句：“有钱真[敏感词] 好啊！”。

ImageNet，由李飞飞教授团队于2009年发布，包含了超过两万类物体，共计一千四百多万张图片，为整个人工智能领域奠下数据基础。 自那时起，诸多计算机视觉任务的新模型、新思想都是在ImageNet数据集上进行预训练，再在相应的目标任务上进行微调，以取得最好的效果。

为了处理三十五亿张图片，他们拿出了42台服务器，用上336块显卡，又训练了足足22天。

颇有股“有钱使得鬼推磨”的气派。

数据和算力，两强结合之下， 人工智能几乎成了大力出奇迹的巨头游戏。

其实从一开始，游戏的规则就是如此。

近些年的人工智能革命，其实大抵建立于人工神经网络模型的大放异彩。

而究其根本，在上世纪70年代，人工神经网络模型的理论架构已经基本成熟，却在之后的几十年里一直没能得到认可、应用，直到近来才得以重见天日。

前文提到的Yann Lecun，更是因为一直坚持神经网络而被学界排斥，郁郁不得志，直到如今才重获认可，获颁计算机领域“诺贝尔奖”之称的图灵奖。

这其后的根源，就在于算力的限制。上世纪的计算机算力和你手中的新款手机比起都可谓云泥之别，遑论吸纳海量数据，对神经网络模型进行训练。

在三十五亿张图片的暴力训练之下，效果显著，也因而有了我们开头提到的新模型开源。

从此，人工标注不再是计算机视觉领域的最大瓶颈，弱监督标签搭配巨头的强大算力，就能得到比悉心雕凿，训练于ImageNet 之上的“小数据”模型好得多的性能表现。

算力为王，计算机视觉领域如此，在AI 的另一重头戏——自然语言处理领域，亦是如此。

不同于Facebook 视觉新模型的弱监督训练，在自然语言处理领域，更进一步的自监督训练已成主流。

Google 去年开源的BERT 模型，在训练时会将输入句子的随机单词盖住，然后让模型根据上下文的内容预测被盖住的单词是什么，通过这一方式，模型可以学习到自然语言隐含的句法，亦能对词义句义有所掌握。

更重要的是，这一方法不需要任何人工标注，可谓“人有多大胆，地有多大产”，数字时代无数的自然语言资源—— 电子书、网站、论坛帖子等等等等都能成为训练数据的来源。句子以自身信息作为监督，对模型进行训练，故称自监督学习。

在数据无限的前提之下，算力便显得愈发重要。