01、引 言
摘要:对深度学习领域的研究进行综合评述,并对其进一步发展方向进行分析。首先分析围绕注意力机制的深度学习技术最新研究成果,以及在自然语言处理领域取得突破性进展的巨型预训练模型的特点与发展路径;随后概述开源深度学习市场的火热局面及其对技术升级的推动作用;最后分别从香农定律、冯·诺依曼架构、摩尔定律三个角度探讨深度学习技术的未来发展方向。综述表明,注意力机制和预训练范式在当前计算机视觉和自然语言处理等深度学习重点应用领域中取得长足技术突破,开源深度学习市场的兴起有效推动产学研用各领域深度学习技术落地,在今后很长一段时间里,深度学习依然具有很广阔的发展空间。 关键词: 深度学习;注意力机制;预训练;神经网络;开源;人工智能 01、引 言
02、围绕注意机制的深度学习技术研究进展
图1 基于注意力机制的Transformer模型架构 Fig. 1 Architecture of Transformer model with attention mechanism 图2 AlphaFold2的预测结构(蓝色)与实际结构(绿色)对比基本完全吻合 Fig. 2 The predicted structure (blue) of AlphaFold2 is basically consistent with the actual structure (green) 03、面向自然语言处理的巨型预训练技术研究进展
图3 GPT-3证明更大的模型能够更好地利用上下文信息 Fig. 3 GPT-3 shows that larger models make increasingly efficient use of in-context information 04、开源深度学习市场发展态势概况
图4 谷歌GPipe将AmoebaNet-D模型分配到4倍数量的加速核心上,实现了3.5倍的加速 Fig. 4 Google’s GPipe allocates Amoebanet-D model to 4 times the number of acceleration cores, achieving 3.5 times acceleration 图5 Facebook开源Mesh R-CNN神经网络工具包 Fig. 5 Facebook’s open-source neural network Toolkit Mesh R-CNN 05、深度学习进一步发展方向分析
06、结束语
|
|