介绍: 人们对AutoML的兴趣越来越强烈,这将对神经架构优化领域起到强大的推动作用。事实证明,网络架构的选择,对模型性能至关重要。另外,由于深度学习技术的计算密集型特点,构建实际应用的过程中需要引入很强的领域知识。因此,对于领域专家来说,从头开始深度学习模型的搭建有一定难度,这也使得AutoML技术具有非常广阔的前景。 目前,深度学习自动化是机器学习领域增长速度最快的研究方向。每周,在arxiv社区上均会发表大量有趣的信息研究成果,这也让研究人员很难做到完全的跟踪。为此,通过本文,我们对网络架构搜索问题,提供了一种形式化的描述,对现有的技术进行了统一的分类,并对单个技术进行了详细的分析。在本文中,我们讨论了基于强化学习和进化算法原理的常见架构优化算法,另外,我们还讨论了新的研究方向,包括约束和多目标架构搜索,及自动数据增强、优化器和激活函数搜索等。 本文结构:
|
|