分享

【综述】IBM 自动机器学习网络架构搜索最新综述,附45页全文下载

 520jefferson 2019-05-08

介绍:

人们对AutoML的兴趣越来越强烈,这将对神经架构优化领域起到强大的推动作用。事实证明,网络架构的选择,对模型性能至关重要。另外,由于深度学习技术的计算密集型特点,构建实际应用的过程中需要引入很强的领域知识。因此,对于领域专家来说,从头开始深度学习模型的搭建有一定难度,这也使得AutoML技术具有非常广阔的前景。

目前,深度学习自动化是机器学习领域增长速度最快的研究方向。每周,在arxiv社区上均会发表大量有趣的信息研究成果,这也让研究人员很难做到完全的跟踪。为此,通过本文,我们对网络架构搜索问题,提供了一种形式化的描述,对现有的技术进行了统一的分类,并对单个技术进行了详细的分析。在本文中,我们讨论了基于强化学习和进化算法原理的常见架构优化算法,另外,我们还讨论了新的研究方向,包括约束和多目标架构搜索,及自动数据增强、优化器和激活函数搜索等。

本文结构:

  • 神经架构搜索空间

    • 全局搜索空间

    • Cell-Based搜索空间

    • 全局与Cell-Based搜索空间

    • Recurrent Cells搜索空间

  • 优化方法

    • 强化学习

    • 进化算法

    • 基于代理模型的优化

    • One-Shot架构搜索

    • 总结

  • 约束与多目标

    • 约束优化

    • 多目标优化

  • 其他相关工作

  • 关于神经架构搜索方法的观点以及未来应用

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多