第二次群内论文讨论活动——Hyperparameter Optimization and Bayesian Optimization

这次活动的主题是 hyperparameter optimization 和 bayesian optimization，简单说就是如何更有效率地调参，或者。。如何调得一手好参。这个方向近几年论文出来不少，研究潜力不小；而且实用性很强，不仅可用在深度学习中，也可用于其他机器学习方法的调参。选几篇论文讨论清楚，我想无论对学术还是工程都会有不小帮助。

这次活动准备尝试这样的形式：找8到10人一起先在讨论组里把论文讨论清楚，然后视讨论情况，在群里花一到两个晚上讲解几篇论文的思想。所以请愿意参与讨论和分享心得的朋友踊跃报名。

报名方式：2月20日0点前联系群管理员Wilbur。

主要讨论以下几篇论文：

1. Algorithms for Hyper-Parameter Optimization, by James Bergstra，可以说是深度学习兴起后最早讨论调参的论文之一，其中第三节提到用Gaussian Process建立超参数与验证集错误率之间的关系，实际上就是BO的思想，后面几节还讨论了另外几种调参的方法和技巧

2. Random Search for Hyper-Parameter Optimization, by James Bergstra，提出在选择超参数时，random search的策略比grid search要好，并从理论和实验两方面进行分析

3. Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures, by James Bergstra，我们很关心的视觉神经网络的调参

4. Practical Bayesian Optimization of Machine Learning Algorithms, by Jasper Snoek，专门讨论如何在机器学习调参中应用BO

5. Bayesian Optimization in High Dimensions via Random Embeddings, by Ziyu Wang，对在高维问题中应用BO提出一种解决方法

6. Bayesian Optimization Explains Human Active Search, by Ali Borji，主要是通过一系列实验，说明BO与人类思维活动和搜索策略的异同，内容比较有趣

代码：

http://hyperopt./hyperopt/

https://github.com/JasperSnoek/spearmint

对这个方向感兴趣的朋友，可以持续关注James Bergstra、Jasper Snoek、Nando De Freitas组的研究。