CNTK从入门到深入研究（4）

imelee 2016-12-29

展开全文

前言

CNTK中目前仅提供了一种学习方法，即SGD（Stochastic Gradient Descent Learner）随机梯度下降法。本文将针对CNTK中有关SGD随机梯度下降相关的训练配置选项进行说明。本文虽说是一片交流用文章，但是更加类似于针对CNTK的内容的一些翻译，因为在讨论SGD相关内容时如果不提及其中机理，那就只剩下如何使用了。

SGD块的基本格式如下，如同其他数据块一样，很多参数都会有默认的参数，所以具体的使用时，按需要进行配置。

SGD = [
    modelPath = "$ModelDir$/myModel.dnn"
    epochSize = 60000
    minibatchSize = 32
    learningRatesPerMB = 0.1
    maxEpochs = 30
]1
2
3
4
5
6
7
1
2
3
4
5
6
7

Training process control 训练过程控制

modePath

modePath参数用于设定一个全路径，用于指定最终保存的网络模型文件。

trainCriterionNodeName

trainCriterionNodeName参数用于指定一个用于训练的训练准则节点名称，如果没有指定，则会使用默认的训练准则。

evalCriterionNodeName

evalCriterionNodeName参数通trainCriterionNodeName参数类似，用于指定一个用于评估的评估准侧节点名称，如果没有指定，则会使用默认的评估准则。

epochSize

epochSize参数用于指定epoch的大小，epochSize一般默认为整个数据集的大小。每个epoch都会被保存下来。当epochSize设置为0时，则相当于设定为整个数据集大小。

keepCheckPointFiles

keepCheckPointFiles参数用于指定是否在每个epoch开始时将检查点信息保存到一个文件中，可已设定为true或者false，默认值为false。

maxEpochs

maxEpochs参数用于指定最大运行的epoch数。

minibatchSize

minibatchSize参数用于指定每个mini-batch的数量。默认值为256，该参数可以指定为数组形式，例如128*2:1024代表前两个epoch使用128个样本，之后的所有epoch使用1024个样本。

dropoutRate

dropoutRate参数用于指定在每个epoch中的去除神经元的比率。默认值为0.0，该参数可以指定为数组形式，例如0.5*10:0.2代表前两个epoch使用0.5作为dorpoutRate，之后的所有epoch使用0.2。

maxTempMemSizeInSamplesForCNN

maxTempMemSizeInSamplesForCNN用于指定限定最大内存使用量（在打包或解包一定数量的输入时），参数为0代表不作任何限制。该参数常用与在使用GPU时控制内存堆栈栈顶位置。

Learning rate and momentum control学习率及动量控制

learningRatesPerMB

learningRatesPerMB参数用于设定使用固定的学习率来执行训练过程。可以针对每个mini-Batch进行设定，使用数组的方式设定。例如0.8*10:0.2代表前10个mini-Batch使用0.8作为学习率，之后的所有mini-Batch使用0.2作为学习值。learningRatesPerMB同learningRatesPerSample冲突，所以一般情况只设定一个，如果未设定则由算法自动控制学习率。

learningRatesPerSample

learningRatesPerSample参数同样用于设定使用固定的学习率来执行训练过程。可以针对每个Sample进行设定，使用数组的方式设定。例如0.008*10:0.002代表前10个epoch的Sample使用0.008作为学习率，之后的所有epoch中每个Sample使用0.002作为学习值。learningRatesPerMB同learningRatesPerSample冲突，所以一般情况只设定一个，如果未设定则由算法自动控制学习率。

momentumPerMB

momentumPerMB参数用于控制每个mini-Batch学习的momentum。可使用数组方式进行设定，例如0.1*2:0.9用于指定前2个mini-Batch使用0.1作为momentum，其他的mini-Batch使用0.9。

momentumPerSample

momentumPerSample参数用于控制每个sample的momentum。同样可以使用数组的方式进行指定。momentumPerSample同momentumPerMB的关系如同learningRatesPerSample与learningRatesPerMB类似。

autoAdjust

autoAdjust参数块包括自动学习率控制的算法相关参数配置。默认的情况下为空（”“），代表不适用任何自动调整学习率算法。autoAdjust块中，首先使用autoAdjustLR指定自动调整逻辑的算法。其他参数则是根据具体算法进行指定。

autoAdjustLR

autoAdjustLR参数用于指定自动调整逻辑的算法，可选择的为None、AdjustAfterEpoch、SearchBeforeEpoch以及AdaptiveMinibatchSizing。默认为None不使用任何自动调整逻辑算法。

当autoAdjustLR设定为AdjustAfterEpoch时：

reduceLearnRateIfImproveLessThan参数用于指定当提升情况小于指定指值时适当降低学习率，默认值为0。
increaseLearnRateIfImproveMoreThan参数用于指定当提升情况大于指定值时时代适当提升学习率，默认值为1#INF（无限大）。
learnRateIncreaseFactor参数用于指定学习率增长因子，默认值为1.382。
loadBestModel参数用于指定当当前model降低性能时是否加载更加适合的model。
learnRateAdjustInterval参数用于指定学习率调整的间隔，默认值为1个epoch。

当autoAdjustLR设定为SearchBeforeEpoch时：

numMiniBatch4LRSearch参数用于指定使用多少个mini-Batch来自动搜索学习率。默认值为500。一般情况下设置一个epoch中的10-20%的mini-Batch来自动搜索学习率。
numPrevLearnRate参数用于指定使用多少个之前的学习率作为参考。
numBestSearchEpoch参数用于指定前多少个epoch来计算出最佳的学习率。默认值为1。

当autoAdjustLR设定为AdaptiveMinibatchSizing时：

numMiniBatch4LRSearch参数用于指定使用多少个mini-Batch来自动搜索学习率。默认值为500。一般情况下设置一个epoch中的10-20%的mini-Batch来自动搜索学习率。
autoAdjustMinibatch参数用于设定是否自动调整mini-Batch的大小，默认值为false。
minibatchSizeTuningFrequency参数用于设定调整mini-Batch大小的周期频率，单位是epoch，默认值为1。
minibatchSizeTuningMax参数用于指定最大允许调整的mini-Batch大小的值，默认值为1046576。