有监督学习机器学习分为有监督学习,无监督学习,半监督学习,强化学习。对于逻辑回归来说,就是一种典型的有监督学习。 对于这m个训练样本,每个样本本身有n维特征。再加上一个偏置项 其中 李航博士在统计学习方法一书中给分类问题做了如下定义: 在logistic回归详解一(http://blog.csdn.net/bitcarmanlee/article/details/51154481)中,我们花了一整篇篇幅阐述了为什么要使用logistic函数: 其中一个重要的原因,就是要将Hypothesis(NG课程里的说法)的输出映射到0与1之间,既: 同样是李航博士统计学习方法一书中,有以下描述: 对于logistic回归来说,模型自然就是logistic回归,策略最常用的方法是用一个损失函数(loss function)或代价函数(cost function)来度量预测错误程度,算法则是求解过程,后期会详细描述相关的优化算法。 logistic函数求导此求导公式在后续推导中会使用到 常见的损失函数机器学习或者统计机器学习常见的损失函数如下: 1.0-1损失函数 (0-1 loss function) 2.平方损失函数(quadratic loss function) 3.绝对值损失函数(absolute loss function) 4.对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likehood loss function) 逻辑回归中,采用的则是对数损失函数。如果损失函数越小,表示模型越好。 说说对数损失函数与平方损失函数在逻辑回归的推导中国,我们假设样本是服从伯努利分布(0-1分布)的,然后求得满足该分布的似然函数,最终求该似然函数的极大值。整体的思想就是求极大似然函数的思想。而取对数,只是为了方便我们的在求MLE(Maximum Likelihood Estimation)过程中采取的一种数学手段而已。 损失函数详解根据上面的内容,我们可以得到逻辑回归的对数似然损失函数cost function: 稍微解释下这个损失函数,或者说解释下对数似然损失函数: 将以上两个表达式合并为一个,则单个样本的损失函数可以描述为: 因为 全体样本的损失函数可以表示为: 这就是逻辑回归最终的损失函数表达式 |
|