【原】《统计学习方法》极简笔记P6：逻辑回归算法推导

重磅干货，第一时间送达

《统计学习方法》极简笔记P2：感知机数学推导

《统计学习方法》极简笔记P3：k-NN数学推导

《统计学习方法》极简笔记P4：朴素贝叶斯公式推导

《统计学习方法》极简笔记P5：决策树公式推导

逻辑回归模型

Logistic分布
分布函数

密度函数

逻辑回归模型

比较上述两个条件概率值，将实例x分到概率大的那一类
记

则，逻辑回归模型如下

另：事件发生概率为p，则该事件的几率(odds)为p/(1-p)，对数几率为logit(p)=log(p/1-p)
所以

即，逻辑回归模型中，Y=1的对数几率是x的线性函数

逻辑回归模型参数估计

极大似然估计法
设：

似然函数为

对数似然函数为

对于L(w)求极大值，得w的估计值

多项逻辑回归模型