看懂了这篇文章，你才算真正理解了逻辑回归

0.前言

1.指数族分布

1.1伯努利分布

1.2高斯分布

1.3常见的指数分布族

2.广义线性模型

2.1利用GML推导逻辑回归

2.2 GLM推导线性回归

2.3 GLM推导softmax

故多项分布采用softmax建模，求参数θ 采用极大似然估计法，将hθ(x) 的矩阵中每一项相乘，取对数得到似然函数求解。

3.逻辑回归

3.1 sigmoid函数

3.2最大似然估计(Maximum Likelihood Estimation，MLE)

3.3梯度下降(GD)和随机梯度下降(SGD)

4.softmax回归

4.1定义

​

4.2 softmax 回归算法的代价函数

4.3 softmax回归模型参数化特点

4.4 权重衰减

5.Softmax回归与Logistic 回归

5.1 softmax与逻辑回归的关系

5.2 Softmax 回归 vs k 个二元分类器

6.总结

本文从原理上讲述了逻辑回归的原理，以及推广到多分类的softmax，逻辑回归是机器学习中最基础的算法之一，但又是非常重要的算法，逻辑回归在金融风控，信贷、反欺诈、计算广告中有很广泛的运用，softmax在神经网络、深度学习中运用广泛。所以学习机器学习就从逻辑回归开始吧。