|
线性回归 （1）目标 预测函数： 即 学得w和b后，模型就可以确定。 （2）一维情形 先假设输入特征只有一维。 使用均方差当做损失函数，最小化均方差，也就是最小二乘法。 求最小化均方差时的w和b，分别对上式w和b求导，使导数为0，即得到所求w*和b*。 （3）推广到多维 现在考虑多维特征。 把数据集D表示为一个矩阵X： 此时，使用最小二乘法： 令导数为0，解得： 实际计算中求以上矩阵计算量很大，因此常使用梯度下降法。二维情况下，函数变换最快的方向是斜率方向，多维情况下偏导就成为梯度，每次往负梯度方向走一步。
逻辑回归 逻辑回归用于分类，在线性回归的基础上使用一个函数使得预测值与标记值联系起来。该函数需要连续可微，一般使用sigmoid函数。 损失函数方面，线性回归的损失函数为平方损失函数，如果将其用于逻辑回归的损失函数，后续讨论的优化问题会变成非凸的，难以用梯度下降法求最优。因此逻辑回归使用负对数似然函数（交叉熵），它表示两个概率模型之间的相似度。 推导使用极大似然法，我们要得到w和b，最大化它的似然函数，以w为例： 其中，f(x)在sigmoid之后就是代表概率，因此： 所以 代入 L(w) 得： 对 L(w) 取对数得到对数似然函数（是因为(0,1)的小数连乘容易下溢导致结果为0）： 我们要最大化 l(w)，相当于最小化负 l(w)，即它的损失函数。 这个损失函数是高阶可导连续的凸函数，根据凸优化理论可以通过梯度下降法、牛顿法等方法求得最优解。 来源：https://www./content-4-688651.html |
|
|
，
