梯度下降法（Gradient Descent）（重点）梯度下降法可以做什么？ 在你的测试集上，通过最小化代价函数（成本函数） J(w,b) 来训练的参数w和b ， 如图1，在第二行给出和之前一样的逻辑回归算法的代价函数J(w,b)（成本函数）(上一篇文章已讲过） 梯度下降法的形象化说明图 1 在这个图中，横轴表示你的空间参数w 和 b ，在实践中，w可以是更高的维度，但是为了更好地绘图，我们定义 w 和b，都是单一实数，代价函数（成本函数）J(w,b)是在水平轴w和b上的曲面，因此曲面的高度就是 J(w,b)在某一点的函数值。我们所做的就是找到使得代价函数（成本函数）J(w,b)函数值是最小值，找到最小值对应的参数w 和b 。 图 2 如图2，代价函数（成本函数） J(w,b) 是一个凸函数(convex function)，像一个大碗一样。 图 3 如图3，这就与图2有些相反，因为它是非凸的并且有很多不同的局部最小值。由于逻辑回归的代价函数（成本函数) J(w,b) 特性，我们必须定义代价函数（成本函数） J(w,b) 为凸函数。 初始化w和b ， 图 4 可以用如图4中那个小红点来初始化参数w和b ，也可以采用随机初始化的方法，对于逻辑回归几乎所有的初始化方法都有效，因为函数是凸函数，无论在哪里初始化，应该达到同一点或大致相同的点。 图5（1）  图 5 （3） 假如我们以如图5（1）的小红点的坐标来初始化参数w和 b。然后朝最陡的下坡方向走一步，走到了如图5（2）中第二个小红点处，我们可能停在这里也有可能继续朝最陡的下坡方向再走一步，如图5（3），经过两次迭代走到第三个小红点处。通过不断的迭代，直到走到全局最优解或者接近全局最优解的地方。通过以上的迭代过程我们可以最终找到全局最优解，也就是代价函数（成本函数） 这个凸函数的最小值点。 梯度下降法的细节化说明（仅有一个参数）(这是一个二维的，较好理解些） 假定代价函数（成本函数）J（w）只有一个参数w，即用一维曲线代替多维曲线，这样可以更好画出图像。
迭代就是不断重复做如图的公式: : 表示更新参数,
就是函数J(w)对 w求导（derivative），在代码中我们会使用dw表示这个结果
对于导数更加形象化的理解就是斜率（slope），如图该点的导数就是这个点相切于J(w)的小三角形的高除宽。假设我们以如图点为初始化点，该点处的斜率的符号是正的，即
所以接下来会向左走一步。
整个梯度下降法的迭代过程就是不断地向左走，直至逼近最小值点（就是斜率最小值点）。
假设我们以如图左侧的点为初始化点，该点处的斜率的符号是负的，即
所以接下来会向右走一步。
整个梯度下降法的迭代过程就是不断地向右走，即朝着最小值点方向走。 梯度下降法的细节化说明（两个参数）逻辑回归的代价函数（成本函数）J(w,b) 是含有两个参数的。
δ表示求偏导符号，可以读作round，
就是函数J(w,b)对w求偏导，在代码中我们会使用dw表示这个结果。
就是函数J(w,b)对b求偏导，在代码中我们会使用 db表示这个结果，小写字母d 用在求导数（derivative），即函数只有一个参数， 偏导数符号 δ 用在求偏导（partial derivative），即函数含有两个以上的参数。 这篇文章中会用到求导和偏导的相关知识，如果不懂的话，可能要去补习下知识咯！不过不用担心，下一篇文章就是会讲到这些知识点，可以看下一篇的讲解了解！ 以下为百度参考知识：
导数（Derivative），也叫导函数值。又名微商，是微积分中的重要基础概念。当函数y=f（x）的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f'（x0）或df（x0）/dx 导数是函数的局部性质。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。如果函数的自变量和取值都是实数的话，函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。导数的本质是通过极限的概念对函数进行局部的线性逼近。 在数学中，一个多变量的函数的偏导数，就是它关于其中一个变量的导数而保持其他变量恒定（相对于全导数，在其中所有变量都允许变化）。
|
|
|
来自： AIWords > 《吴恩达讲深度学习》
