|
1. 为什么要用梯度下降法 答：因为：梯度表明了 函数最快上升的方向 负梯度表明函数最快下降的方法。 2. 为什么梯度 指向了函数最快上升的方向 负梯度表明函数最快下降的方法。 3. 导数： 导数的定义： 常用函数的导数： 导数的法则： 梯度：列矢量 一阶导数和梯度：梯度对应一阶导数 二阶导数与Hessian矩阵。 二次型 二次型 正定型 求梯度： 泰勒级数： 局部极小点，极大点，鞍点。 泰勒级数与极值。 多元函数的导数：就是梯度。 4. 梯度下降法从哪儿来？ 答：泰勒级数，范数，向量同方向，向量内积。同方向，值最大。 阿尔法，delta。 学习率就是步长。 5. 随机变量 概率分布：分布函数，离散情况，累积分布函数，概率密度函数。 6.高斯分布 中心极限定理： 贝叶斯公式： 7.矩阵：方阵的特征值与特征向量。 对称矩阵：特征分解 PCA本质（协方差矩阵的相似对角化，KL变换）讲述：特征值大的留下，小的不要。 降维的同时，尽量保留原始信息。 8.一般约束优化问题。 约束条件下的优化问题： KKT：把约束优化转化为无约束优化，拉格朗日函数。 9. 凸优化问题，一定有最优解：对偶问题 10.SVM：找最优的分离平面 11. |
|
|
