对于多元函数微分和拉格朗日乘数的臆想-卷积小白的随机世界

引出话题

本文延续上篇文章《对于函数和微分和函数距离的臆想》的脉络，补充下对隐函数以及多元函数倒数的理解。并以此为基础推进对教科书《数学分析》中'拉格朗日乘数法'的揣摩和理解。

第二十五篇 多元函数全微分和隐函数倒数的臆想

多元函数的全微分

开门见山，上述为《数学分析》教科书中关于复合函数全微分的公式，且教科书对此有详细证明。抛开证明，小白试图想直观的理解此公式。但觉有一点稍费解，就是中间的'＋'号。从上述公式看，不论f(x,y)函数的表达式如何，z的微分都是函数表达式基于各个变量偏导数乘以各自微分再相加。如何理解呢？

举个例子，如z=x*y。那么dz=y*dx +x*dy（此处不准确，应该采用偏导的字符书写）；小白臆想，微分是在描述一个函数在一个点上的微观变化。想象一下，在某一点(x0,y0），x0变化了dx那么引起z变化了dz＝y0*dx，误差为dx的高阶无穷小，忽略不计；但是y0同样也会变化啊，那么dy引起dz的变化dz＝x0*dy，误差为dy的高阶无穷小，忽略不计。还有一个误差，那就是dx引起dy的增长，进而间接引起的dz的变化，但这个也属于dx(或者dy)的高阶无穷小，所以可以忽略。

因此，仔细思考，在任意一个函数的某一个点上，自变量基于这一点的一个细微的变化（无穷小）所引发的因变量的变化的大小的尺度仅取决于这一个点的位置。这一结论有两方面的误差，第一方面的误差是，自变量的变化引起自变量位置的变化，进而间接引发的因变量的变化，这一误差是自变量直接变化引起因变量变化的高阶无穷小（参看小白上篇文章《对于函数和微分和函数距离线性臆想》中的泰勒公式），微分计算时可忽略。第二方面的误差是，

多个自变量各自细微变化所引发的因变量变化彼此之间独立。也就是说，对于一个自变量的变化引起的另一个自变量的变化进而间接引起因变量的变化，这个间接的变化也是自变量直接变化引起因变量变化的高阶无穷小，微分时忽略不计。同时基于这一点，我们可以理解本小节所聚焦的全微分公式，即因变量的微分是由各自变量的微分线性叠加而成。小白臆想，大自然微观和宏观之间的联系是否本质上有两种，一个是静态的，这种关联就是我们的微分；另一种是动态的，传说中的蝴蝶效应。

隐函数的倒数

开门见山，上述为《数学分析》教科书中隐函数求导公式，书中也有大段内容对其证明。经过前面我们的思考和臆想，其实在微分的层面，我们可以抛开复杂的函数表达式，仅关注各个变量微分项之间的线性叠加关系即可（即用加减乘除去推导微分之间的关系即可）

首先问题是，有函数F(x,y) = 0，目标是得到dy/dx.

第一步，假如另z= F(x,y); 我们得到dz=Fx(x,y)dx和dz=Fy(x,y)dy（这里指的是偏微分）

第二步，所以Fx(x,y)dx = Fy(x,y)dy;

第三步，所以dy/dx = Fx(x,y)/Fx(x,y);

但是还缺少一个'－'号，从哪里来呢？我们知道隐函数是y=q(x)的形式．因此，在F(x,y)=0形式下，dx或者dy相当于一个移动到了等号的另一侧。因此需要加上一个等号。这就是隐函数的求导公式。

第二十六篇 拉格朗日乘数法

拉格朗日乘数法，在机器学习SVM算法中常被提及。本章节延续前面章节的套路，依托教科书的公式和证明过程并附加小白的臆想来揣摩下拉格朗日乘数法背后的所描摹的小世界。

开门见山，拉格朗日乘数法的任务是解决上述条件极值问题。我们知道假如在没有条件的情况下，一个函数的极值可以通过求导的方法加以处理。那么在有条件的情况下呢？

我们细想这个问题，根据小白《对于函数和微分和函数距离的臆想》的一些观点，首先，条件函数C：是一个曲线，是一维的线。可以想象成我们地面上一条弯曲的小路。而极值函数z=f(x,y)相当于曲线膨胀弯曲了，这个'膨胀'是在z的维度下观察（'＝'号）才能感觉到，即这条曲线又在z的维度下弯曲了。而现在任务是要找到在曲线上Z的维度下达到最大值的一个点。

可以想象一下，一个大气球未充气前扁平的扑在地上（x和y形成面），气球上面有一条弯曲的线（约束条件函数C:形成的曲线），一个蚂蚁（蚂蚁代表曲线上的点）沿着曲线在爬。这时，气球由于吹气膨胀了（假如气球不存在弹性的拉伸，函数z=f(x,y)在维度ｚ方向上引起平面的弯曲，或者理解为，x和y的平面由于函数表达式f(x,y)中运算符的叠加变换导致在z维度下观察('＝'号)膨胀弯曲了）。我们的任务是，蚂蚁沿着曲线爬，什么时候会爬到z方向上的最高点呢？

上图是教科书用于描述这条膨胀后曲线的几何视图。假如现在极值点是（x0,y0）（即蚂蚁爬到x0,y0处为z方向的最高点）。

此时，我们另：

这里，y=g(x)（g(x)为约束条件C：对应的显函数）。我们z转换成了关于x的函数h(x)。试想象一下，刚才的曲线，如果从y维度的方向看过去，我们看到了一个曲线在x和z平面的一个投影，这个投影就是h(x)。我们很容易理解极值点(x0,y0)被投影成h(x)后，仍旧是z关于x的一个极值点。于是，我们有了如下的公式：

根据上一节中，我们的隐含数求导公式，我们有：

把两个公式合并后，得到如下：

由上面这个公式，我们可以得到：

上面这个公式很有意思，右侧其实就是g(x)函数倒数在x0,y0的值。对于左侧，假如令m=f(x,y)(这里的m假如是一个常数)，那么左侧就表示m=f(x,y)这条曲线的倒数在x0,y0处的值。这里，灵光一闪，我们忽然会想到，m=f(x,y)不就是z=f(x,y)这个曲面的等高线嘛。而导数在x0,y0的值就是曲线在x0,y0点切线的斜率。也就是说曲面在x0,y0点等高线的切线和约束函数曲线在x0,y0点的斜率相同。教科书中有如下，图示：

此处，拉格朗日乘数就上场了。我们称这个约束曲线和等高线曲线的公共切线的斜率为拉格朗日乘数，并另：

上面恒等式末位的变量就是拉格朗日乘数，这时候就有如下的几组等式成立了：

这个时候，我们不难发现，上述三个等式可以看成对一个关于x,y,和拉格朗日乘数的三个自变量的函数的分别求导。这个函数很容易想到是：

因此，这里我们就把条件极值的问题转换成了对函数L无条件极值的问题，我们只要解出上面的几组等式即可。