机器学习基础知识学习

https://www.toutiao.com/article/7170509912244634152/?log_from=11a49ad30e3fe8_1676883865709

说完了行列式，这一章可以补习一下矩阵的初等变换、矩阵的秩、向量组的秩了。

现在沉下心来学习数学，感受到了数学的博大精深。像计算机最底层的机器语言都是由0、1组成，而作为基础的数学，针对复杂的题型也都是由繁化简,最后基本上都可以由0、1来解决。

来重新线性代数之前学习过机器学习，动辄就会分析上百万条数据，每条数据有20多个字段，经过一系列的数学算法处理，得到的值可以用0、1来表示。不得不感叹数学的神奇！

现在进入正题，开始对本片重点内容的知识点进行梳理。

初等变换

初等变换是指对矩阵的行/列进行变换，本质上是对矩阵的变化。原矩阵和初等变换后的矩阵不能用等号。正确的表示方式是用箭头连起来：()()

初等行变换规则

行列式是矩阵的特性之一，当方阵进行初等行变换时，和行列式产生了联系

划重点：行列式只适用于行和列相等的矩阵，即方阵

回忆一下行列式的特性：

性质1： = 对行成立的性质，对列也成立

性质2：两行互换，值变号 推论：两行(列)相等，D=0

性质3：某一行都乘以k 等于用k乘以D

推论：行列式所有元素均有公因子k，k外提n次

由此，推出方阵初等行/列变换的一些特性：

方阵初等变换特性

A经初等行/列变换得到B,等价的特性有：

(1)反身性：AA

(2)对称性：AB BA

(3)AB B CAC

两个同阶矩阵可以相乘，用初等方阵乘以一个矩阵会有什么变化呢？看图：

初等方阵相乘示意图

注：E一般是指单位矩阵，就是对角线都为1，其它元素都是0的方阵

从上图可以初步看出，初等方阵放到左边会改变对应相乘矩阵的行，初等方阵放到右边会改变对应相乘方阵的列。这样是不是得出：“左乘一个初等方阵，相当于对行进行了变化；右乘一个初等方阵，相当于对列进行了变化”了呢？继续证明该推论，看下图：

初等方阵左乘右乘结果示意图

由上图可以证明：左乘一个初等矩阵，相当于对A进行行变化；右乘一个初等矩阵，相当于对A进行列变化。

设A是一个n阶矩阵，若存在另一个n阶矩阵B，使得：AB=BA=E，则称方阵A可逆，并称方阵B是A的逆矩阵。

逆阵推导过程

由此，可推导出：(A，E) （E，）

一个矩阵右乘单位矩阵，将左边的矩阵换算成单位矩阵时，为了转换方便，可遵守以下规则：

(1)先将第一列换算，再进行第二列，再第3列，...

(2)再进行初等变换时，涉及到某一行乘以e倍对另一行进行相加时，整行的数(两个相乘的矩阵)一块进行操作

(3)如右边化不成E,说明该矩阵不可逆

矩阵的秩

秩是什么？非零子式的最高阶数就是秩

秩用r表示，秩就是rank缩写

例：r(A) = r 表示A矩阵的秩是r

r(A) = 5也可以表示为 秩(A) = 5 表示A矩阵的秩是5

矩阵0的秩是0.表示为 r(0) = 0

若矩阵A有m行、n列，即 矩阵A的秩取值范围：0≤r(A)≤min{m,n}

当r(A)=m时，取所有行，行满秩；当r(A)=n，取所有列，列满秩

行满秩或列满秩统称为满秩，表示为r(A)=min{m, n}

降秩表示为r(A)<min{m, n}

A为方阵且A满秩A可逆≠ 0 下面证明一下这个推论：设矩阵, r(a)=n，则由"非零子式的最高阶数就是秩”得出n阶子式不等于0，n阶子式不等于0推出行列式≠ 0。行列式不等于0即可得出A可逆

定理：r(A)=r 有一个r阶子式不为0，所有r+1阶为0

假设有一个矩阵为6行8列即,有一个3阶子式不为0，则4阶子式都为0。那么，5阶子式、6阶子式有没有可能不为0呢？将5阶子式按行展开，可用该5阶子式的某一元素×代数余子式求解。5阶子式的代数余子式是4阶，4阶现在都是0，所以5阶子式也全为0。同理，6阶子式也全为0

秩的求解

阶梯型矩阵

阶梯形矩阵是本篇文章的重点，什么是阶梯型矩阵呢？1、若有零行，零行在非零行的下边；2、左起首非零元左边零的个数随行数的增加而严格增加

阶梯型矩阵图示

阶梯形矩阵的横线可以跨多个数，竖线只能跨一个数，如图：

阶梯形矩阵的特性

行简化阶梯形是阶梯形矩阵一个特殊形式，其特点如下：

(1)非零行的首非零元是1

(2)首非零元所在列的其余元素是0

行简化阶梯形图示

拿到一个矩阵，怎么确认它是不是行简化阶梯形呢？第一步，画折线；第二步，圈出首非零元；第三步，首非零元这一列画虚线，确定除了首非零元，其它数值都为0

说了这么久的阶梯形矩阵，将一个矩阵简化成阶地形矩阵有什么便捷之处呢？矩阵A经过行/列的初等行变换变成阶梯形矩阵，非零行的行数就等于秩，即r(A)=非零行的行数

将矩阵初等行变化为阶梯形矩阵

最后总结矩阵秩的三个特性：

（1）r(A) = r()

行列式转置值不变，对非零子式的最高阶数是没有影响的

（2）矩阵乘以可逆矩阵，秩不变

（3）可逆矩阵等于初等矩阵的乘积

设 阶矩阵为可逆方阵，阶矩阵为可逆方阵

可逆矩阵等于初等矩阵的乘积，则P = P1×P2×P3×P4...Pm；Q = Q1×Q2×Q3×Q4...Qn

PA=P1×P2×P3×P4...PmA A左乘初等矩阵，相当于对A做初等行变换，初等行变换不改变矩阵的秩。则r(A)=r(PA) 同理推出r(A)=r(PA)=r(AQ)=r(PAQ)

向量组的秩

讲向量组的秩先看一下极大线性无关组的解释。

极大线性相关组满足的条件：假设向量组 的部分向量组1(1)线性无关；（2）每个向量均可由表示

任意两个极大线性无关组，含有的向量个数相同

向量组的秩：极大线性无关组含有向量的个数 r(,...)

(1) 0≤r(,...)≤min{向量的个数 维数}

注：n维向量组有n+1个个数，必线性相关，可推出n维向量的极大线性相关组有n个个数

（2）,...线性无关r=s

（3）,...线性相关r<s

定理：,...可由...表示，则r(,...) ≤ r(...)

向量组的秩用极大线性相关组求解，矩阵的秩用非零子式求解，看似向量组的秩和矩阵的秩没有关系，在后续的学习中会有很多的关系。

向量的秩和矩阵的秩之间的关系