分享

【线性代数】MIT线性代数课程笔记(9-12课)

 新用户45386755 2023-01-17 发布于河北

-9 课 线性相关性,基,维数

一、知识概要

    之前消元处理矩阵时,经常发现矩阵中有时会有一行或几行本身就是前面几行的线性组合情况,这一节我们就从这种线性相关或线性无关的特征入手,介绍空间中的几个重要的概念:基,维数。

二.线性无关与线性相关

    2.1 背景知识

    首先强调,接下来我们谈论的概念都是基于向量组的,而不是基于矩阵。线性无关,线性相关是向量组内的关系,基也是一个向量组,不要与矩阵概念混淆。

    首先从之前学习的 Ax = 0 方程谈起。

    假设 m*n 的矩阵 A:

图片

    显然,n > m,以这样的矩阵 A 构成的方程 Ax = 0,此时未知数图片的个数比方程的个数多。未知数一共 n 个,方程一共 m 个。

    所以此时 A 的零空间中除零向量以外还有其他向量,原因是这样的 A 一定有自由变量(至少有 n-m 个自由变量),这就造成了零空间中向量的无穷解。

2.2 线性无关与线性相关

    我们之前也接触了线性无关与线性相关的相关概念。接下来直接给出定义:

·线性无关:

    除系数全为 0 的情况外,没有其他线性组合方式能得到零向量,则这组向量线性无关。

    设向量组为 𝑥1,𝑥2,𝑥3…𝑥𝑛。即 c 不全为 0 时,任何 𝑐1𝑥1 + 𝑐2𝑥2 + ……𝑐𝑛𝑥𝑛 线性组合的结果都不为零,则此向量组线性无关。

·线性相关:

    除了零组合之外还有其他的线性组合方式能得到零向量,则这组向量线性 相关。

:如果一个向量组中有零向量存在,那么这个向量组一定是线性相关的。

举几个例子感受一下上面的概念:

【例】

    1.

    𝑣1与2𝑣1组成的向量组:

                -2(𝑣1) + (2𝑣1) = 0 线性相关

    2.

    𝑣1与零向量组成的向量组:

                0(𝑣1) + 1(0) = 0 线性相关

    3.

    二维平面上不共线的两个向量:

图片

    没有线性组合可以使它们构成零向量所以此向量组线性无关。

4.二维平面上不共线的三个向量:

图片

    二维平面上的三个向量之间一定是线性相关的

    ·这里用到了我们上面的背景知识的延伸。

        首先构造此图对应的矩阵A:

图片

    很明显,寻找线性组合可以写成如下形式:

图片

    显然,A 矩阵是 n>m 型的矩阵。而根据我们的背景知识(2.1),Ac = 0 这个方程对应的零空间中,除了零向量肯定还有其他向量,也就是存在一种 c 不全为0的情况,使 A 各列线性组合后得到 0。也就是 A 各列的𝑣1,𝑣2,𝑣3线性相关。

很明显,【例】中第 4 题将线性相关与线性无关与零空间联系了起来。

2.3 零空间的作用

    根据上面的例题 4,我们再从矩阵的零空间与矩阵列向量角度重新定义 𝑣1 𝑣2 𝑣1 𝑣2 𝑣3 向量组的线性相关/无关。假设现有一 m*n 矩阵 A:

    ·如果 A 各列向量构成的向量组是线性无关的,那么矩阵 A 的零空间中只有零向量。

    ·如果 A 各列向量构成的向量组是线性相关的,那么矩阵 A 零空间中除零向量之外还一定有其他向量。

    很好理解上面零空间角度的定义。因为零空间反映的就是 A 各列向量的线性组合。

秩的角度看来:

    ·线性无关对应向量组构成的矩阵,秩为 n,此时没有自由变量,零空间中 只有零向量存在。

    ·线性相关对应向量组构成的矩阵,秩小于 n,有 n-r 个自由变量,零空间 中有很多向量。

2.4 生成空间

    所谓生成空间,即为此空间由向量𝑣1,𝑣2,𝑣3…𝑣𝑛即它们的线性组合构成, 就称𝑣1,𝑣2,𝑣3…𝑣𝑛生成了一个空间,可以理解为:把向量组的所有线性组合放到了一个空间里面。

    但是𝑣1,𝑣2,𝑣3…𝑣𝑛不一定是线性无关的,我们更关心线性无关的𝑣1,𝑣2, 𝑣3…𝑣𝑛,因为它们可以表示出空间的特征,这就引出了“基”的概念

三.基

首先给出“基”的概念:

一组向量𝑣1,𝑣2,𝑣3…𝑣𝑛,具有两个性质:

(1)𝑣1,𝑣2,𝑣3…𝑣𝑛线性无关。

(2)𝑣1,𝑣2,𝑣3…𝑣𝑛生成整个空间。

例:三维空间中的图片

△基可以代表空间的很多性质,十分重要。

    一个空间的基有很多种,比如三维空间的基还可以是图片。但是我们发现,一个空间的不同基,其中向量的个数是一定的。如果 A 是图片空间的基,那么 A 中向量的个数就是 n 个。比如三维空间图片,基一定是三个向量构成的向量组。

这里给出一个性质:

    图片中的 n 个向量构成基,则以这 n 个向量构成的 n*n 矩阵必须可逆。

    这个性质很好理解,矩阵可逆就意味着任意两行,两列都线性无关,所以可以构 成一组生成空间的基。

四.维数

    上面介绍基的时候提到了“ 图片空间的基中向量个数为 n 个。”这个“n”我 们称之为维数。同一个空间内,即使基不同,基向量的个数也必须相等。

    理解维数也很简单,像我们的三维空间,其基一定是三个三维向量(三个 向量,每个向量有三个分量),四维空间的基也一定是四个四维向量。

五.总结

    这一节学习了很多概念问题,我们通过一道例题回顾一下

【例】

    假设列空间由矩阵 A 确定:图片

    则有接下来几个问题:

(1) A 的各列是不是 A 列空间的基?

    显然不是。

    从线性组合角度看,列 1 加列 2 等于列 3,这几列显然线性相关。

    或从零空间的角度看来,求 A 的零空间中向量:

        Ac = 0

其中一个特解为:图片就意味着零空间中不只有零向量。

所以这些列向量线性相关,不能构成基。

(2) 找出 A 列空间的一个基

    从 A 的结构看来:

图片

第 3 列 = 第 1 列 + 第 2 列。

第 4 列 = 第 1 列。

显然,可以取前两列作为基。所以 A 的列空间的维数为:2。

再看 A 矩阵,显然 A 的秩为 2,消元后只有两个主列。所以有:

    矩阵 A 的 = 矩阵 A 主列的个数 = A 列空间的维数

    这下我们就将矩阵的秩与列空间的维数联系了起来,而更重要的是,我们知 道了列空间的维数,那么在这个列空间中随便找两个线性无关的向量,它们就可 以构成一组基,这组基就可以生成这个列空间。

(3) A 对应零空间的维数为多少?

    所谓零空间维数,即是零空间基的个数,也是 Ax = 0 的特解的个数, 还可以理解为:Ax = 0 的解中自由变量的个数。

    最简单的方法是解 Ax = 0 这个方程。经过消元,自由变量赋值,回代,最后得到两个特解:

图片

    所以此零空间的维数为 2。

类似,有这样一个很简单的公式:

    m*n 矩阵中,主列个数为 r,秩为 r,则有:

零空间维数 = n-r

五.学习感悟

    这一节内容十分简单,就是几个概念的介绍:线性相关/无关,基,维数。这 一节这几个概念都是用来描述空间的,了解这几个概念之后,我们便将矩阵的秩, 矩阵的自由变量等概念与空间的维数,基,线性相关/无关的判定联系起来。便 于我们接下来对向量空间的研究。

-10 课 四个基本子空间

一、知识概要

    上面我们介绍过列空间,零空间。但是这还远远不够,对一个矩阵来说,我们能从它身上挖掘出的空间远不止这些,所以这一节我们介绍四个基本子空间,也是对空间概念的补充,便于我们接下来的讨论。

二.四个基本空间介绍:

    对于一个 m*n 矩阵 A 来说,以下四个基本空间是其基础。

(1) 列空间 C(A):

    即之前介绍过的,列空间即是矩阵 A 的列向量线性组合构成的空间。对于 m*n 的矩阵 A 来说,每个列向量有 m 个分量,即列向量属于图片空间。所以列空间是图片的子空间。

(2) 零空间 N(A):

    这个以前也介绍过,即由 Ax = 0 的解构成的空间。由于 x 本质是对 A 列向量的线性组合,A 一共有 n 个列向量,所以零空间是图片的子空间。

(3) 行空间 C(图片):

    行空间这个概念我们第一次接触,但是不难理解,所谓行空间就是矩阵 A 各行线性组合构成的子空间。也可以理解为 A 转置的列空间,即:C(图片)。

    A 的每个行向量都有 n 个分量,所以每个行向量都在图片中。也就是 A 的行空 间是图片的子空间。

(4) 左零空间 N(图片)

    左零空间我们接下来会再介绍,先理解为图片的零空间就好。很明显,图片是一 个 n*m 的矩阵。联系零空间的介绍,图片一共有 m 个列向量,所以左零空间是图片的子空间。

2.1 四个基本空间的维数与基

    还是研究 m*n 的矩阵 A,其四个子空间的基本性质如下:

(1) 列空间:

    之前介绍过列空间的基,设矩阵 A 的秩为 r,则 A 有 r 个主列,这 r 个主 列就是列空间 C(A)一组基,一组基里有 r 个向量,所以列空间维数为:r。

(2) 零空间:

    同样,之前介绍过矩阵 A 秩为 r 时,自由列为 n-r 列。这 n-r 列决定了 x 中的 n-r 个自由变元,赋值后就构成了零空间的 n-r 个基向量,故零空间维数为:n-r。

(3) 行空间:

    A 的行空间可以化为图片的列空间。但我们这里使用的方法是直接对 A 的行 向量进行变换(其实一样),最后行空间的维数也是秩数 r。


【例】 设 A =图片

我们接下来从行空间的角度来研究这个矩阵的基与维数。

    直接对 A 进行行变换,得到:图片,这个矩阵我们很熟悉,左上角 是单位矩阵 I,右上角是自由列 F,下面是全零行。这就是行最简形矩阵 R。

    显然,A 只有两行线性无关,所以 A 秩为 2,所以 A 行向量的基就是 R 的前两行。维数为 2。

注:经过行变换,矩阵 A 的列空间显然改变了:C(A)≠C(R)。显然列向量图片

在 A 的列空间中,但是并不在 R 的列空间中。但是行变换并没有改变 A 的行空间,因为所谓行空间就是 A 行向量的线性组合,而我们进行的行变换就是取原来行向量 的一些线性组合,并没有改变行空间。

    从上面这个例子中,我们知道行空间会在行最简型 R 中以最佳形式表现出来。也就是说,将 A 化简为行最简型 R 后取前 r(秩数)行向量,即为 A 行空间的基。

(4)左零空间:

    首先介绍一下左零空间,写成方程形式,即图片,我们不处理图片,所以将方程两边同时转置,得到:图片。我们看到,对于 A 矩阵本身来说,图片左乘矩阵 A 得到零向量,所以我们称之为左零空间。但是我个人觉得这种理解方式不太好,还是理解为图片的零空间更直接一点。

    上面提到了,图片是一个 n*m 的矩阵,m 与 n 位置颠倒,所以图片零空间维数为 m-r。那么怎样找它的基向量呢?

    首先明确,零空间内的向量反映的是 A 列向量线性组合,最终得到零向量。而左零空间反映的就是 A 的行向量的线性组合,最终得到零向量。

    这就让我们想到了上面行向量的处理方式:设 A =图片,行变换后 得到行最简矩阵 R:图片,R 下面有零行,也就是一种线性组合将 A 行 向量组合后得到了零向量。而这个行变换过程可以用一种消元矩阵反映出来:

图片

    说明得到 E 矩阵,找到其中对应的第三行向量,就是将 A 各行组合得到零 的方式。

    怎样得到 E 矩阵呢?联想高斯-若尔当消元法,我们根据图片得到 了图片,那么这里我们是不是也能根据 EA = R,得到矩阵 E 呢?

    将 A 与 I 写在一起,通过行变换,将 A 化为 R,则右侧原本的 I 就变为了 E。

图片

    原因和高斯-若尔当消元法一样,A 变为 R 相当于左乘 E 矩阵,同样处理单 位阵 I,得到的即是矩阵 E。

将上面 A =图片,行最简矩阵 R =图片进行这样的处理,得到矩阵 E 为:图片。也就是:

图片

观察 R 下面一行为零行,抽出 E 第三行:

图片

    这样就得到了左零空间的一组基:[−1 0 1],也正是 m-r = 3-2 = 1 个 向量。所以寻找左零矩阵的基,重点在于找 A 行组合为零的系数,也就是上面的 活用高斯—若尔当消元法,将图片,进而求得 E 矩阵,写 出 EA = R,寻找 R 中的零行,对应找到 E 中的线性组合方式,就得到了左零空 间的基。

2.2 四个基本空间图像:

经过上面的总结,四个基本空间图像如下:

图片

三.矩阵空间

    这是一种新的对空间的定义,实际上,线性空间的元素并不一定是实数组成 的向量,我们可以将所有 3*3 的矩阵当成一个所谓“向量空间”中的向量,只要 满足线性空间的八条规律,对线性运算封闭,就可以将其当做线性空间中的元素。因为矩阵本身也满足线性空间的八条运算律,我们就可以将所有的 3*3 矩阵看做 一个线性空间。

    这里先渗透一下这个概念,先不用深入了解,下节中会提到部分的详细内容。总之,这里我们将所有的 3*3 矩阵看做了一个线性空间,那么它的子空间有 什么呢?

    上三角矩阵,对称矩阵,对角矩阵。

    而很明显,上三角矩阵与对称矩阵的交集为对角矩阵(diag)。深入研究对 角矩阵,就要给出它的基,

随意给出一个基:图片

这里只是给出一种理解线性空间的方式,下节会详细介绍这部分内容。

四.学习感悟

    本节也是概念的渗透,介绍四个基本空间,其中比较新的内容是左零空间, 即行向量的线性组合得到零,这部分要好好理解。前面重点在于 2.2 的图,以后 会经常用到。另外给下一节开了个头,引申了向量空间概念。

-11 课 矩阵空间 秩 1 矩阵

一、知识概要

    上节末尾我们介绍了矩阵空间,这是一种延伸的向量空间。这节我们从矩阵空间谈起,介绍矩阵空间的维数,基等问题。渗透一些微分方程与线性代数之间的联系,并介绍秩为 1 的矩阵特点。

二.矩阵空间

    还是上一节中的问题,将所有 3*3 的矩阵都看做“向量空间”中的元素,很 明显,由所有 3*3 矩阵构成的集合中,矩阵之间加法与数乘矩阵都是封闭的,所以所有 3*3 矩阵构成的集合 M 可以被称为空间。

    上节中介绍过,M 有两个基本的子空间:

    1. 对称矩阵 S

    2. 上三角矩阵 U

上面两个矩阵集合中,加法封闭与数乘封闭都很容易得到证明。

而 S 与 U 空间相交,得到另一个子空间:对角阵 D。

2.1 基与维数

    最明显的就是 M 的基,对任何一个 3*3 矩阵都适用的基,类似图片的基:

图片

    与图片的向量空间类似,只不过这里矩阵自身的性质决定了基的存在状态。所以 M 的维数为 9。

    接下来要讨论的是对称矩阵 S 与上三角矩阵 U

    S 与 U 的基也很好写出,让每个元素都等于一次 1 就可以了。

    一并给出:对称阵 S 的基有 6 个:

图片

上三角矩阵 U 的基有 6 个:

图片

所以 S,U 维数都是 6。这里主要想强调的是矩阵基与向量形式上的不同。

    再看对角阵 D,明显只有三个基:图片,即对角 阵维数为 3,基正好为 S 与 U 的交集。也可以写为:dim(S∩U)= 3。

    聊完交集,再考虑一下并集,之前向量空间中也介绍过,这样的两个子空间的 并集不是向量空间,因为两个向量加和会脱离范围。ok,那么不谈交集,怎样才 能使两个空间的和为一个向量空间呢?

    这个空间叫做:S+U,它与并集的不同就在于,并集只包含了 S 与 U,而 S+U 集合包含了它们两个的线性组合,就是任意对称阵加上任意上三角矩阵的和都包 含于这个集合里。另外,很容易看出来,这个集合就是 M,所以 S+U 的维数是 9。联系上面的所有维数,有这样一个等式:

图片

2.2 微分方程

    同样的“空间”概念还适用于很多地方,这样的线性空间内元素不一定是向 量,矩阵,还可以是方程的解。

    例如:解微分方程图片

    只考虑实数范围,很明显这个微分方程有两个特解:y = sinx 与 y = cosx。而所有的解就是这两个特解的线性组合:y = 𝑐1cosx + 𝑐1sinx。

    这很类似于零空间,也就是说我们将这些解看做线性空间中的元素也可以。所以我们可以称其为解空间。其中的元素是解,满足线性运算封闭条件。

    那么从空间的角度出发,这个解空间两个基就是 cosx 与 sinx,其线性组合构成了解空间,所以解空间维数为 2。

三.秩一矩阵

    这里重点提一下秩为 1 的矩阵,因为它易于分解。

    3.1 秩一矩阵的优点

    例:矩阵 A =图片

    很明显 A 秩为 1,可以被分解为 A =图片。这就是 秩一矩阵的优点,每一行都是第一行的几倍。可以被分解为一列乘一行的形式。

    都可以写为:图片

    秩一矩阵的另外一个优点是它可以“搭建”其他矩阵,比如秩为 4 的矩阵, 通过四个秩一矩阵就能搭建出来。具体过程类似于矩阵乘法中的“列乘行”形式, 通过一列一行搭出一个矩阵。

3.2 空间角度解释同秩矩阵

    那么从空间角度看,所有秩为 4 的矩阵构成的集合 M,能称之为空间么?肯定不是。其中都不包含零向量。另外,因为有这样一个性质存在:

图片

    这就意味着 M 这个集合对加法也不封闭。两个秩为 4 的矩阵相加,结果的秩可能大于 4。所以所有秩为 4 的矩阵集合并不能构成空间。同理,秩为 1 的矩阵集合也不能构成空间。

3.3 子空间的转化

    我们通过这样一个例子再加深一下对子空间的印象:

【例】四维空间中的向量都有四个分量v =图片,设 S 为一个集合,其中的向量 都满足:𝑣1+𝑣2+𝑣3+𝑣4=0。则 S 是不是一个子空间?若是,那么其维数是多少?

解:

    S 显然是一个子空间,𝑣1+𝑣2+𝑣3+𝑣4=0 这个特点,对加法和数乘都封闭。而 且 S 中肯定有零向量,故 S 是一个子空间。

    假设有一矩阵 A,A = [1 1 1 1],由 S 中 v 的特殊性质,很明显可以得 到:

图片

    这样一来,我们就通过 A 构造了一个 Ax = 0 的方程,将 S 空间转化为了 A 的零空间。问题也转化为求此零空间的基和维数。

    矩阵 A 的秩 r 为 1,列数 n=4,主元只有一个,自由变元有三个。

图片

    因此维度为 n-r =3,S 的零空间是三维空间。其基为 Av = 0 的三个特解

图片

    这下我们就解决了这个问题,接下来回顾 A 的列空间与左零空间:

    A = [1 1 1 1],很明显它的列空间的基就是𝑅 1的基,其线性组合构成的空 间就是图片。所以 A 列空间即为图片

    左零空间图片:A 的左零空间即是线性组合各行得到零向量的方式,很显然, 这个 A 的左零空间只有零向量。

四.小世界图

    这部分是对下一节“图与网络”的引出,主要渗透一下图与矩阵的关联。

    有这样一个图:

图片

    这个图包括五个节点和六条边,可以用一个 5*6 的矩阵来表示其中的所有信 息。具体内容我们下节课再说。

    另外,大家应该也听说过“六度分割理论”,任何两位素不相识的人之间, 通过一定的联系方式,总能够产生必然联系或关系。这个概念即是将人抽象成点, 将联系抽象为图。

    这一节是渗透一些关于图与矩阵之间会有联系的思想,具体内容下节再谈。

五.学习感悟

    这一节中主要介绍了线性空间,一并介绍了类似于矩阵空间,解空间这一 类空间的存在。另外,秩一矩阵将我们之前学习的矩阵乘法列乘行方式联系了起 来,便于分解,可以搭建矩阵。

-12 课 矩阵应用:图与网络

一、知识概要

    本节主要介绍图与矩阵之间的关联,利用矩阵说明图的特点。这一节与之前几节的区别主要在于,前面例子中的矩阵中的元素大都是为了说明性质编造出来的, 而本节中矩阵中的元素都是来源于实际问题,更能体现出我们之前介绍的性质在 实际问题中有什么作用。

二.图和关联矩阵

    我们首先给出一个有向图(一)。

图片

    本节中我们研究的问题都是基于这个与有向图来研究的。那么既然是有向图,我 们不难写出它的关联矩阵 A 如下:

图片

    ·可能有一些没接触离散数学的人会对关联矩阵不是很熟悉,我在这里简单介绍下,上面 5*4 矩阵中,每一列代表一个节点,比如:第一列代表结点 1,第二 列代表结点 2..以此类推。而每一行代表的就是一条边的走势,同样,第一行代表边 1 第二行代表边 2..等等。这里需要注意的是,每一行所代表的边,体现在 这一行元素上,表现为:该边以哪一个结点为起点,对应的矩阵中该元素为-1, 而以哪个结点为终点,对应矩阵中该元素为 1。

    举个例子,我们看第一行,第一行代表边 1 的特点,图(一)中,边 1 以结 点 1 为起始点,以结点 2 为终点,这反映在矩阵上就是图片

。以 此类推。

图片

图片

    很好,我们现在从实际问题中抽象出了一个矩阵,接下来我们来研究图(一) 所代表的实际意义。

    【例】我们假设 x 为每个结点上的电势,研究 Ax = b 形式下,可以得到些什 么定律。

    (1)首先来研究 b 是零向量,也就是 AX 构成的零空间情况,这时我们要求 解的是 AX = 0。联系我们之前学过的知识,不难得到:

图片

    由于 x 是各个节点上的电势,很明显,x 的解集代表了 b 是 0 时。各点 电势必须相等。我们接下来考虑,这代表着什么。

    我们都知道,电势差和电流的形成之间有着直接关系,b= 0,说明我 们求解的情况是各个边上都没有电流(或者说电势差)的情况,而我们最后解得, 各点电势相等时,边上电流为 0,符合我们的常识。

    (2)b 如果不为 0,那么我们可以通过特解 + 通解的方式求出不同 b 的 情况下,方程对应的解。代表着不同电势差情况下,各点电势的大小。

    接下来我们看一下左零空间图片会有什么特点:

    首先,A 矩阵的转置为:

图片

此时我们来解这个方程:

图片

    A 转置后行列互换,对应的 y 一共有五个分量,线性组合图片的行。而图片的 行代表着 1~5 边,同【例】中的背景,我们这里求的就是流过每条边的电流。

    求解方程,得到:

图片

    注意上面的方程阐释了一个定律——基尔霍夫定律,即每个结点流入流出电流相 同。这里的每个方程代表着一个节点的情况。我们最后解得的图片,就是满足这 个特点的各条边的电流值。

三、实际应用的扩展

    注意到之前我们求解的 AX =图片,这代表了每两点之间的电势差。这个方程将图的特点(矩阵 A)与各点电势(x)联系了起来。

    我们之后求的图片=图片,其中的图片代表了各 个边上的电流,联系电流与电势差,我们一下子就想到了初中学习的欧姆定律。电流与电压之间也存在着一个比例系数。我们假设这个数可以用矩阵 C 来表示。

    也就是说有:图片。简记为 y = CAX。

这样,我们就将图像,电流,电势差这些概念都用矩阵表示了出来。

    进一步扩展,我们在前面研究的图片是无源场的情况,如果有外加 电源,我们可以写作:图片 = f(f 代表外加电源的影响)。联系我们上一步得 到的等式 y = CAX,就得到了教授最后写出的式子:图片

四、学习感悟

    这一节与之前联系较多,与实际应用联系也较大。从一个图出发,联系实际 物理问题,解释了如何用矩阵阐述欧姆定律以及基尔霍夫定律的。学习过本节之 后,我们才算真正明白了之前学习的各种空间具体到实际问题有什么作用。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多