第2周第2周四、多变量线性回归(Linear Regression with Multiple Variables)4.1 多维特征4.2 多变量梯度下降4.3 梯度下降法实践1-特征缩放4.4 梯度下降法实践2-学习率4.5 特征和多项式回归4.6 正规方程4.7 正规方程及不可逆性(可选)五、Octave教程(Octave Tutorial)5.1 基本操作5.2 移动数据5.3 计算数据5.4 绘图数据5.5 控制语句:for,while,if语句5.6 向量化5.7 工作和提交的编程练习 四、多变量线性回归(Linear Regression with Multiple Variables)4.1 多维特征参考视频: 4 - 1 - Multiple Features (8 min).mkv 目前为止,我们探讨了单变量/特征的回归模型,现在我们对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为。 增添更多特征后,我们引入一系列新的注释: 代表特征的数量 代表第 个训练实例,是特征矩阵中的第行,是一个向量(vector)。 比方说,上图的 , 代表特征矩阵中第 行的第 个特征,也就是第 个训练实例的第 个特征。 如上图的, 支持多变量的假设 表示为:, 这个公式中有个参数和个变量,为了使得公式能够简化一些,引入,则公式转化为: 此时模型中的参数是一个维的向量,任何一个训练实例也都是维的向量,特征矩阵的维度是 。 因此公式可以简化为:,其中上标代表矩阵转置。 4.2 多变量梯度下降参考视频: 4 - 2 - Gradient Descent for Multiple Variables (5 min).mkv 与单变量线性回归类似,在多变量线性回归中,我们也构建一个代价函数,则这个代价函数是所有建模误差的平方和,即: , 其中: , 我们的目标和单变量线性回归问题中一样,是要找出使得代价函数最小的一系列参数。 多变量线性回归的批量梯度下降算法为: 即: 求导数后得到: 当时, 我们开始随机选择一系列的参数值,计算所有的预测结果后,再给所有的参数一个新的值,如此循环直到收敛。 代码示例: 计算代价函数 其中: Python 代码: def computeCost(X, y, theta): inner = np.power(((X * theta.T) - y), 2) return np.sum(inner) / (2 * len(X)) 4.3 梯度下降法实践1-特征缩放参考视频: 4 - 3 - Gradient Descent in Practice I - Feature Scaling (9 min).mkv 在我们面对多维特征问题的时候,我们要保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛。 以房价问题为例,假设我们使用两个特征,房屋的尺寸和房间的数量,尺寸的值为 0-2000平方英尺,而房间数量的值则是0-5,以两个参数分别为横纵坐标,绘制代价函数的等高线图能,看出图像会显得很扁,梯度下降算法需要非常多次的迭代才能收敛。 解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间。如图: 最简单的方法是令:,其中 是平均值,是标准差。 4.4 梯度下降法实践2-学习率参考视频: 4 - 4 - Gradient Descent in Practice II - Learning Rate (9 min).mkv 梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们不能提前预知,我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。 也有一些自动测试是否收敛的方法,例如将代价函数的变化值与某个阀值(例如0.001)进行比较,但通常看上面这样的图表更好。 梯度下降算法的每次迭代受到学习率的影响,如果学习率过小,则达到收敛所需的迭代次数会非常高;如果学习率过大,每次迭代可能不会减小代价函数,可能会越过局部最小值导致无法收敛。 通常可以考虑尝试些学习率: 4.5 特征和多项式回归参考视频: 4 - 5 - Features and Polynomial Regression (8 min).mkv 如房价预测问题, (临街宽度),(纵向深度),(面积),则:。 线性回归并不适用于所有数据,有时我们需要曲线来适应我们的数据,比如一个二次方模型: 或者三次方模型: 通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外,我们可以令: ,从而将模型转化为线性回归模型。 根据函数图形特性,我们还可以使: 或者: 注:如果我们采用多项式回归模型,在运行梯度下降算法前,特征缩放非常有必要。 4.6 正规方程参考视频: 4 - 6 - Normal Equation (16 min).mkv 到目前为止,我们都在使用梯度下降算法,但是对于某些线性回归问题,正规方程方法是更好的解决方案。如: 正规方程是通过求解下面的方程来找出使得代价函数最小的参数的: 。 假设我们的训练集特征矩阵为 (包含了 )并且我们的训练集结果为向量 ,则利用正规方程解出向量 。 上标T代表矩阵转置,上标-1 代表矩阵的逆。设矩阵,则: 以下表示数据为例: 即: 运用正规方程方法求解参数: 在 Octave 中,正规方程写作: xxxxxxxxxx pinv(X'*X)*X'*y 注:对于那些不可逆的矩阵(通常是因为特征之间不独立,如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征,也有可能是特征数量大于训练集的数量),正规方程方法是不能用的。 梯度下降与正规方程的比较:
总结一下,只要特征变量的数目并不大,标准方程是一个很好的计算参数的替代方法。具体地说,只要特征变量数量小于一万,我通常使用标准方程法,而不使用梯度下降法。 随着我们要讲的学习算法越来越复杂,例如,当我们讲到分类算法,像逻辑回归算法,我们会看到,实际上对于那些算法,并不能使用标准方程法。对于那些更复杂的学习算法,我们将不得不仍然使用梯度下降法。因此,梯度下降法是一个非常有用的算法,可以用在有大量特征变量的线性回归问题。或者我们以后在课程中,会讲到的一些其他的算法,因为标准方程法不适合或者不能用在它们上。但对于这个特定的线性回归模型,标准方程法是一个比梯度下降法更快的替代算法。所以,根据具体的问题,以及你的特征变量的数量,这两种算法都是值得学习的。 正规方程的python实现:
4.7 正规方程及不可逆性(可选)参考视频: 4 - 7 - Normal Equation Noninvertibility (Optional) (6 min).mkv 在这段视频中谈谈正规方程 ( normal equation ),以及它们的不可逆性。 由于这是一种较为深入的概念,并且总有人问我有关这方面的问题,因此,我想在这里来讨论它,由于概念较为深入,所以对这段可选材料大家放轻松吧,也许你可能会深入地探索下去,并且会觉得理解以后会非常有用。但即使你没有理解正规方程和线性回归的关系,也没有关系。 我们要讲的问题如下: 备注:本节最后我把推导过程写下。 有些同学曾经问过我,当计算 = 在 其中 第二个原因是,在你想用大量的特征值,尝试实践你的学习算法的时候,可能会导致矩阵的结果是不可逆的。 具体地说,在小于或等于n的时候,例如,有等于10个的训练样本也有等于100的特征数量。要找到适合的 维参数矢量,这将会变成一个101维的矢量,尝试从10个训练样本中找到满足101个参数的值,这工作可能会让你花上一阵子时间,但这并不总是一个好主意。因为,正如我们所看到你只有10个样本,以适应这100或101个参数,数据还是有些少。 稍后我们将看到,如何使用小数据样本以得到这100或101个参数,通常,我们会使用一种叫做正则化的线性代数方法,通过删除某些特征或者是使用某些技术,来解决当比小的时候的问题。即使你有一个相对较小的训练集,也可使用很多的特征来找到很多合适的参数。 总之当你发现的矩阵的结果是奇异矩阵,或者找到的其它矩阵是不可逆的,我会建议你这么做。 首先,看特征值里是否有一些多余的特征,像这些和是线性相关的,互为线性函数。同时,当有一些多余的特征时,可以删除这两个重复特征里的其中一个,无须两个特征同时保留,将解决不可逆性的问题。因此,首先应该通过观察所有特征检查是否有多余的特征,如果有多余的就删除掉,直到他们不再是多余的为止,如果特征数量实在太多,我会删除些 用较少的特征来反映尽可能多内容,否则我会考虑使用正规化方法。
如果矩阵是不可逆的,(通常来说,不会出现这种情况),如果在Octave里,可以用伪逆函数 增加内容: 的推导过程: 其中: 将向量表达形式转为矩阵表达形式,则有 ,其中为行列的矩阵(为样本个数,为特征个数),为行1列的矩阵,为行1列的矩阵,对进行如下变换 接下来对偏导,需要用到以下几个矩阵的求导法则: 所以有: 令, 则有 五、Octave教程(Octave Tutorial)5.1 基本操作参考视频: 5 - 1 - Basic Operations (14 min).mkv 在这段视频中,我将教你一种编程语言:Octave语言。你能够用它来非常迅速地实现这门课中我们已经学过的,或者将要学的机器学习算法。 过去我一直尝试用不同的编程语言来教授机器学习,包括C++、Java、Python、Numpy和Octave。我发现当使用像Octave这样的高级语言时,学生能够更快更好地学习并掌握这些算法。事实上,在硅谷,我经常看到进行大规模的机器学习项目的人,通常使用的程序语言就是Octave。(编者注:这是当时的情况,现在主要是用Python) Octave是一种很好的原始语言(prototyping language),使用Octave你能快速地实现你的算法,剩下的事情,你只需要进行大规模的资源配置,你只用再花时间用C++或Java这些语言把算法重新实现就行了。开发项目的时间是很宝贵的,机器学习的时间也是很宝贵的。所以,如果你能让你的学习算法在Octave上快速的实现,基本的想法实现以后,再用C++或者Java去改写,这样你就能节省出大量的时间。 据我所见,人们使用最多的用于机器学习的原始语言是Octave、MATLAB、Python、NumPy 和R。 Octave很好,因为它是开源的。当然MATLAB也很好,但它不是每个人都买得起的。(貌似国内学生喜欢用收费的matlab,matlab功能要比Octave强大的多,网上有各种D版可以下载)。这次机器学习课的作业也是用matlab的。如果你能够使用matlab,你也可以在这门课里面使用。 如果你会Python、NumPy或者R语言,我也见过有人用 R的,据我所知,这些人不得不中途放弃了,因为这些语言在开发上比较慢,而且,因为这些语言如:Python、NumPy的语法相较于Octave来说,还是更麻烦一点。正因为这样,所以我强烈建议不要用NumPy或者R来完整这门课的作业,我建议在这门课中用Octave来写程序。 本视频将快速地介绍一系列的命令,目标是迅速地展示,通过这一系列Octave的命令,让你知道Octave能用来做什么。 启动Octave: 现在打开Octave,这是Octave命令行。 现在让我示范最基本的Octave代码: 输入5 + 6,然后得到11。 输入3 – 2、5×8、1/2、2^6等等,得到相应答案。 这些都是基本的数学运算。 你也可以做逻辑运算,例如 12,计算结果为 false (假),这里的百分号命令表示注释,12 计算结果为假,这里用0表示。 请注意,不等于符号的写法是这个波浪线加上等于符号 ( ~= ),而不是等于感叹号加等号( != ),这是和其他一些编程语言中不太一样的地方。 让我们看看逻辑运算 1 && 0,使用双&符号表示逻辑与,1 && 0判断为假,1和0的或运算 1 || 0,其计算结果为真。 还有异或运算 如 从左向右写着 Octave 324.x版本,是默认的Octave提示,它显示了当前Octave的版本,以及相关的其它信息。 如果你不想看到那个提示,这里有一个隐藏的命令: 输入命令 现在命令提示已经变得简化了。 接下来,我们将谈到Octave的变量。 现在写一个变量,对变量赋值为3,并按下回车键,显示变量等于3。 如果你想分配一个变量,但不希望在屏幕上显示结果,你可以在命令后加一个分号,可以抑制打印输出,敲入回车后,不打印任何东西。 其中这句命令不打印任何东西。 现在举一个字符串的例子:变量等于'hi'。 等于3大于等于1,所以,现在变量的值是真。 如果你想打印出变量,或显示一个变量,你可以像下面这么做: 设置等于圆周率,如果我要打印该值,那么只需键入 对于更复杂的屏幕输出,也可以用DISP命令显示: 这是一种,旧风格的C语言语法,对于之前就学过C语言的同学来说,你可以使用这种基本的语法来将结果打印到屏幕。 例如 ^{T}命令的六个小数:0.6%f ,a,这应该打印的6位小数形式。 也有一些控制输出长短格式的快捷命令: 下面,让我们来看看向量和矩阵: 比方说 建立一个矩阵: 对矩阵进行赋值,考虑到这是一个三行两列的矩阵,你同样可以用向量。 建立向量并赋值1 2 3,是一个行向量,或者说是一个3 ( 列 )×1 ( 行 )的向量,或者说,一行三列的矩阵。 如果我想,分配一个列向量,我可以写“1;2;3”,现在便有了一个3 行 1 列的向量,同时这是一个列向量。 下面是一些更为有用的符号,如: xxxxxxxxxx V=1:0.1:2 这个该如何理解呢:这个集合是一组值,从数值1开始,增量或说是步长为0.1,直到增加到2,按照这样的方法对向量操作,可以得到一个行向量,这是一个1行11列的矩阵,其矩阵的元素是1 1.1 1.2 1.3,依此类推,直到数值2。 我也可以建立一个集合并用命令“1:6”进行赋值,这样就被赋值了1至6的六个整数。 这里还有一些其他的方法来生成矩阵 例如“ 元素都为2,两行三列的矩阵,就可以使用这个命令: 你可以把这个方法当成一个生成矩阵的快速方法。 为一个一行三列的零矩阵,一行三列的矩阵里的元素全部是零: 还有很多的方式来生成矩阵。 如果我对进行赋值,用Rand命令建立一个一行三列的矩阵,因为使用了Rand命令,则其一行三列的元素均为随机值,如“ 数值介于0和1之间,所以,正是因为这一点,我们可以得到数值均匀介于0和1之间的元素。 如果,你知道什么是高斯随机变量,或者,你知道什么是正态分布的随机变量,你可以设置集合,使其等于一个一行三列的矩阵,并且,来自三个值,一个平均值为0的高斯分布,方差或者等于1的标准偏差。 还可以设置地更复杂: 并用hist命令绘制直方图。 绘制单位矩阵: 如果对命令不清楚,建议用help命令: 以上讲解的内容都是Octave的基本操作。希望你能通过上面的讲解,自己练习一些矩阵、乘、加等操作,将这些操作在Octave中熟练运用。 在接下来的视频中,将会涉及更多复杂的命令,并使用它们在Octave中对数据进行更多的操作。 5.2 移动数据参考视频: 5 - 2 - Moving Data Around (16 min).mkv 在这段关于 Octave的辅导课视频中,我将开始介绍如何在 Octave 中移动数据。 如果你有一个机器学习问题,你怎样把数据加载到 Octave 中? 怎样把数据存入一个矩阵? 如何对矩阵进行相乘? 如何保存计算结果? 如何移动这些数据并用数据进行操作? 进入我的 Octave 窗口, 我键入,得到我们之前构建的矩阵 ,也就是用这个命令生成的:
这是一个3行2列的矩阵,Octave 中的 所以 实际上, 设置 因此 就是一个1×2的矩阵,第一个元素是3,第二个元素是2。 所以如果键入 你也可以键入 同样,命令 如果你有一个向量 ,假如 你也可以键入 但通常我们还是对向量使用 命令,而不是对矩阵使用 如何在系统中加载数据和寻找数据: 当我们打开 Octave 时,我们通常已经在一个默认路径中,这个路径是 Octave的安装位置,
如果键入 事实上,我的桌面上有两个文件:featuresX.dat 和priceY.dat,是两个我想解决的机器学习问题。 featuresX文件如这个窗口所示,是一个含有两列数据的文件,其实就是我的房屋价格数据,数据集中有47行,第一个房子样本,面积是2104平方英尺,有3个卧室,第二套房子面积为1600,有3个卧室等等。 priceY这个文件就是训练集中的价格数据,所以 featuresX 和priceY就是两个存放数据的文档,那么应该怎样把数据读入 Octave 呢?我们只需要键入 另外 所以我可以键入 这些就是存在里面的数据。 还可以键入 类似地,输入
同样也列出我所有的变量,不仅如此,还列出了变量的维度。 double 意思是双精度浮点型,这也就是说,这些数都是实数,是浮点数。 如果你想删除某个变量,你可以使用 另外,我们怎么储存数据呢? 我们设变量 这表示的是将向量 的前10个元素存入 中。 假如我们想把它存入硬盘,那么用 由于我的电脑里同时安装了 MATLAB,所以这个图标上面有 MATLAB的标识,因为操作系统把文件识别为 MATLAB文件。如果在你的电脑上图标显示的不一样的话,也没有关系。 现在我们清除所有变量,直接键入 但如果我载入 hello.mat 文件,我又重新读取了变量 ,因为我之前把变量存入了hello.mat 文件中,所以我们刚才用
这样就会把数据存成一个文本文档,或者将数据的 ascii 码存成文本文档。 我键入了这个命令以后,我的桌面上就有了 hello.txt文件。如果打开它,我们可以发现这个文本文档存放着我们的数据。 这就是读取和储存数据的方法。 接下来我们再来讲讲操作数据的方法: 假如 还是那个矩阵 跟刚才一样还是那个 3×2 的矩阵,现在我们加上索引值,比如键入 这将索引到 矩阵的 (3,2) 元素。这就是我们通常书写矩阵的形式,写成 32,3和2分别表示矩阵的第三行和第二列对应的元素,因此也就对应 6。 我也可以键入 类似地,如果我键入 这表示返回 矩阵的第二列的所有元素。 你也可以在运算中使用这些较为复杂的索引。 我再给你展示几个例子,可能你也不会经常使用,但我还是输入给你看 可能这些比较复杂一点的索引操作你会经常用到。 我们还能做什么呢?依然是 矩阵, 你也可以为它赋值,我可以取 矩阵的第二列,然后将它赋值为10 11 12,我实际上是取出了 的第二列,然后把一个列向量[10;11;12]赋给了它,因此现在 矩阵的第一列还是 1 3 5,第二列就被替换为 10 11 12。 接下来一个操作,让我们把 设为 最后,还有一个小技巧,如果你就输入 再来几个例子: 我还是把 A 重新设为 [1 2; 3 4; 5 6],我再设一个 为[11 12; 13 14; 15 16],我可以新建一个矩阵 , 我还可以设 简单地说,分号的意思就是换到下一行,所以 C 就包括上面的A,然后换行到下面,然后在下面放上一个 。 另外顺便说一下,这个 通过以上这些操作,希望你现在掌握了怎样构建矩阵,也希望我展示的这些命令能让你很快地学会怎样把矩阵放到一起,怎样取出矩阵,并且把它们放到一起,组成更大的矩阵。 通过几句简单的代码,Octave能够很方便地很快速地帮助我们组合复杂的矩阵以及对数据进行移动。这就是移动数据这一节课。 我认为对你来讲,最好的学习方法是,下课后复习一下我键入的这些代码好好地看一看,从课程的网上把代码的副本下载下来,重新好好看看这些副本,然后自己在Octave 中把这些命令重新输一遍,慢慢开始学会使用这些命令。 当然,没有必要把这些命令都记住,你也不可能记得住。你要做的就是,了解一下你可以用哪些命令,做哪些事。这样在你今后需要编写学习算法时,如果你要找到某个Octave中的命令,你可能回想起你之前在这里学到过,然后你就可以查找课程中提供的程序副本,这样就能很轻松地找到你想使用的命令了。 5.3 计算数据参考视频: 5 - 3 - Computing on Data (13 min).mkv 现在,你已经学会了在Octave中如何加载或存储数据,如何把数据存入矩阵等等。在这段视频中,我将介绍如何对数据进行运算,稍后我们将使用这些运算操作来实现我们的学习算法。 这是我的 Octave窗口,我现在快速地初始化一些变量。比如设置为一个3×2的矩阵,设置为一个3 ×2矩阵,设置为2 × 2矩阵。 我想算两个矩阵的乘积,比如说 ,我只需键入 你也可以对每一个元素,做运算 方法是做点乘运算 这里第一个元素1乘以11得到11,第二个元素2乘以12得到24,这就是两个矩阵的元素位运算。通常来说,在Octave中点号一般用来表示元素位运算。 这里是一个矩阵,这里我输入 我们设为 [1; 2; 3] 是列向量,你也可以输入 矩阵也可以这样操作, 同样地,这里的点号还是表示对每一个元素进行操作。 我们还可以进行求对数运算,也就是对每个元素进行求对数运算。 还有自然数的幂次运算,就是以为底,以这些元素为幂的运算。 我还可以用 abs来对 的每一个元素求绝对值,当然这里 都是正数。我们换成另一个这样对每个元素求绝对值,得到的结果就是这些非负的元素。还有,给出中每个元素的相反数,这等价于 -1 乘以 ,一般就直接用 就好了,其实就等于 。 还有一个技巧,比如说我们想对中的每个元素都加1,那么我们可以这么做,首先构造一个3行1列的1向量,然后把这个1向量跟原来的向量相加,因此向量从[1 2 3] 增至 [2 3 4]。我用了一个, 另一种更简单的方法是直接用 现在,让我们来谈谈更多的操作。 矩阵 如果你想要求它的转置,那么方法是用A’,将得出 A 的转置矩阵。当然,如果我写 还有一些有用的函数,比如: 我还可以写 特别注意一下,如果你用命令 我们还是用这个例子,这个 矩阵 因此,返回[1 1 0 1]。也就是说,对矩阵的每一个元素与3进行比较,然后根据每一个元素与3的大小关系,返回1和0表示真与假。 如果我写 设 当然据我所知,这在机器学习里基本用不上,但我可以用这个方法很方便地生成一个3行3列的矩阵,而这个魔方矩阵这神奇的方形屏幕。每一行、每一列、每一个对角线三个数字加起来都是等于同一个数。 在其他有用的机器学习应用中,这个矩阵其实没多大作用。 如果我输入 顺便说一句,其实我从来都不去刻意记住这个 find 函数,到底是怎么用的,我只需要会用help函数就可以了,每当我在使用这个函数,忘记怎么用的时候,我就可以用 help函数,键入 最后再讲两个内容,一个是求和函数,这是 矩阵: 键入 如果我想把它们都乘起来,键入
还有 键入 假如我输入 所以第一列的最大值就是8,第二列是9,第三列的最大值是7,这里的1表示取A矩阵第一个维度的最大值。 相对地,如果我键入 所以你可以用这个方法来求得每一行或每一列的最值,另外,你要知道,默认情况下 最后,让我们把 设为一个9行9列的魔方阵,魔方阵具有的特性是每行每列和对角线的求和都是相等的。 这是一个9×9的魔方阵,我们来求一个 现在我们来求每一行的和,键入 现在我们来算的对角线元素的和。我们现在构造一个9×9 的单位矩阵,键入 然后我们要用 逐点乘以这个单位矩阵,除了对角线元素外,其他元素都会得到0。 键入 这实际上是求得了,这个矩阵对角线元素的和确实是369。 你也可以求另一条对角线的和也是是369。 flipup/flipud 表示向上/向下翻转。 同样地,如果你想求这个矩阵的逆矩阵,键入 设 如何对矩阵中的数字进行各种操作,在运行完某个学习算法之后,通常一件最有用的事情是看看你的结果,或者说让你的结果可视化,在接下来的视频中,我会非常迅速地告诉你,如何很快地画图,如何只用一两行代码,你就可以快速地可视化你的数据,这样你就能更好地理解你使用的学习算法。 5.4 绘图数据参考视频: 5 - 4 - Plotting Data (10 min).mkv 当开发学习算法时,往往几个简单的图,可以让你更好地理解算法的内容,并且可以完整地检查下算法是否正常运行,是否达到了算法的目的。 例如在之前的视频中,我谈到了绘制成本函数,可以帮助确认梯度下降算法是否收敛。通常情况下,绘制数据或学习算法所有输出,也会启发你如何改进你的学习算法。幸运的是,Octave有非常简单的工具用来生成大量不同的图。当我用学习算法时,我发现绘制数据、绘制学习算法等,往往是我获得想法来改进算法的重要部分。在这段视频中,我想告诉你一些Octave的工具来绘制和可视化你的数据。 我们先来快速生成一些数据用来绘图。 如果我想绘制正弦函数,这是很容易的,我只需要输入 横轴是变量,纵轴是,也就是我们刚刚所输出的正弦函数。 让我们设置 Octave将会消除之前的正弦图,并且用这个余弦图来代替它,这里纵轴从1开始, 如果我要同时表示正弦和余弦曲线。 我要做的就是,输入: 我现在绘制,输入: 我要以不同的颜色绘制余弦函数,所以我在这里输入带引号的r绘制余弦函数,表示所使用的颜色: 同时我也可以来标记我的两条函数曲线,用这个命令 如果你想保存这幅图像,你输入 Octave也可以保存为很多其他的格式,你可以键入 最后如果你想,删掉这个图像,用命令close会让这个图像关掉。 Octave也可以让你为图像标号 你键入 键入 subplot命令,我们要使用 我现在使用第一个格子,如果键入 最后一个命令,你可以改变轴的刻度,比如改成[0.5 1 -1 1],输入命令: 你不需要记住所有这些命令,如果你需要改变坐标轴,或者需要知道axis命令,你可以用Octave中用help命令了解细节。 最后,还有几个命令。
让我们设置A等于一个5×5的magic方阵: 我有时用一个巧妙的方法来可视化矩阵,也就是 我还可以使用函数colorbar,让我用一个更复杂的命令 它生成了一个颜色图像,一个灰度分布图,并在右边也加入一个颜色条。所以这个颜色条显示不同深浅的颜色所对应的值。 你可以看到在不同的方格,它对应于一个不同的灰度。 输入 这将会是一幅15*15的magic方阵值的图。 最后,总结一下这段视频。你看到我所做的是使用逗号连接函数调用。如果我键入,,然后按Enter键,其实这是将这三个命令同时执行,或者是将三个命令一个接一个执行,它将输出所有这三个结果。 这很像; ;;如果我用分号来代替逗号,则没有输出出任何东西。 这里我们称之为逗号连接的命令或函数调用。 用逗号连接是另一种Octave中更便捷的方式,将多条命令例如 现在你知道如何绘制Octave中不同的图像,在下面的视频中,我将告诉你怎样在Octave中,写控制语句,比如if while for语句,并且定义和使用函数。 5.5 控制语句:for,while,if语句参考视频: 5 - 5 - Control Statements_ for, while, if statements (13 min).mkv 在这段视频中,我想告诉你怎样为你的 Octave 程序写控制语句。诸如:'for' 'while' 'if' 这些语句,并且如何定义和使用方程。 我先告诉你如何使用 “for” 循环。 首先,我要将 值设为一个10行1列的零向量。 接着我要写一个 “for' 循环,让 等于 1 到 10,写出来就是 向量 的值就是这样一个集合 2的一次方、2的二次方,依此类推。这就是我的 等于 1 到 10的语句结构,让 遍历 1 到 10的值。 另外,你还可以通过设置你的 indices (索引) 等于 1一直到10,来做到这一点。这时indices 就是一个从1到10的序列。 你也可以写 如果你对 “break” 和 “continue” 语句比较熟悉,Octave里也有 “break” 和 “continue”语句,你也可以在 Octave环境里使用那些循环语句。 但是首先让我告诉你一个 while 循环是如何工作的: 这是什么意思呢:我让 取值从 1 开始,然后我要让 等于 100,再让 递增 1,直到 大于 5停止。 现在来看一下结果,我现在已经取出了向量的前五个元素,把他们用100覆盖掉,这就是一个while循环的句法结构。 现在我们来分析另外一个例子: 这里我将向你展示如何使用break语句。比方说 当然这也是我们第一次使用一个 if 语句,所以我希望你们可以理解这个逻辑,让 等于1 然后开始下面的增量循环,while语句重复设置 等于999,不断让增加,然后当 达到6,做一个中止循环的命令,尽管有while循环,语句也就此中止。所以最后的结果是取出向量 的前5个元素,并且把它们设置为999。 所以,这就是if 语句和 while 语句的句法结构。并且要注意要有end,上面的例子里第一个 end 结束的是 if 语句,第二个 end 结束的是 while 语句。 现在让我告诉你使用 if-else 语句: 最后,提醒一件事:如果你需要退出 Octave,你可以键入 最后,让我们来说说函数 (functions),如何定义和调用函数。 我在桌面上存了一个预先定义的文件名为 “squarethisnumber.m”,这就是在 Octave 环境下定义的函数。 让我们打开这个文件。请注意,我使用的是微软的写字板程序来打开这个文件,我只是想建议你,如果你也使用微软的Windows系统,那么可以使用写字板程序,而不是记事本来打开这些文件。如果你有别的什么文本编辑器也可以,记事本有时会把代码的间距弄得很乱。如果你只有记事本程序,那也能用。我建议你用写字板或者其他可以编辑函数的文本编辑器。 现在我们来说如何在 Octave 里定义函数: 这个文件只有三行: 第一行写着 还有一种更高级的功能,这只是对那些知道“search path (搜索路径)”这个术语的人使用的。所以如果你想要修改 Octave的搜索路径,你可以把下面这部分作为一个进阶知识,或者选学材料,仅适用于那些熟悉编程语言中搜索路径概念的同学。 你可以使用addpath 命令添加路径,添加路径“C:\Users\ang\desktop”将该目录添加到Octave的搜索路径,这样即使你跑到其他路径底下,Octave依然知道会在 Users\ang\desktop目录下寻找函数。这样,即使我现在在不同的目录下,它仍然知道在哪里可以找到“SquareThisNumber” 这个函数。 但是,如果你不熟悉搜索路径的概念,不用担心,只要确保在执行函数之前,先用 Octave还有一个其他许多编程语言都没有的概念,那就是它可以允许你定义一个函数,使得返回值是多个值或多个参数。这里就是一个例子,定义一个函数叫: “ 这说的就是函数返回值是两个: 和 ,接下来就是是被平方后的结果,是被立方后的结果,这就是说,函数会真的返回2个值。 有些同学可能会根据你使用的编程语言,比如你们可能熟悉的C或C++,通常情况下,认为作为函数返回值只能是一个值,但Octave 的语法结构就不一样,可以返回多个值。 如果我键入 所以说如果你需要定义一个函数并且返回多个值,这一点常常会带来很多方便。 最后,我来给大家演示一下一个更复杂一点的函数的例子。 比方说,我有一个数据集,像这样,数据点为[1,1], [2,2],[3,3],我想做的事是定义一个 Octave 函数来计算代价函数 ,就是计算不同 值所对应的代价函数值。 首先让我们把数据放到 Octave 里,我把我的矩阵设置为 请仔细看一下这个函数的定义,确保你明白了定义中的每一步。 现在当我在 Octave 里运行时,我键入 而相反地,如果我设置 等于[0;0],那么这个假设就是0是所有的预测值,和刚才一样,设置 = 0,也等于0,然后我计算的代价函数,结果是2.333。实际上,他就等于1的平方,也就是第一个样本的平方误差,加上2的平方,加上3的平方,然后除以,也就是训练样本数的两倍,这就是2.33。 因此这也反过来验证了我们这里的函数,计算出了正确的代价函数。这些就是我们用简单的训练样本尝试的几次试验,这也可以作为我们对定义的代价函数进行了完整性检查。确实是可以计算出正确的代价函数的。至少基于这里的 和 是成立的。也就是我们这几个简单的训练集,至少是成立的。 现在你知道如何在 Octave 环境下写出正确的控制语句,比如 for 循环、while 循环和 if语句,以及如何定义和使用函数。 在接下来的Octave 教程视频里,我会讲解一下向量化,这是一种可以使你的 Octave程序运行非常快的思想。 5.6 向量化参考视频: 5 - 6 - Vectorization (14 min).mkv 在这段视频中,我将介绍有关向量化的内容,无论你是用Octave,还是别的语言,比如MATLAB或者你正在用Python、NumPy 或 Java C C++,所有这些语言都具有各种线性代数库,这些库文件都是内置的,容易阅读和获取,他们通常写得很好,已经经过高度优化,通常是数值计算方面的博士或者专业人士开发的。 而当你实现机器学习算法时,如果你能好好利用这些线性代数库,或者数值线性代数库,并联合调用它们,而不是自己去做那些函数库可以做的事情。如果是这样的话,那么通常你会发现:首先,这样更有效,也就是说运行速度更快,并且更好地利用你的计算机里可能有的一些并行硬件系统等等;其次,这也意味着你可以用更少的代码来实现你需要的功能。因此,实现的方式更简单,代码出现问题的有可能性也就越小。 举个具体的例子:与其自己写代码做矩阵乘法。如果你只在Octave中输入乘以就是一个非常有效的两个矩阵相乘的程序。有很多例子可以说明,如果你用合适的向量化方法来实现,你就会有一个简单得多,也有效得多的代码。 让我们来看一些例子:这是一个常见的线性回归假设函数: 如果你想要计算 ,注意到右边是求和,那么你可以自己计算 到 的和。但换另一种方式来想想,把 看作,那么你就可以写成两个向量的内积,其中就是、、,如果你有两个特征量,如果 ,并且如果你把 看作、、,这两种思考角度,会给你两种不同的实现方式。 比如说,这是未向量化的代码实现方式: 计算是未向量化的,我们可能首先要初始化变量 的值为0.0,而这个变量 的最终结果就是,然后我要用一个 for 循环, 取值 0 到,变量 每次就通过自身加上乘以 更新值,这个就是算法的代码实现。 顺便我要提醒一下,这里的向量我用的下标是0,所以我有、、,但因为MATLAB的下标从1开始,在 MATLAB 中,我们可能会用 来表示,这第二个元素最后就会变成,) 而第三个元素,最终可能就用表示,因为MATLAB中的下标从1开始,这就是为什么这里我的 for 循环,取值从 1 直到,而不是从 0 到 。这是一个未向量化的代码实现方式,我们用一个 for 循环对 个元素进行加和。 作为比较,接下来是向量化的代码实现: 你把x和看做向量,而你只需要令变量等于转置乘以,你就可以这样计算。与其写所有这些for循环的代码,你只需要一行代码,这行代码就是利用 Octave 的高度优化的数值,线性代数算法来计算两个向量以及的内积,这样向量化的实现更简单,它运行起来也将更加高效。这就是 Octave 所做的而向量化的方法,在其他编程语言中同样可以实现。 让我们来看一个C++ 的例子: 与此相反,使用较好的C++数值线性代数库,你可以写出像右边这样的代码,因此取决于你的数值线性代数库的内容。你只需要在C++中将两个向量相乘,根据你所使用的数值和线性代数库的使用细节的不同,你最终使用的代码表达方式可能会有些许不同,但是通过一个库来做内积,你可以得到一段更简单、更有效的代码。 现在,让我们来看一个更为复杂的例子,这是线性回归算法梯度下降的更新规则: 我们用这条规则对 等于 0、1、2等等的所有值,更新对象,我只是用、、来写方程,假设我们有两个特征量,所以等于2,这些都是我们需要对、、进行更新,这些都应该是同步更新,我们用一个向量化的代码实现,这里是和之前相同的三个方程,只不过写得小一点而已。 你可以想象实现这三个方程的方式之一,就是用一个 for 循环,就是让 等于0、等于1、等于2,来更新。但让我们用向量化的方式来实现,看看我们是否能够有一个更简单的方法。基本上用三行代码或者一个for 循环,一次实现这三个方程。让我们来看看怎样能用这三步,并将它们压缩成一行向量化的代码来实现。做法如下: 我打算把看做一个向量,然后我用- 乘以某个别的向量 来更新。 这里的 等于 让我解释一下是怎么回事:我要把看作一个向量,有一个 维向量, 是一个实数,在这里是一个向量。 所以这个减法运算是一个向量减法,因为 乘以 δ是一个向量,所以就是 - 得到的向量。 那么什么是向量 呢 ? 是一个向量 你就会得到这些不同的式子,然后作加和。 实际上,在以前的一个小测验,如果你要解这个方程,我们说过为了向量化这段代码,我们会令 这就是为什么我们能够向量化地实现线性回归。 所以,我希望步骤是有逻辑的。请务必看视频,并且保证你确实能理解它。如果你实在不能理解它们数学上等价的原因,你就直接实现这个算法,也是能得到正确答案的。所以即使你没有完全理解为何是等价的,如果只是实现这种算法,你仍然能实现线性回归算法。如果你能弄清楚为什么这两个步骤是等价的,那我希望你可以对向量化有一个更好的理解,如果你在实现线性回归的时候,使用一个或两个以上的特征量。 有时我们使用几十或几百个特征量来计算线性归回,当你使用向量化地实现线性回归,通常运行速度就会比你以前用你的for循环快的多,也就是自己写代码更新、、。 因此使用向量化实现方式,你应该是能够得到一个高效得多的线性回归算法。而当你向量化我们将在之后的课程里面学到的算法,这会是一个很好的技巧,无论是对于Octave 或者一些其他的语言 如C++、Java 来让你的代码运行得更高效。 5.7 工作和提交的编程练习参考视频: 5 - 7 - Working on and Submitting Programming Exercises (4 min).mkv 在这段视频中,我想很快地介绍一下这门课程做作业的流程,以及如何使用作业提交系统。这个提交系统可以即时检验你的机器学习程序答案是否正确。 在'ml-class-ex1'目录中,我们提供了大量的文件,其中有一些需要由你自己来编辑,因此第一个文件应该符合编程练习中pdf文件的要求,其中一个我们要求你编写的文件是warmUpExercise.m这个文件,这个文件只是为了确保你熟悉提交系统。 你需要做的就是提交一个5×5的矩阵,就是 现在回到我的 Octave 窗口,现在来到我的目录C:\Users\ang\Desktop\ml-class-ex1如果我想确保我已经实现了程序 像这样输入 我现在可以按如下步骤提交代码,我要在这里目录下键入 按下回车键,它连接到服务器,并将其提交,然后它就会立刻告诉你:恭喜您!已成功完成作业1第1部分。这就确认了你已经做对了第一部分练习,如果你提交的答案不正确,那么它会给你一条消息,说明你没有完全答对,您还可以继续使用此提交密码,也可以生成新密码。你的密码是否会显示出来取决于你使用的操作系统。 这就是提交作业的方法,你完成家庭作业的时候,我希望你都能答对。 |
|