|
[导读] 人工智能在时下属于非常热门的技术，工作了10余年，对此领域却了解甚少。所谓不进则退，慢进亦退！长江后浪推前浪，前浪死在沙滩上，嗯，我还是要挣扎一下 机器学习是啥机器学习(Machine Learning)是人工智能（AI)的一种形式，它使系统能够从数据中学习而不是通过显式编程来学习。但是，机器学习不是一个简单的过程。随着算法吸收训练数据，然后可以基于该数据生成更精确的模型。机器学习模型是使用数据训练机器学习算法时生成的输出。训练后，为模型提供输入时，将为您提供输出。例如，预测算法将创建一个预测模型。然后，当您向预测模型提供数据时，您将收到基于训练模型的数据的预测 。 比如吴恩达讲授线性回归模型中的房价预测模型，就是利用现有的数据集，来训练线性估计器的参数。然后对于新输入的参数来预测房价，当然这种预测是仅有一定准确度。
机器学习是一种将信息转化为知识的工具。在过去的50年中，数据激增。除非我们对其进行分析并找到隐藏在其中的模式，否则这些海量数据是无用的。机器学习技术用于在复杂数据中自动找到有价值的基础模式，否则我们将很难发现这些模式。隐藏的问题模式和知识可用于预测未来事件并执行各种复杂的决策。 所谓模式，是其内在的客观规律，用数学描述就是其数学模型。数学是工具。 传统编程，软件工程将人工创建的规则与数据结合起来，以解决问题。相反，机器学习使用数据和答案来发现问题背后的规则。所谓数据和答案，是指已知的样本数据集参数之间的关系（个人理解）。 机器学习干啥机器学习主要解决四大类问题：
简而言之，机器学习特别适合以下问题：
为什么需要机器学习需求驱动，还是那句话。需求驱动技术不断向前发展。比如这样一些场景：
为什么这些待解决的问题是机器学习问题呢？ 以智能驾驶为例： 驾驶是一个复杂但范围广泛的问题。实际上，车辆可能会执行有限的操作：启动，停止，前进，后退，转弯，加速和减速。然而采取任何行动的决定会受到多种因素的影响，包括但不限于道路状况，天气状况，其他车辆的存在和行为，两脚人及其四脚朋友以及道路规则-只是为了 仅举几例。尽管驾驶员本能地即时评估所有这些输入，但不可能为每种可能的组合捕获离散的规则。 机器学习基础术语
机器学习过程机器学习的过程分为下图这么几大步骤：
这个过程一般会在设备自动完成，但是有的比如边缘计算，则会将模型训练利用离线训练，最后部署在嵌入式设备中进行实际运行。 理论知识起源
计算的创始人之一，也许是第一位计算机程序员Ada Lovelace，意识到世界上任何事物都可以用数学来描述。 更重要的是，这意味着可以创建一个数学公式来推导代表任何现象的关系。艾达·洛夫莱斯意识到，机器有潜力在不需要人类帮助的情况下了解世界。 大约200年后，这些基本思想对机器学习至关重要。不管问题是什么，它的信息都可以作为数据点绘制到图上。然后，机器学习试图找到隐藏在原始信息中的数学模式和关系。 概率论
注：图片中，是概率论中一个非常重要的公式：全概率公式 另一位数学家托马斯·贝叶斯(Thomas Bayes)创立了概率论中至关重要的思想，这些思想在机器学习中得到了体现。如果阅读机器学习的理论书籍，你可以在很多地方见到贝叶斯这个名词。 真实世界中所有发生的事情都带有不确定性。机器学习的基础是概率的贝叶斯解释。贝叶斯概率意味着我们认为概率是量化一个事件的不确定性。因此，我们必须根据事件的可用信息来确定概率，而不是计算重复试验的次数。例如，在预测一场足球比赛时，贝叶斯方法将使用相关信息，如当前形式、联赛排名和首发球队，而不是计算曼联战胜利物浦的总次数。 采用这种方法的好处是，概率仍然可以分配给稀有事件，因为决策过程是基于相关特征和推理的。 机器学习方法在进行机器学习时可以采用许多方法。它们通常被分为以下区域。监督和无监督是常见的方法。半监督和强化学习是较新的和更复杂的，但已显示出其威力。 无免费午餐定理在机器学习中很有名。它指出，没有一种算法可以适用于所有任务。你试图解决的每个任务都有自己的特点。因此，有许多算法和方法来适应每个问题的个别特性。更多类型的机器学习和人工智能将不断被引入，以最适合不同的问题。 监督学习定义：在监督学习中，目标是学习一组输入和输出之间的映射(规则)。 例如，输入可以是天气预报，输出将是海滩的游客。监督学习的目标是学习描述温度和海滩游客数量之间关系的映射。或者前面谈到的粘度计关键拟合也算是一个实例。 在学习过程中，过去的输入和输出对被标记的数据被提供给模型，以教它如何表现，因此，“监督”学习。对于海滩的例子，新的输入是输入预测温度，然后机器学习算法将输出未来游客数量的预测。 当然实际应用应该还需考虑其他相关因素，例如政治因素、机票价格、法定假日等等。 在监督学习中要注意的一个副作用是，提供的监督会给学习带来偏差。该模型只能精确地模仿它所显示的内容，因此展示它可靠、无偏见的示例是非常重要的。而且，监督学习在学习之前通常需要大量的数据。获得足够可靠的标记数据通常是使用监督学习中最困难和最昂贵的部分。 监督机器学习模型的输出也可能是有限集e中的一个类别。g[低、中、高]表示前往海滩的游客人数:
在这种情况下，它决定如何对输入进行分类，这就是所谓的分类。或者输出可以是一个真实的标量(输出一个数字):
这种计算模型，称之为回归。 分类分类将相似的数据点分组到不同的组，以便对它们进行分类。机器学习被用来发现解释如何分离不同数据点的规则。 但这些神奇的规则是如何产生的呢?有多种方法可以产生规则。它们都专注于使用数据和答案来发现线性分离数据点的规则。 线性可分性是机器学习中的一个关键概念。所有这些线性可分性意味着“不同的数据点可以用一条线分开吗?”简单地说，分类方法试图找到用一条线分隔数据点的最佳方法。 回归回归是监督学习的另一种形式。分类和回归的区别在于回归输出的是一个数字而不是一个类。因此，在预测基于数字的问题(如股票市场价格、某一天的温度或某一事件的概率)时，回归是有用的。
例如： 在金融交易中，回归被用来发现股票和其他资产的模式，以决定何时买进/卖出并获利。 分类和回归监督学习技术都可以扩展到更复杂的任务。例如，涉及语音和音频的任务。图像分类、对象检测和聊天机器人就是一些例子。 下面展示的一个最近的例子使用了一个经过监督学习训练的模型来逼真地模仿人们说话的视频。 您可能想知道这个复杂的基于图像的任务是如何与分类或回归相关的？前面提到世界上的所有事物，甚至是复杂的现象，都可以从根本上用数学和数字来描述。但在这个例子中，数字是面部网格的数值三维坐标值。
无监督学习
在无监督学习中，示例中仅提供输入数据而没有目标标签输出。但令人惊讶的是，仍然有可能在没有任何标签的数据中发现许多有趣和复杂的模式。 在现实生活中，无监督学习的一个例子就是把不同颜色的硬币分门别类。没人教过你如何把它们分开，但只要看看它们的特征，比如颜色，你就能知道哪些颜色的硬币是相关的，并把它们归到正确的类别里。
一种无监督学习算法(t-SNE)只根据手写数字的特征，正确地将其分组 无监督学习可能比监督学习更难，因为没有监督意味着问题变得越来越不明确。该算法对于寻找什么模式的想法不太集中。 试想，如果你是在老师的指导下学习弹吉他的，可以通过重复指导下练习关于音符、和弦和节奏的知识来快速学习。但如果只是自学，你会发现学习效率变得困难得多。 为了在未标记的数据中找到有趣的结构，我们使用了密度估计。最常见的形式是聚类。除其他外，还存在降维，潜在变量模型和异常检测。更复杂的无监督技术涉及神经网络，例如自动编码器和深度信念网络。 聚类无监督学习主要用于聚类。聚类是创建具有不同特征的组的行为。聚类尝试在数据集中查找不同的子组。由于这是无监督学习，因此我们不受任何标签的限制，可以自由选择要创建多少聚类。这既有优点也有缺陷， 必须通过经验模型选择过程来选择具有正确簇数（复杂度）的模型。
关联关联学习中，用以发现描述数据的规则。例如，如果某人观看视频A，则他们很可能会观看视频B。关联规则非常适合诸如此类的您要查找相关项目的示例。这就是互联网利用大数据进行挖掘，然后自动推送相关内容的一种应用之一。 异常检测识别或鉴别与大多数数据不同的稀有或异常特征。例如，银行将使用它来检测银行卡上的欺诈活动。正常消费习惯会落入正常的行为类别内。但是，当有人尝试使用您的卡从您那里偷钱时，其行为将不同于您的正常模式。异常检测使用无监督学习来分离和检测这些非同寻常的事件。 异常检测非常适合于欺诈检测和恶意软件检测等场景。 降维降维的目的是找到最重要的特征，将原始的特征集降为更小更有效的集，并对重要的数据进行编码。可以理解为将参数列表与期望识别的特征中相关性相对较高的提取出来，把相关性弱或者不相关的剔除。从而能更容易的建立相对准确的数学模型。 例如，在预测前往海滩的游客人数时，我们可以使用温度、星期几、月份和当天安排的活动数量作为输入。但这个月对于预测游客人数可能并不重要。 像这样不相关的特征会混淆机器学习算法，使它们的效率和准确性降低。通过降维，只识别和使用最重要的特征。主成分分析(PCA)是一种常用的分析方法。 举例： 在现实应用中，通过研究基于恒星特征自动形成哪些恒星子组，聚类已经被成功地用于发现一种新的恒星类型。在市场营销中，它经常被用来根据顾客的行为和特征将客户分组。 关联学习用于推荐或查找相关项目。一个常见的例子是市场篮子分析。在市场购物篮分析中，发现关联规则可以根据客户放置在购物篮中的东西预测客户可能购买的其他商品。亚马逊使用这个。如果您将新的笔记本电脑放在篮子里，他们会通过其关联规则推荐诸如笔记本电脑外壳之类的物品。 半监督学习
半监督学习(Semi-supervised learning)是监督方法和非监督方法之间的混合。学习过程中不针对每个输入的示例输出进行严格的监督，但是也不允许算法全自主进行，而不提供任何形式的反馈。半监督学习属于折中方案策略。 通过将少量标记数据与更多的未标记数据集混合在一起，可以减轻拥有足够标记数据的负担。因此它提出了更多机器学习要解决的问题。 生成对抗的网络GAN生成式对抗网络(Generative Adversarial Networks GANs)是最近的一个突破，取得了令人难以置信的成果。GANs使用两个神经网络，一个生成器和一个鉴别器。发生器产生输出，鉴别器对输出进行鉴别。通过互相对抗，他们都变得越来越有准确熟练。 通过使用一个网络来生成输入和另一个网络来生成输出，我们不需要每次都提供显式标签，因此它可以被归类为半监督。 举例： 通过使用一个网络来生成输入和另一个网络来生成输出，我们不需要一个完美的例子，比如医学扫描，比如乳腺癌扫描。需要一个训练有素的专家来标记这些是费时和非常昂贵的。相反，专家可以只对一小组乳腺癌扫描进行标记，而半监督算法将能够利用这一小部分并将其应用于更大的一组扫描。 在下面视频中，一个被称为GAN(生成式对抗网络)的神经网络被用来合成图像，而不使用标记的训练数据。
强化学习
最后一种机器学习不那么常见，也复杂得多，但却产生了令人难以置信的结果。它不使用标签，而是使用奖励来学习。 如果你熟悉心理学，你应该听说过强化学习。如果没有，你已经从我们在日常生活中学习的方式中了解了这个概念。在这种方法中，偶尔的正面和负面反馈被用来强化行为。就像训练狗一样，良好的行为会得到奖赏，而且会变得越来越普遍。不良行为会受到惩罚，变得不那么常见。这种奖励激励行为是强化学习的关键。个人理解是利用了控制论中的反馈机制。
这与我们人类的学习方式非常相似。在我们的一生中，我们接受积极和消极的信号，并不断从中学习。我们大脑中的化学物质是我们获得这些信号的多种途径之一。当好事发生时，我们大脑中的神经元会提供一种积极的神经递质，比如让我们感觉良好的多巴胺，这样我们就更有可能重复那个特定的行为。我们不需要持续的监督来学习，就像在监督学习中一样。通过偶尔给予强化信号，我们仍然可以非常有效地学习。 举例： 强化学习在现实世界中使用得并不多，因为它是如此的新颖和复杂。但是一个真实世界的例子是使用强化学习通过以一种更有效的方式控制冷却系统来降低数据中心的运行成本。该算法学习如何行动的最优策略，以获得最低的能源成本。成本越低，得到的效益越多。 在研究中，它经常用于游戏。完美信息游戏(你可以看到整个环境的状态)和不完美信息游戏(部分状态被隐藏，如现实世界)都获得了比人类更大的成功。 谷歌DeepMind在研究中使用强化学习来玩围棋和雅达利游戏，达到了超人的水平，称为Deep Q的神经网络会使用分数作为奖励来学习自己玩Breakout游戏。
主要参考翻译自： https:///machine-learning-an-introduction-23b84d51e6d0 作者 ：Gavin Edwards
—END—
|
|
|
来自： 西北望msm66g9f > 《编程》
，所以下决心在工作之余花时间学习相关技术，以免被时代遗弃。将间断更新分享个人学习笔记。文中观点错误一定很多，恳请指正。本文从整理一下机器学习的动因、由来、概念及理论要点。
