神经网络一直是迷人的机器学习模型之一,不仅因为花哨的反向传播算法,而且还因为它们的复杂性(考虑到许多隐藏层的深度学习)和受大脑启发的结构。 神经网络并不总是流行,部分原因是它们在某些情况下仍然存在计算成本高昂,部分原因是与支持向量机(SVM)等简单方法相比,它们似乎没有产生更好的结果。然而,神经网络再一次引起了人们的注意并变得流行起来。 在这篇文章中,我们将拟合神经网络,并将线性模型作为比较。 数据集波士顿数据集是波士顿郊区房屋价值数据的集合。我们的目标是使用所有其他可用的连续变量来预测自住房屋(medv)的中值。 首先,我们需要检查是否缺少数据点,否则我们需要修复数据集。
然后我们拟合线性回归模型并在测试集上进行测试。
该 准备适应神经网络 在拟合神经网络之前,需要做一些准备工作。神经网络不容易训练和调整。 作为第一步,我们将解决数据预处理问题。
请注意, 参数据我所知,虽然有几个或多或少可接受的经验法则,但没有固定的规则可以使用多少层和神经元。通常,如果有必要,一个隐藏层足以满足大量应用程序的需要。就神经元的数量而言,它应该在输入层大小和输出层大小之间,通常是输入大小的2/3
Neuralnet包提供了绘制模型的好工具:
这是模型的图形表示,每个连接都有权重: 黑色线条显示每个层与每个连接上的权重之间的连接,而蓝线显示每个步骤中添加的偏差项。偏差可以被认为是线性模型的截距。 使用神经网络预测medv 现在我们可以尝试预测测试集的值并计算MSE。
然后我们比较两个MSE 显然,在预测medv时,网络比线性模型做得更好。再一次,要小心,因为这个结果取决于上面执行的列车测试分割。下面,在视觉图之后,我们将进行快速交叉验证,以便对结果更有信心。 输出图 下面绘制了一个可能更有用的视觉比较: 交叉验证交叉验证是构建预测模型的另一个非常重要的步骤。虽然有不同类型的交叉验证方法 然后通过计算平均误差,我们可以掌握模型的运作方式。 我们将使用神经网络的for循环和线性模型
请注意,我正在以这种方式分割数据:90%的训练集和10%的测试集以随机方式进行10次。我也正在使用 过了一会儿,过程完成,我们计算平均MSE并将结果绘制成箱线图
上面的代码输出以下boxplot: 神经网络的平均MSE(10.33)低于线性模型的MSE,尽管交叉验证的MSE似乎存在一定程度的变化。这可能取决于数据的分割或网络中权重的随机初始化。 关于模型可解释性的最后说明神经网络很像黑盒子:解释它们的结果要比解释简单模型(如线性模型)的结果要困难得多。因此,根据您需要的应用程序类型,您可能也想考虑这个因素。此外,正如您在上面所看到的,需要格外小心以适应神经网络,小的变化可能导致不同的结果。 |
|