DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略 深度学习(神经网络)的简介深度学习(Deep Learning, DL)或阶层学习(hierarchical learning)是机器学习的技术和研究领域之一,通过建立具有阶层结构的人工神经网络(Artifitial Neural Networks, ANNs),在计算系统中实现人工智能 。由于阶层ANN能够对输入信息进行逐层提取和筛选,因此深度学习具有表征学习(representation learning)能力 ,可以实现端到端的监督学习和非监督学习 。此外,深度学习也可参与构建强化学习(reinforcement learning)系统,形成深度强化学习 。 深度学习所使用的阶层ANN具有多种形态,其阶层的复杂度被通称为“深度” 。按构筑类型,深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑 。深度学习使用数据对其构筑中的参数进行更新以达成训练目标,该过程被通称为“学习” 。学习的常见方法为梯度下降算法及其变体 ,一些统计学习理论被用于学习过程的优化 [9] 。 在应用方面,深度学习被用于对复杂结构和大样本的高维数据进行学习,按研究领域包括计算机视觉、自然语言处理、生物信息学、自动控制等,且在人像识别、机器翻译、自动驾驶等现实问题中取得了成功。 1、深度学习浪潮兴起的三大因素
深度学习(神经网络)的基础知识(相关概念、训练策略) 深度学习的实质是构建具有多个隐藏层的机器学习模型,通过海量的训练数据来学习更有用的特征,从而最终提升分类或预测的准确性。“深度模型”是手段,“表示学习”是目的。
DL之DNN优化技术:神经网络算法简介之GD/SGD算法的简介、代码实现、代码调参之详细攻略 1、神经网络的基础知识
2、神经元的结构生物神经元包括细胞体和突起两个部分,突起又包括树突(接收信号)和轴突(传出信号)。
3、感知机DL之Perceptron:Perceptron感知器(感知机/多层感知机/人工神经元)的简介、原理、案例应用(相关配图)之详细攻略 4、万能逼近定理(Universal approximation theorem)
5、神经网络训练(1)、损失函数: (2)、优化目标 (3)、梯度下降:
(4)、反向传播法:计算图解释 1、神经网络训练的优化目标 6、神经网络学习(1)、通过调整神经元的参数,使得网络对给定输入可产生期望输出。 (2)、学习层次化的表示(表征)
7、神经网络的前馈运算与反向传播前馈运算和反向传播:在训练网络过程中所使用的。如果经过训练模型,网络稳定下来以后,就可以把参数固定下来,此时就不再需要反向传播了,只需要前馈运算进行推理和预测即可! 8、激活函数DL学习—AF:理解机器学习中常用的激活函数(sigmoid、softmax等)简介、应用、计算图实现、代码实现详细攻略 深度学习(神经网络)的算法分类 深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑 。 1、常用的神经网络模型概览DL:神经网络所有模型(包括DNN、CNN、RNN等)的简介(概览)、网络结构简介、使用场景对比之详细攻略 1、DNN 2、CNN 3、RNN 4、DBN 深度学习(神经网络)的经典案例应用后期更新…… |
|