知识和深度学习的正则化-----自主和泛化崇志宏数据与智能实验室东南大学提纲正则化的目标统计效率：小样本和泛化问题正则化的基本形式：知识注
入到网络结构中权值/激活函数权值约束/损失惩罚/贝叶斯先验/权值扰动/权值共享数据/流形假设敌对训练、噪声切距离/流形切面分类器正
则化的目标提高机器学习的泛化能力小样本数据情形下的泛化能力偏差和方差的折中不适定的问题转化为适定问题（不可逆转化为可逆问题）正则化
的一般形式惩罚和模型空间约束大模型+正则化+近似优化=有效模型正则化的一般形式惩罚和模型空间约束大模型+正则化+近似优化=有效模型
正则化的一般形式惩罚和模型空间约束大模型+正则化+近似优化=有效模型正则化的一般形式惩罚和模型空间约束影响神经网络的结构网络的权值
网络的激活函数…手段直接/间接影响权值通过样本/知识大模型+正则化+近似优化=有效模型参数范数惩罚其他的方法先验知识L2范数相当于
参数服从正太分布的先验知识（输出也服从正太分布）一般的先验知识怎么能提高网络的泛化能力扩展数据的特征维度影响网络的权值。。。 |
|
