东南大学崇志宏 深度模型的分类 从有导师学习到无到无导师学习的驱动力 深度学习里有几个基本的理念:1)可训练或可导神经网络,可 训练和训练时间复杂度不是一个概念,前者是收敛的均衡点,后者是时间开销;2)自主和泛化的神经网络;3)高维小样本推断;4)模型表达 能力和训练复杂度折中。在实践中遇到的一个困难是标注数据的稀缺。两个方面的结合,导致几个技术思路:1)转移学习,将一个网络中编码的知识转移到新网络的设计和训练;2)知识表示和对网络的权值或拓扑结构影响,如Markov Neural Network,直接将知识转化为神经网络的结构;3)对抗网络、对偶网络和博弈网络,本质上转移学习的新的表达形式,通过网络间的竞争或合作实现自主和解决标注困难。 深度学习新特点 从有导师学习到无导师学习的趋势非常明显,突出自主学习,从感知到认知的提高,增加自动化特色。网络设计技术:1)权值共享主要是解决计算复杂度和可训练问题;2)关注解决记忆的结构化和存取;3)通过关注技术的迭代实现推理功能,编码结构化的记忆单元;4)知识的神经网络表示,是感知和认知能力的初步结合;5)博弈均衡形成神经网络的群体智能,也是结构化网络设计模式的理论基础。 崇志宏 |
|
来自: 东南大学崇志宏 > 《博弈论和人工智能》