神经网络与人工智能随后,Yoshua 阐述了自己的工作中对于神经网络与 AI 的理解。从一个令人兴奋的先验知识出发,他指出,通过学习,智能(机器、人类或动物)的产生是有一些原则的,这些原则非常简单,可以被简洁地描述出来,类似于物理定律,也就是说,我们的智能不只是一堆技巧和知识的结果,而是获取知识的一般机制。 他还辨析了传统 AI 和机器学习的要点,提到了人工智能的机器学习方法:
经典的 AI 一般是基于规则、基于符号的:其知识由人类提供,但直觉知识是不可传播的,机器只做推理工作,没有很强的学习和适应能力,对不确定性的处理能力不足。
而机器学习则试图解决这些问题:在很大程度上取得了成功,但更高层次的(有意识的)认知尚未实现。
而后 Yoshua 从维度诅咒和分布式表示(指数级优势)这两个细节出发,强调了促使 ML 向 AI 转变的五个关键因素:
海量&海量的数据;
非常灵活的模型;
足够的算力;
计算效率推断;
强大的先验知识,可以打破“维度诅咒”,实现对新情况的强泛化。
他还提到了脑启发(Brain-inspired),以及如下特性:
大量简单自适应计算单元的协同作用;
关注分布式表示(如单词表示);
视智能为结合的产物(近似优化器、初始架构/参数化);
端到端学习
长期依赖和梯度下降紧接着,Yoshua 回顾了机器学习 101 课程的要点:
函数族;
可调参数;
从未知数据中抽样的例子产生分布;
对经过训练的函数所产生的误差的度量;
近似最小化算法搜索最佳参数选择,迭代减少平均训练误差
又引出了他们自己 1994 年的工作 'Learning Long-Term Dependencies with Gradient Descent is Difficult' ,并强调了他的经验:负面结果可能非常重要,它教会了我们一些东西,推动了许多下游研究,比如 2014 年关于自注意力机制的工作。接下来他展开介绍了这项工作:如何存储 1 bit?在某些维度上有多个引力盆地的动力学
如果动力系统在某些维度上有多个吸引域,则状态的某些子空间可以存储 1 bit 或多个 bit 信息。