神经网络里面有个重要的概念,叫做神经元的激活函数 ( activation function), 比较常用的激活函数是 relu ( rectified linear units), 表达为 y = max (0, x). 用大白话来说,就是外界各种信息太多,应当设置一个阈值,低于阈值的东西完全不予理会。比如研究一个新公司,如果流动市值低于十亿美元的,可以不予理会,因为这里面噪音和假信息可能太多,无法精确评估。突破十亿美元并能持续增长的项目,才值得花一点时间调研。 各种狐朋狗友,一面之交的社会关系太多,激活函数就是自己内心设置一个简单可以度量的客观标准,低于此标准的社会关系都可以基本忽略,免得无谓的消耗。 人在成长的过程中,随着阅历的丰富,激活函数的阈值也会不断悄悄的动态调整。太容易被噪音而激活并白白消耗大量资源,是大部分人的神经网络的缺陷。 激活函数的主要作用,是以尽量少的计算资源,来试图接近模拟对于客观世界的理解,以获得尽量大的回报。不这样做,自己的竞争力会迅速落后,被各种 spam 拖垮。 |
|