神经网络在线交流会(羽天)聊天记录 [19:28] qianqian: 羽天 好呀 [19:29] feathersky: 呵呵 大家好呀 今晚和大家作个神经网络算法思想的交流 不知道有多少人感兴趣? [19:30] liangzi198: 报道 [19:30] feathersky: 我需要二到三个人配合一下 不知道谁愿意? [19:30] liangzi198: 报道 [19:31] featherskyToliangzi198: 呵呵 愿意配合吗? [19:32] qianqian: 在的报道一下把等下就开讲拉 欢迎大家 [19:33] feathersky: 需要大家配合一下 我主要是以提问的方式来讨论神经网络 [19:33] qianqianTofeathersky: 需要怎么配合拉 我算一个吧 [19:34] liangzi198: 我刚刚入门 不行的. [19:34] feathersky: 首先 大家认为一〇〇个臭皮匠 和 一个诸葛亮 谁厉害? [19:35] hotowindToqianqian: 开始了吗? [19:36] feathersky: 以及一万个散兵 和 五〇〇〇个有组织的兵 哪个厉害? [19:36] qianqian: 三个就抵个诸葛亮拉 嘿嘿 [19:36] hotowind: 一〇〇个臭皮匠 [19:37] feathersky: 再来考虑一个军团 有个老大 下面几个大军师 每个军师下面有小幕僚 然后是最小的喽喽 [19:39] feathersky: 如果老大按大喽喽的决定作出行动 发现吃亏了 那老大就要应该把赞成这次行动的大喽喽扁一顿 反对的表扬一下 [19:39] qianqian: 在的朋友发言踊跃一点呢 谢谢配合 [19:40] feathersky: 然后大喽喽扁小喽喽 一级级下去 [19:40] liangzi198: 我一个问题,神经网络使用的范围广么?怎样将理论转化为应用 [19:41] feathersky: 也就是说只有赏罚分明 最后这个集团才能强大 [19:42] feathersky: 神经网络就相当于这个集团,赏罚分明 最后定形 [19:42] feathersky: 呵呵 等会再说liangzil98的问题 先将神经网络的思想 [19:43] qianqian: 这个和神经网络有啥关系呀 [19:44] feathersky: 呵呵 你把神经网络的输入比作小喽喽 几个小喽喽有一个大喽喽 几个大喽喽上有个更大的喽喽 [19:44] feathersky: 神经网络就相当于这个集团能作出正确决定 [19:45] feathersky: 输出是最大的老大 [19:45] feathersky: 这样想 能想明白吗? [19:47] liangzi198: 是函数逼近的形式 [19:47] qianqian: 呵呵 还好呢 怎么就偶一个人在回答呀 [19:47] feathersky: 呵呵 看来没人能理解这个想法呀 那接下去我也很难展开了 [19:48] liangzi198: 样本输入来拟合一个函数,再进行测试 [19:48] feathersky: 我说得这个实际上就是我认为的神经网络的精髓部分 [19:48] liangzi198: 样本输入来拟合一个函数,再进行测试 [19:49] feathersky: 赏罚分明 就是反馈机制 [19:49] kukumalu: 但是输入的数据很难得到 [19:50] feathersky: 神经网络的功能 有很多一部分是因为协作的关系 [19:51] feathersky: 算了 既然大家对这个思想不感兴趣 那我就不深入这个方向了 就讲讲其他东西吧 [19:52] liangzi198: 很多的数据都是凭经验和试探得到 [19:53] feathersky: 现在来谈数据拟和 如果有三个点 我们要求出一条直线 那么就是求出两个参数 [19:53] kukumalu: 没有啊只是我资力太浅很多都不懂 [19:54] feathersky: 实际上也就是要求出 y=a*x+b 中的两个参数 在这里我们看到我们以及用这两个参数表示出来了一条直线的形式 [19:56] feathersky: NN 相当于一个直线拟和作用 由已知数据点来求直线方程 [19:57] liangzi198: 是的 [19:57] feathersky: 如果有三个参数 y=a*x*x+b*x+c 就可表示二次曲线 经过NN学习 求出二次曲线的形式 [19:58] feathersky: 这里有几个重点 一个是表现能力 例如只有三个参数 我们想表现出一个五次方程 便不可能 [19:59] liangzi198: 还有它的泛化能力 [20:01] feathersky: 这也是许多神经网络的出发点 函数空间 也就是中间层 可以有RBF BP 小波基 勒得让正交基 傅里叶基 等等 [20:02] feathersky: 用不同的基函数表示函数空间就有不同的表示方法 [20:03] feathersky: 如果本是二次方程 我们当然可以用三次方程表示 但是这样 尤其误差的原因 就使得三次方程的最高项不为零 [20:04] feathersky: 这时候 他的泛化能力当然是要弱于二次方程的 [20:04] feathersky: 输入是 m维向量 输出是n [20:05] feathersky: NN 就是输入到输出的 函数的 一种表示方法 [20:05] liangzi198: 网络的优化应从何改进? [20:06] feathersky: 例如大家都知道函数可以傅里叶展开 泰勒展开 或者有理多项式展开 来表示 [20:07] feathersky: 网络的优化也就是优化这个表达方式 学习算法 [20:10] feathersky: 简单点的也就是结构可以稍微改变一下 或者针对特殊问题作个特殊的表达方式 和学习算法 [20:10] feathersky: 例如RBF网络 必须样本是分成几大类的 才有效 [20:11] qianqian: 大家有什么不理解的可以提出来和羽天交流一下哦 [20:11] liangzi198: 都是围绕现有个几个改进的,能不能有新的算法 [20:11] feathersky: 如果样本和输入的对应关系 不存在简单聚类关系 那么RBF就不再优秀 [20:11] feathersky: 更先进的得涉及到我开始讲的那个深入以后才行 [20:14] feathersky: 简单的说 就是对给定的问题 通过某种规则 自组织的涌现出一个网络 [20:15] feathersky: 没人讨论了 那我就回答前面提到的几个问题好了 [20:17] feathersky: 我一个问题,神经网络使用的范围广么? 函数拟和或系统拟和的场所 都可以用到他 [20:18] feathersky: iangzi198: 我一个问题,神经网络使用的范围广么? 函数拟和或系统拟和的场所 都可以用到他 [20:18] cao: 波涛 20:16:26RBF有很多改进的方法,并不是简单的聚类,它最初的思想是来源用多个高斯函数对函数进行逼近! [20:19] feathersky: 对 用多个高斯函数的加权来表达函数 [20:20] feathersky: 但是高斯函数本身的形状 就是一个聚类 [20:21] feathersky: 如果在一个高斯函数内有两个相差很大的输出 那么这个高斯函数基就不能用了 [20:22] caoTofeathersky: 波涛 20:21:54为什么把它理解为聚类呢? [20:23] feathersky: 一维高斯函数的形状就是一个墨西哥帽子 [20:24] cao: 波涛 20:23:29现在已经有了改进的方法,可以用两个高斯函数来代替一个 [20:25] feathersky: RBF 中 一个样本一般只有一个到二个高斯基被激活 大部分是一个高斯基 反过来一个高斯基内的对应输出都差不多 [20:25] feathersky: 用两个高斯函数来代替一个 没有本质的区别 [20:26] feathersky: 也就是说有二个高斯基 最多有三类输入 [20:27] feathersky: 如果我取有理数对应一 无理数对应2 你就得用无穷多高斯基函数 [20:27] cao: 波涛 20:27:04每个高斯基的输出如果控制在某个域值呢怎么会出现很大的差别呢? [20:28] feathersky: 或者我取最后一位有效数值为1的输出1 为2的输出2 为3的输出3 ... 你也要无穷多高斯函数 [20:29] feathersky: 都是一种用函数基来表示函数的方法 函数基的性质就决定了他表达的方式 [20:30] feathersky: 最简单的莫过于插值中 有不同的函数基 表达同一个n次函数 [20:32] wzytyasd: 这是涉及到了输入的连续和离散性问题,在实际中完全可以把连续的输入离散化啊! [20:33] feathersky: 因为高斯基在边缘 要特别多 效果才能稍微好看一点 [20:35] feathersky: litian : 前段时间我发现有人提出了样条权函数神经网络,结构完全变了 实际上也就是另一种表示方式而已 |
|