分享

新研究发现,单个神经元能顶一台复杂计算机

 昵称535749 2021-09-28

神译局2021-09-26

关注
一个生物神经元大概相当于 1000 个人工神经元

神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。

编者按:从我们把计算机叫做电脑就可以看出,我们一直都把这个东西类比为大脑。深入了解大脑的运作机制有助于开发出更好的计算机,而计算机反过来又可以帮助我们更好地了解自己的思想。在这方面,以色列的研究人员已经取得了一定的进展,他们发现,一个生物神经元在计算的复杂度方面就已经相当于1000个节点规模的深度神经网络。Jason Dorrier介绍了他们的研究成果。原文发表在singularityhub上,标题是:New Study Finds a Single Neuron Is a Surprisingly Complex Little Computer

划重点:

研究发现,一个生物神经元大概相当于 1000 个人工神经元

生物神经元的复杂性主要在树突的一种化学受体,拿掉之后生物神经元就变成一个简单的设备了

这些知识或许可以帮助工程师设计出更强大的神经网络和人工智能

不管是神经科学还是计算机科学,把大脑跟计算机相提并论由来已久,且备受推崇。

原因不难看出。

我们的大脑可以一种轻松、神秘的优雅去执行我们希望计算机处理的许多任务。因此,了解我们大脑的内部运作机制可以帮助我们开发出更好的计算机;而这些计算机则可以帮助我们更好地了解自己的思想。此外,如果大脑跟计算机很像的话,知道它们完成特定工作需要多少计算就可以帮助我们预测机器什么时候能够赶上人脑。

事实上,各个领域之间已经进行了富有成效的知识交流。

比方说,深度学习就是一种十分强大的人工智能形式,较为宽松地模拟了大脑的那个庞大的分层神经元网络

你可以把深度神经网络里面的每个“节点”都看作是人工的神经元。就像神经元一样,这些节点从跟自己连接的其他节点那里接收信号,并执行数学运算,将输入转换为输出。

根据所接收到的信号情况,一个节点可以选择向所在网络的所有节点发送自己的信号。通过这种方式,信号通过节点层层传递,逐步进行调整并对算法进行锐化。

大脑的机制跟这个类似。但是前面的关键词是宽松。

科学家们知道,生物神经元要比深度学习算法里面用到的人工神经元更加复杂,但究竟复杂到什么程度还是一个悬而未决的问题。

不过,在最近发表在《神经元》杂志上的一篇引人入胜的论文里,耶路撒冷希伯来大学的一群研究人员设法让我们跟答案更接近了。虽然他们也估计到结果会表明生物的神经元会更加复杂——但仍未能预料到会复杂得这么多。

在他们进行研究里,研究小组发现需要一个五到八层的神经网络,或者接近1000 个人工神经元的规模,才能模拟出一个大脑皮层生物神经元的行为。

尽管研究人员警告说,得出的研究结果是复杂性的上限——而不是精确测量——但他们也相信,这一发现可能有助于科学家进一步了解究竟是什么让生物神经元如此复杂的。这些知识或许可以帮助工程师设计出更强大的神经网络和人工智能。

贝勒医学院计算神经科学家Andreas Tolias说:“这一结果搭建了从生物神经元到人工神经元的桥梁。”

惊人的大脑

神经元是构成我们大脑的细胞。神经元有很多不同的类型,但一般来说,神经元由三部分组成:细长的分支结构——所谓的树突、细胞体以及根状轴突。

在一端,树突通过所谓的突触整合各接合点连接其他的神经元网络。在另一端,轴突跟不同的神经元群形成了突触。每个细胞都通过树突接收电化学信号,对这些信号进行过滤,然后有选择地传送自己的信号(或锋电位)。

为了从计算上对生物神经元与人工神经元进行比较,这支团队提出了一个问题:模拟一个生物神经元的行为需要多大规模的人工神经网络?

为了回答这个问题,他们首先建立了一个生物神经元模型(这次研究模拟的是来自老鼠皮层的锥体神经元)。这个模型利用了大约 10000 个微分方程来模拟神经元,模拟它们是怎么以及什么时候把一系列的输入信号转换成它自己的锋电位的。

然后,他们把输入输送给模拟神经元,再记录输出,接着用所有这些数据来训练深度学习算法。他们的目标是什么?找出可以最准确地逼近这个模型的算法。

他们不断增加算法的层数,直到在给定一组输入的情况下预测模拟神经元的输出时准确率达到 99%。模拟的甜点是至少五层但不超过八层,或者可以这么说,一个生物神经元大概相当于 1000 个人工神经元。深度学习算法要比原始模型简单得多——但仍然相当复杂。

这种复杂性是从何而来的呢?

事实证明,这主要是由于树突里面的一种化学受体——NMDA 离子通道——以及在空间的分支。研究的主要作者大卫·贝尼亚格夫(David Beniaguev)曾在 2019 年发推说“拿掉其中一个,神经元就会变成一个很简单的设备。”

事实上,在去除这些特征后,这支团队发现自己就可以把简化的生物模型跟单层深度学习算法进行匹配了。

基准不是固定不变的

大家很容易会将该团队的结果进行外推,从而测算整个大脑的计算复杂性。但我们离实现这一步还差得很远。

一方面,这支团队有可能并没有找到最有效的算法。

对于在一个先进的深度学习算法基础上进行快速改进的开发者社区来说,这种情况很常见。鉴于研究过程中进行的密集迭代,该团队对结果充满信心,不过他们也向科学界公布了自己的模型、数据和算法,看看是不是有人还可以做得更好。

此外,建模的神经元来自老鼠的大脑,而不是人类的大脑,它只是其中的一种脑细胞。还有,这项研究其实是模型跟模型之间的比较——到目前为止,还没有办法跟大脑实际的神经元进行直接比较。真正的神经元更复杂而不是更简单是完全有可能的。

尽管如此,该团队相信自己的工作可以推动神经科学和人工智能向前发展。

在前一种情况下,该研究进一步证明树突是复杂生物,值得多加关注。而对于人工智能来说,这可能会带来全新的算法架构。

论文的合著者Idan Segev建议,工程师应该尝试用模拟生物神经元的这个迷你的五层网络来替代当今算法所采用的简单人工神经元。Segev说:“我们呼吁替换深度网络技术,通过用一个表示神经元的单元(本身就已经够深的了)替换当今深度网络所用的每一个简单的单元,这样能够更接近大脑的工作方式。”。

增加那么多的复杂性能不能带来回报尚不确定。算法究竟需要捕捉多少大脑的细节才能获得相似或更好的结果呢?这个问题专家也有争议。

但你很难对已经历了数百万年的进化实验提出质疑。到目前为止,遵循大脑的蓝图这种做法是有回报的。如果说这项工作是一个指征的话,未来的神经网络在规模和复杂性上可能都会令当今的神经网络相形见绌。

译者:boxi。

本文来自翻译, 如若转载请注明出处。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多