格拉茨技术大学(TU Graz)理论计算机科学研究所的研究人员首次通过实验证明,大型神经网络可以处理句子等序列,同时在神经形态硬件上运行时消耗的能量比非神经形态硬件少 4 到 16 倍。 近年来,人工神经网络(ANN)已成为人工智能(AI)中最著名的方法,并在计算机视觉、汽车控制、飞行控制和医疗系统等各个领域取得了卓越的性能。 能够自主识别和推断对象以及不同对象之间关系的智能机器和智能计算机,是全球人工智能研究的重要主题。但是,能源消耗是此类 AI 方法更广泛应用的主要障碍。 一直以来,科学家们希望神经形态技术能够推动正确的方向发展。要知道,人类大脑在使用能量利用方面非常高效。为了处理信息,我们的大脑中千亿个神经元只消耗大约 20 瓦的能量,也就是相当于一个普通的节能灯泡的能耗。而神经形态技术就是以人脑为模型。 在这项最新研究中,研究团队专注于处理时间过程的算法。例如,系统必须回答有关先前讲述的故事的问题,并从上下文中掌握对象或人之间的关系。测试的硬件由 32 个 Loihi 神经形态研究芯片组成,该芯片利用神经科学的见解来创建类似于生物大脑的功能。 图 | 神经形态研究芯片(来源:TU Graz) 缺乏直接证据是因为这些内部变量还无法测量,但这确实意味着神经网络只需要测试哪些神经元当前处于疲劳状态,就可以重建它之前处理过的信息。换句话说,先前的信息存储在神经元的不活动中,而不活动就消耗最少的能量。 为此,研究人员将两种类型的深度学习网络联系起来。反馈神经网络负责“短期记忆”,许多此类所谓的循环模块从输入信号中过滤掉可能的相关信息并将其存储。前馈网络确定找到的关系对于解决手头的任务非常重要。无意义的关系被筛选掉,神经元只在那些已经找到相关信息的模块中激发。这个过程最终导致了能耗的大大降低。 图 | 研究论文通讯作者之一、TU Graz理论计算机科学研究所的Wolfgang Maass(来源:TU Graz) 这项研究得到了英特尔和欧洲人类大脑计划的资金支持,人类大脑计划旨在将神经科学、医学和受大脑启发的技术联系起来。为此,该项目正在创建一个永久性的数字研究基础设施——EBRAINS。 “神经形态芯片有望为人工智能带来收益,尤其是通过降低其高昂的能源成本。这项研究提供了更多证据,表明神经形态技术可以通过从生物学的角度重新思考,来提高当今深度学习工作负载的能源效率。”英特尔神经形态计算实验室主任 Mike Davies 表示。 “循环神经结构有望为未来在神经形态硬件上运行的应用程序提供最大的收益,神经形态硬件非常适合促进我们在大脑中观察到的快速、稀疏和不可预测的网络活动模式,并且是节能的 AI 应用程序所需要的。” 参考资料: https://www./tu-graz/services/news-stories/tu-graz-news/einzelansicht/article/tu-graz-und-intel-demonstrieren-signifikante-energieeinsparungen-durch-neuromorphe-hardware/ https://www./releases/2022/05/220524100612.htm https://www./articles/s42256-022-00480-w 热门视频推荐 |
|